i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 01:10:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
1,018 Commits 5 Branches 174 Tags
37eada96820d4fa79b5bc177e847116fbf7dccbf
Commit Graph

60 Commits

Author SHA1 Message Date
fawney19
73a5325a38 refactor(hub): 用本地 HTTP relay 替代 Worker WebSocket 长连接 
Hub 数据面改为 /local/relay/{node_id} HTTP 端点，Worker 通过本机
HTTP 请求转发 tunnel 帧，不再维护 /worker WebSocket 长连接。

Hub 侧:
- 新增 control_plane.rs: Hub 通过 HTTP 回调 Aether app 处理心跳 ACK 和节点状态变更
- 新增 local_relay.rs: 接收本地 HTTP 请求，在 Hub 内部打开 LocalStream 并透传到 proxy
- 移除 worker_conn.rs 及 Worker WebSocket 处理逻辑
- 简化 protocol.rs: 移除 NODE_STATUS 帧类型，抽取通用 encode_frame/decode_payload

Python 侧:
- 删除 tunnel_manager.py 及其 WebSocket 连接管理器 (HubConnectionManager)
- 简化 hub_transport.py 为 HTTP relay 调用
- 新增 src/api/internal/hub.py 接收 Hub 控制面回调 (heartbeat/node-status)
- hub_config.py 移除 WebSocket 相关配置，改为 HTTP relay URL
- service.py 新增 update_tunnel_status 方法
- 删除 src/api/admin/proxy_tunnel.py (旧管理接口)
- proxy_node 缓存 TTL 从 15s 降至 3s 加速状态感知
 2026-03-17 20:22:12 +08:00
fawney19
460eb5434d fix(proxy-resolver): 将 resolve_ops_proxy_config 改为异步调用避免阻塞事件循环 
在 anyrouter/nekocode/sub2api/yescode 架构及 service.py 中，
将同步的 resolve_ops_proxy_config 替换为 resolve_ops_proxy_config_async，
通过 asyncio.to_thread 包装避免同步 DB 查询阻塞事件循环。
 2026-03-17 18:06:15 +08:00
fawney19
c1ed42fd3a feat(body-rules): 支持按 provider_type 覆盖 cache-sensitive 保护字段集合 
Codex 通过 OpenAI CLI/Compact 格式转发时，endpoint body_rules 需要能
修改 instructions/input/tools 等 prompt 字段。新增 provider_type 维度的
保护集合映射，Codex 场景仅保护 prompt_cache_key，其余 prompt 字段交由
body_rules 自由调整。
 2026-03-17 17:09:39 +08:00
fawney19
c4bb6b8161 feat(auth): 重构认证系统，引入 session 会话管理 
- 新增 user_sessions 数据库表及 Alembic 迁移
- 实现 SessionService 会话生命周期管理（创建/刷新/撤销/清理）
- 认证流程改用 refresh token cookie + access token 双令牌模式
- 前端实现自动静默刷新、跨标签页同步及设备指纹
- 用户设置页新增会话管理和密码修改功能
- 管理员用户管理新增强制登出和会话查看
- 密码策略增强，支持强度校验和泄露检测
- OAuth 登录流程适配新会话机制
- 新增完整的单元测试和 API 测试覆盖

Closes #232

Co-authored-by: LewisPen <LewisPen@nyadoo.com>
 2026-03-17 16:34:09 +08:00
fawney19
4ecaefbade refactor(conversion): body_rules 保护 cache-sensitive 字段，normalizer 保真优化与诊断日志 
- RequestBuilder 新增 protected_body_keys 机制，按 provider API 格式阻止 body_rules
  改写 prompt cache 相关的顶层请求字段（messages/tools/system 等）
- Claude/Gemini normalizer 优先复用原始 raw tool_choice，避免 round-trip 丢失信息
- Claude normalizer 修复 content blocks 输出顺序（flush_text_parts），
  _coerce_claude_message_sequence 返回结构化诊断
- OpenAI normalizer 保留 raw tool call arguments 字符串与原始 tool 定义 extra 字段
- schema_utils allOf 合并保持 required 字段插入顺序
- 各转换环节增加结构化 debug 日志用于调试
 2026-03-17 01:25:29 +08:00
fawney19
3c7ad81d62 feat(rules): 条件系统增强，支持 all/any 组合条件和 original/current 数据源切换 
- evaluate_condition 支持递归 all/any 组合节点和 source 字段
- header_rules 支持 condition 条件触发，HeaderBuilder.apply_rules 透传 body/original_body
- 提取 EndpointConditionEditor 组件统一请求头/请求体规则的条件编辑 UI
- header_rules 新增服务端结构校验（action/key/from/to/condition）
- 新增组合条件、source 切换、fail-closed 等测试用例
 2026-03-15 20:27:53 +08:00
fawney19
f92b0943b5 feat(rate-limit): 实现分层 RPM 限速，支持系统默认/用户/独立Key三级配置 
- 新增用户级 rate_limit 字段，支持系统默认/用户自定义/不限制三种模式
- 独立 Key 的 rate_limit 语义调整：null=跟随系统默认，0=不限制，>0=自定义
- 实现 UserRpmLimiter 基于 Redis sliding window 的 RPM 限速引擎
- Pipeline 请求流程集成用户级 RPM 检查
- 管理后台和用户面板新增 RPM 限速配置与实时状态查看
- 系统设置新增全局默认 RPM 配置项
- 迁移脚本回填现有 API Key 的 rate_limit 默认值
- 新增用户/Key RPM 状态监控 API 和前端展示

Closes #231

Co-authored-by: LewisPen <LewisPen@nyadoo.com>
 2026-03-15 14:22:59 +08:00
fawney19
e0286aebe3 refactor: 共享请求管道、按需懒加载、流式内存护栏与连接池治理 
- 抽取 ApiRequestPipeline 单例，44 个路由文件共享同一实例
- Handler/Adapter 模块级 __getattr__ 延迟导入，减少启动时间
- 新增 ensure_stream_buffer_limit() 流式内存护栏（16MB 单行 / 32MB 总量）
- HTTP 空闲连接清理与 curl_cffi LRU 会话池
- ensure_providers_bootstrapped 按需引导指定 provider_types
- Usage 事件序列化迁移至 msgpack，Redis codec 隔离
- 启动预热任务（/readyz 就绪门控）与优雅关闭
- 通知邮件模块独立开关与 SMTP 配置校验
- CryptoService DCL 线程安全修复
- 通知模块开关 DB 查询 30s 内存缓存
- /readyz 对 unknown 状态返回 503
- 预热关闭 5s 超时保护
- 预热适配器逐个 try-except 容错
- FormatConversionRegistry 哨兵模式防并发重复物化
- 流式缓冲检查无条件执行

Closes #230

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-14 11:59:07 +08:00
fawney19
e9678ea899 fix(admin): 优先级脏检查、base_url 校验、usage detail 延迟加载及导入数据验证 
- 前端优先级管理: 保存时对比原始快照，仅提交实际变更的 provider/key 优先级，
  并限制并发请求数(SAVE_CONCURRENCY=6)，避免无效 API 调用
- handler_adapter_base: _normalize_test_base_url 改为 _validate_test_base_url，
  移除对 dict 类型 base_url 的兼容，严格要求字符串输入
- provider_query: 新增 _require_test_endpoint_base_url，在测试链路提前校验
  endpoint.base_url 类型和非空
- system.py: 导入 endpoint 时通过 ProviderEndpointCreate 模型校验数据，
  拒绝非法 base_url 类型(如 dict)
- usage detail: 使用 defer() 延迟加载 body 列，通过 SQL CASE 表达式在
  数据库端计算 has_*_body 标记，减少不必要的大字段传输
- provider routes: 新建 provider 时 priority=0 边界处理，clamp 并 shift
 2026-03-12 17:11:14 +08:00
fawney19
8d69f72e2a fix(stability): 健康监控 DB 操作异步化，防止 worker 超时崩溃 
- executor: record_success 通过 asyncio.to_thread offload 到线程池
- error_handler: 3 处 record_failure 同样 offload 到线程池
- sync_execute: 设置 expire_on_commit=False 防止 commit 后 ORM 懒加载
- handler_adapter_base: 归一化 check_endpoint 的 base_url 输入
 2026-03-12 16:17:22 +08:00
fawney19
0112ab752b refactor(proxy): 将 proxy resolver 同步阻塞操作异步化，避免阻塞事件循环 
- 为 resolve_proxy_info、resolve_delegate_config、build_proxy_url、
  get_system_proxy_config、build_post_kwargs、build_stream_kwargs 新增
  _async 异步版本，通过 asyncio.to_thread 在工作线程中执行同步 DB 查询
- 为 _proxy_node_cache 和 _system_proxy_cache 添加 threading.Lock 保护
  多线程并发读写安全
- 大 payload 的 gzip 压缩超过 64KB 阈值时走线程池，小 payload 仍在事件
  循环中同步执行以避免不必要的线程调度开销
- hub_transport 的 frame 压缩同样增加异步版本
- 删除已无调用者的同步方法 create_client_with_proxy，将其逻辑内联至
  get_upstream_client 并改为异步
- 更新所有 handler/executor/failover 调用点使用新的异步 API
- 补充 async 版本的单元测试
 2026-03-12 13:59:21 +08:00
fawney19
71ae1a2307 feat(hub,stability): bounded outbound queue、worker liveness 检测、事件循环 watchdog 及 DB 操作异步化 
- aether-hub: unbounded channel 改为 bounded channel (BoundedOutbound)，队列满时标记拥塞并主动关闭连接，防止内存无限增长
- aether-hub: worker idle timeout 从命令行参数改为基于心跳的 liveness 检测，默认 60 秒
- aether-hub: 新增 ConnConfig 统一管理连接配置，新增 outbound_queue_capacity 参数
- hub_transport: 新增事件循环 watchdog，检测 lag 超过阈值时临时降级暂停新流
- gunicorn_conf: 启用 faulthandler，worker abort 时自动 dump 全部线程栈用于诊断
- health/endpoint_checker/recording: 同步 DB 操作移至 asyncio.to_thread，避免阻塞事件循环
- Dockerfile: 移除 --worker-idle-timeout 0 命令行参数，改由环境变量和默认值控制
 2026-03-12 12:19:04 +08:00
fawney19
3f048d373f refactor: 将路由层同步 DB 操作移至线程池执行，统一认证工具函数 
- 管理端和用户端路由中的同步数据库操作提取为独立函数，通过 run_in_threadpool
  在线程池中执行，避免阻塞事件循环（涉及 api_keys、payments、users、wallets、
  provider_oauth、system、user_me、wallet 等模块）
- 抽取 authenticate_user_from_bearer_token 统一 token 验证逻辑，支持
  ManagementToken 和 JWT 两种认证方式，消除多处重复代码
- key_command_service 的 CRUD 操作改为线程池执行
- maintenance_scheduler 定时任务中的数据库操作改用 asyncio.to_thread
- Dockerfile 中 aether-hub 增加 --worker-idle-timeout 0 防止空闲断连
- 新增 test_api_auth_conventions 和 test_auth_utils 单元测试
 2026-03-12 09:33:24 +08:00
fawney19
6e51a3f45d feat: Provider 异步删除、可配置密码策略、Hub 超时优化及多项改进 
- 新增 Provider 异步删除任务系统，后台分阶段删除子资源并清理残留引用
- 新增可配置密码策略等级（weak/medium/strong），支持系统设置面板调整
- aether-hub 升级至 0.1.4，idle timeout 支持禁用（设为 0），worker 默认超时调整为 120s
- OAuth 手动续期增加 Redis 分布式锁，防止并发刷新冲突
- ProxyNode 心跳检测改为 asyncio.to_thread，避免阻塞事件循环
- 删除 ModelMultiSelect 和 useInvalidModels，MultiSelect 组件通用化
- 明确 allowed_providers/allowed_api_formats 的 NULL 与空数组语义
- 前端 StandaloneKeyFormDialog、UserFormDialog 等多处 UI 优化
- 新增 Alembic 迁移脚本清理 Provider 删除后的残留引用
- 补充相关测试用例
 2026-03-12 01:11:35 +08:00
fawney19
0d770d1c4d feat(oauth): 新增 Codex account_user_id 和 organizations 字段采集、展示与判重 
- 从 Codex id_token claims 和 token_response 中提取 account_user_id 和 organizations
- OAuth 判重逻辑改为优先按 account_user_id 匹配，支持同用户不同 Team 不误判
- 号池和 Provider 详情页展示组织标签、account ID 和 account_user_id
- 前端重复的 OAuth identity 工具函数提取到 utils/oauthIdentity.ts
- 后端重复的 normalize_oauth_organizations 提取到 core/provider_oauth_utils.py
 2026-03-11 21:37:08 +08:00
fawney19
380d69e096 feat(pool): 记录并展示 Provider Key 累计 Token 与费用 
Closes #219

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-11 15:56:58 +08:00
fawney19
e2ec3f7942 Merge pull request #217 from AAEE86/1233 
perf: 优化请求鉴权链路并批量化统计/调度查询
 2026-03-10 23:31:28 +08:00
fawney19
cfa5535f6e refactor: 引入 safe_create_task 防止后台任务被 GC 回收，降低默认连接池和 worker 数量 
- 新增 safe_create_task 统一替代裸 asyncio.create_task，通过全局集合持有 task 引用
- 默认 worker 数量从 4 降为 1，HTTP 连接池总预算从 800 降为 200
- 为 health_cache 和 affinity_manager 内存缓存增加上限淘汰机制
- MemoryCachePlugin 支持延迟启动清理任务
- gunicorn when_ready 增加 gc.collect() 并记录 post_worker_init RSS
 2026-03-10 14:42:33 +08:00
fawney19
7c580e843f fix: 治理 Prometheus 指标基数爆炸和内存缓存无界增长 
- 移除 token/latency Prometheus 指标的 model 标签，避免 provider x model 笛卡尔积
- HealthMonitor 滑动窗口从 DB JSON 迁移至进程内存，减少写放大
- ModelCostService 三层缓存增加 500 条上限，超限时清空
- StickyPriority 粘性缓存和健康状态字典增加容量淘汰
- AffinityManager 请求锁字典增加 500 条上限，淘汰空闲锁
- 配额刷新/探测查询使用 defer/load_only 避免加载大 JSON 列
- Alembic 迁移清理 DB 中遗留的 request_results_window 数据
- 同步更新测试适配 batch_get_cooldowns 返回值和批量删除异步化
 2026-03-10 10:40:50 +08:00
AAEE86
57c7cca556 perf: 优化请求鉴权链路并批量化统计/调度查询 
- 为 Pipeline/Context 增加按需读取请求体能力，支持 async 懒加载 JSON body
- 为 chat/cli/video/claude/openai-cli 适配器关闭默认预读，减少无效 body 读取与超时风险
- 将本地登录、JWT 用户加载、API Key 鉴权迁移到线程池隔离会话执行，避免阻塞事件循环
- 为 API Key 鉴权返回结构化余额结果，并在主请求会话中重新绑定 user/api_key 后再校验状态、过期和锁定信息
- 为 management/user token 前缀认证引入独立会话与结果回绑，避免跨会话对象写入失效

- 为 Usage 余额检查补充结构化返回，统一透出 remaining 与欠费/不可用文案映射
- 为用户与管理端活跃请求查询增加 maintain_status 开关，避免轮询指定 id 时误触发状态修复
- 重写 user_me usage 汇总逻辑，支持 group_by=None 的粗粒度聚合
- 修正 provider 维度成功率与平均响应时间统计，基于 success_count 和成功响应耗时汇总计算
- 前端 Usage 轮询由 setInterval 改为串行 setTimeout，避免并发轮询叠加

- 为 StatsAggregator 增加按本地日期批量计算百分位能力，替代逐天 fan-out 查询
- 为混合统计查询合并连续实时日期区间，并批量读取 StatsDaily，减少逐日查询次数
- 为用户日统计增加批量聚合入口，替代逐用户循环聚合
- 为系统配置导出改用 selectinload 预加载 provider 关联数据，减少 N+1 查询
- 为管理员用户列表增加钱包批量查询，避免逐用户回表

- 为调度器增加 provider 轻量引用预过滤，先按 allowed_providers 缩小范围再加载完整 provider 图
- 为 CandidateBuilder 增加 provider refs/provider_ids 查询能力，保留分页顺序
- 为模型缓存增加 provider_model_mappings 索引缓存与 model_mappings 规则缓存，减少重复全量扫描
- 为请求候选中间态改为 flush/batch commit，降低 pending/streaming 状态切换的事务往返
- 为钱包访问结果补充 balance_snapshot，并抽取余额快照复用逻辑

- 补充 pipeline、auth、admin users、user_me usage、stats aggregator、model cache、
  scheduler、wallet、request candidate 等回归与契约测试
 2026-03-09 22:57:23 +08:00
fawney19
bd3f73c2fc feat(retention): 删除用户/Key 时保留历史记录，外键改 SET NULL 并添加名称快照 
- Usage/RequestCandidate/VideoTask/Stats 等表的 user_id/api_key_id 外键从
  CASCADE 改为 SET NULL，删除用户或 Key 后历史记录不再丢失
- 各表添加 username/api_key_name 快照字段，删除后仍可追溯归属
- 新增 bulk_cleanup 模块，分批置空大表外键避免长事务锁
- 删除用户/Key 流程集成预清理步骤，先置空再删除
- 精简 candidate_builder 冗余 debug 日志
- 修复 proxy_nodes 启动日志 format 占位符错误（{} -> %s）
- 前端批量操作请求增加 5 分钟超时配置
 2026-03-08 14:31:15 +08:00
LewisPen
783f654953 feat(wallet): 钱包系统替代配额系统，新增支付与退款机制 
- 新增钱包余额管理、充值、扣费、退款完整流程
- 新增支付网关抽象层（支持手动/支付宝/微信）
- 用量计费从配额系统迁移到钱包余额扣费
- 新增管理员钱包管理与支付订单管理页面
- 新增用户钱包中心页面
- 移除独立 Key 锁定机制，统一由钱包余额控制
- 新增相关 API 路由、序列化器与数据库迁移
- 新增钱包、支付、退款相关测试
 2026-03-08 00:05:48 +08:00
fawney19
fb1aeb789a feat(test,quota,failover): 模型并发测试、统一配额读取器与故障转移取消支持 
- 新增 QuotaReader 抽象层，统一 Codex/Kiro/Antigravity 配额解析逻辑，
  替换 pool/routes.py 中分散的配额构建函数
- 模型测试支持并发执行多候选，前端新增 useModelTest composable 统一
  ModelsTab 和 ModelMappingTab 的测试逻辑
- ModelTestDialog 增加结果概览摘要、超长结果折叠、端点列和新状态支持，
  删除已合并的 TestResultDialog
- FailoverEngine 新增客户端断开检测，支持取消剩余候选并标记记录
- 刷新配额改为分批执行，直连测试候选按可用性排序
- 修复 error 判断从 "error" in dict 改为 dict.get("error") 避免误判
 2026-03-07 02:16:03 +08:00
fawney19
90760da499 feat(test,export,headers): 模型测试复用统一运行时、实时进度展示、导出增强与请求头大小写保留 
- 模型测试 failover 从手动 FailoverEngine 改为 TaskService.execute_sync_candidates 统一运行时
- 前端新增实时 trace 轮询进度展示（候选状态、测试账号、进度条）
- 用户导出/导入支持明文 Key 优先（版本升至 1.2），新增 email_verified 字段
- SENSITIVE_CREDENTIAL_FIELDS 统一到 provider_ops/types.py，补充 refresh_token
- 请求头大小写保留机制（resolve_header_name_case + HeaderBuilder.add 语义修改）
- Codex envelope 移除合成头部，保留客户端原始请求头
- endpoint_checker 支持自定义超时透传
- 新增 x-forwarded-scheme 到上游丢弃头部列表
 2026-03-06 21:06:45 +08:00
fawney19
050cba9563 feat(proxy,failover,transport): Hyper 上游客户端精细计时、连续失败退避与连接泄漏修复 
Proxy:
- 将上游 HTTP 客户端从 reqwest 替换为 hyper，新增 InstrumentedConnector
  实现 TCP 连接/TLS 握手级别的独立计时，上报 connection_reused 等指标
- 前端展示细粒度代理计时（连接复用、等待响应头等）

Failover:
- 引入连续失败退避机制，每 10 次失败递增退避间隔
- 检测 H2 max outbound streams 错误并触发上游客户端重建
- 新增 HTTPClientPool.reset_upstream_client 支持按需重建缓存客户端

连接泄漏修复:
- Handler 异常路径确保 response_ctx 被正确关闭
- HubResponseStream 迭代结束后在 finally 块中清理 stream_id
- HubTunnelTransport.handle_request 捕获所有异常并清理流状态
 2026-03-06 17:55:14 +08:00
fawney19
bdccfa6e78 feat(usage,pool,codex): 请求详情 body 按需加载、配额选择器重构与 Codex body rules 修正 
- usage 详情 API 新增 include_bodies 参数，支持跳过 body 内容返回 has_*_body 标记
- 前端请求详情抽屉首次加载不含 body，切换到 body tab 时延迟加载并展示 skeleton
- Timeline 组件延迟 120ms 挂载，避免阻塞抽屉渲染
- 提取号池配额判断逻辑到 quota-selectors 工具模块并添加单测
- Codex 移除 openai:compact 的默认 body rules 注册
- ModelTestDialog/TestResultDialog 模板格式化
 2026-03-06 15:40:11 +08:00
fawney19
d97ec3fde2 feat(admin,pool,billing): 端点级模型测试、Provider 自动置顶、缓存 TTL 分级计费展示与账号状态增强 
- 模型测试支持指定端点：新增 ModelTestDialog 组件，多端点时弹窗选择，单端点直接测试；
  后端 test-model-failover 接口新增 endpoint_id 参数，支持 global/direct 模式下按端点过滤候选
- 创建 Provider 时优先级自动置顶（provider_priority 默认 None，后端取 min-1），
  显式指定优先级时 shift 已有行；前端创建时不发送 priority，更新时保留
- 缓存计费 UI 增强：RequestDetailDrawer 支持 5min/1h 缓存创建 token 分级展示，
  含按 TTL 匹配单价和分行成本计算；ModelDetailDrawer/ModelsTab 标签区分 5min/1h 缓存创建
- Pool 批量操作额度筛选拆分为「无5H限额」和「无周限额」，按 | 分隔 segment 匹配
- KeyFormDialog 优化非 vertex_ai 时布局，API 密钥输入内联到 grid 右列
- Codex refresher 结构化错误标记：401/402/403 使用 [OAUTH_EXPIRED]/[ACCOUNT_BLOCK] 前缀，
  新增 deactivated_workspace 识别与分类
- 前后端 accountBlock 关键词同步：新增 token invalidated、deactivated_workspace 识别，
  OAuth 失效提示清理 block 前缀后展示
- PoolConfig 新增 batch_concurrency 配置（默认 8，上限 32）
- 预设模型新增 gpt-5.4；TestResultDialog 响应式布局与 key 脱敏优化
 2026-03-06 13:13:01 +08:00
fawney19
228cbc8f87 feat(pool,admin): 拆分调度维度、重构调度 UI 与增强配置导入导出 
调度维度:
- 新增 cache_affinity/free_first/team_first/plus_first/load_balance 五个独立维度
- 将 free_team_first 标记为 hidden，保留后向兼容但不再显示
- Registry 新增 hidden 属性，_helpers 新增 plus_only 优先级评分

前端调度对话框:
- 分配模式（互斥组）独立为按钮组选择，策略调度保留拖拽排序
- 默认调度从 LRU 轮转改为缓存亲和
- 提取 buildPresetListItem/insertMissingByPreferredOrder 消除重复代码

配置导入导出:
- 导出时 api_formats 支持规范化、去重与 None 回退到 Provider 端点
- 导入时兼容 supported_endpoints 别名与历史 None 语义
- 新增 test_admin_system_key_formats 单元测试
 2026-03-05 23:22:25 +08:00
fawney19
694167f78f feat(pool,trace): 账号封禁原因细分与请求追踪 attempted_only 过滤 
- 将账号封禁原因从笼统的"账号异常"细分为封禁/停用/需要验证三类，
  前后端关键词组同步拆分，号池管理页面展示对应分类标签
- trace API 新增 attempted_only 参数，支持仅返回实际尝试过的候选，
  前端时间线组件默认启用过滤，排除 available/unused/skipped 记录
 2026-03-05 17:32:21 +08:00
fawney19
e86c8edd4b feat(provider): 新增 keep_priority_on_conversion 字段，支持格式转换时保持调度优先级 2026-03-05 15:28:03 +08:00
fawney19
1d04c41ae7 refactor(pool): 移除调度多维评分详情，简化为 reasons 摘要 
移除 scheduling_score、candidate_eligible、scheduling_dimensions 等字段，
前后端统一使用 scheduling_reasons 展示调度状态，精简号池列表信息密度。
 2026-03-04 22:51:02 +08:00
fawney19
b2dcf82ca8 feat(pool): 引入多维评分调度策略与账号状态检测 
- 新增 multi_score 调度模式，支持 LRU/延迟/健康度/剩余额度多维加权评分
- 新增调度预设维度系统（free_team_first, quota_balanced, recent_refresh, single_account），支持有序对象列表配置格式并兼容旧字符串列表
- 新增 account_state 模块，统一账号封禁/受限检测逻辑，替代分散在 routes 中的判断代码
- 新增 health_cache 模块和 latency 采样（redis_ops.record_latency / batch_get_latency_avgs）
- RequestDispatcher 返回 ttfb_ms，PoolManager.on_request_success 记录延迟样本
- 前端：PoolConfigDialog 替换为 PoolSchedulingDialog，支持预设维度可视化配置；号池管理页增加调度模式标签与账号异常 Badge 显示
- 提取前端 accountBlock 工具函数，ProviderDetailDrawer 复用统一判断
- scheduling_dimensions 增加 account_state 和 latency 维度评估
- 补充 account_state、health_cache、multi_score 策略、preset 维度、redis latency 等测试
 2026-03-04 22:06:19 +08:00
fawney19
57b86034cf feat(pool,priority): 号池聚合显示、API 格式归一化与优先级管理重构 
- 优先级管理对话框按 family 分组显示 API 格式，号池 key 聚合为单条目展示
- 拖拽排序改用 key ID 替代数组索引，号池聚合项禁用拖拽/编辑/开关操作
- 后端 key 分组查询增加 API 格式键归一化，返回 provider_id
- 提取 OAuth auth_config 解密逻辑，新增 _derive_oauth_expires_at 从加密配置派生过期时间
- 号池管理移除会话列，调整 OAuth 过期信息与刷新按钮的布局顺序
 2026-03-04 12:59:27 +08:00
fawney19
82a9fb3c39 feat(codex): 增强 OAuth 导入解析与账号信息提取，优化维护调度器线程模型 
Codex OAuth:
- 导入解析支持附加账号字段（account_id/plan_type/user_id/email）
- enrich_codex 扩展从 access_token 和直接字段提取账号信息
- parse_codex_id_token 支持 JWT/JSON 字符串/dict 三种输入格式
- request patching 新增 openai:compact 格式支持
- codex_usage_parser 新增 credits_unlimited 字段解析

维护调度器:
- 同步 DB 操作迁移到线程池执行，避免阻塞事件循环
- 新增 request_candidates 定期清理任务
- 新增每周 VACUUM ANALYZE 数据库表维护任务
- 新增 enable_db_maintenance 配置项

前端:
- ElapsedTimeText 从 setInterval 改为 requestAnimationFrame
- 时间线过滤 available/unused 占位记录
- Usage 页面默认关闭全局自动刷新
- 移除号池管理中的配额更新时间显示
 2026-03-04 10:00:38 +08:00
fawney19
7ebce161e8 feat(pool,ui,trace): 号池按页配额刷新、配额倒计时、Trace 全量候选与 UI 用语统一 
- 号池管理支持按当前页 Key 刷新配额，后端 refresh-quota 接口支持 key_ids 参数筛选
- 配额进度条 tooltip 展示重置倒计时，前端解析后端重置时间并实时倒计时
- Provider 选择器在无号池提供商时禁用，切换/刷新后保持选中状态对齐
- 启停账号后立即更新调度标签并刷新列表
- Trace 监控展示全量候选记录，不再过滤 available/unused 状态
- 请求时间线号池节点与 Provider 节点去重
- 全局 UI 用语统一：已停用/已禁用 -> 停用/禁用
- 导航菜单调整模型管理与号池管理顺序
 2026-03-03 11:32:41 +08:00
fawney19
11997c024e feat(pool,scheduling): 号池调度维度、配额冷却机制与管理后台重构 
- 新增 scheduling_dimensions 模块，为每个 Key 计算多维调度状态(手动/冷却/熔断/成本/健康)
- 新增 quota_cooldown 模块，统一判定 Key 的有效冷却原因
- Pool 管理后台 API 扩展 Key 详情字段(调度状态/维度/配额/OAuth 信息)
- 前端 Pool 管理页面重写，支持调度状态展示、批量清理封禁 Key
- Handler 基类增加请求调度元数据采集，stream telemetry 增强
- 请求时间线组件增强，支持 attempted 候选展示
- Kiro OAuth 凭证导入解析改进
- 新增 usage 表 provider_key 索引迁移
- 补充调度维度、配额冷却、候选枚举等单元测试

Closes #197

Co-authored-by: AAEE86 <33052466+AAEE86@users.noreply.github.com>
 2026-03-03 09:22:20 +08:00
fawney19
e26ed8481f fix(scheduling): 负载均衡模式与无亲和键场景统一走随机排序 
重构 CandidateSorter.shuffle_keys_by_internal_priority 中同优先级
Key 的排序逻辑，将三分支简化为两分支：
- 随机排序：TTL=0 / 负载均衡模式 / 无 affinity_key
- 哈希确定性排序：缓存亲和模式且有 affinity_key

移除了原先"无 affinity_key 时按 ID 排序"的冗余分支，新增
对应单元测试覆盖三种场景。
 2026-03-02 22:36:24 +08:00
fawney19
0bff15f964 feat(endpoint): 端点默认 body_rules 机制与 Codex 规则回填 
- EndpointDefinition 新增 default_body_rules 字段，openai:cli/compact 配置 Codex 默认规则
- 创建端点时若未指定 body_rules 则自动填充对应格式的默认值
- 新增 GET /defaults/{api_format}/body-rules 接口查询默认规则
- 前端 EndpointFormDialog 增加"重置请求体"按钮，支持一键恢复默认
- Alembic 迁移回填已有 Codex 端点的默认 body_rules
- 新增 metadata 和 endpoint 创建默认值的单元测试
 2026-03-02 22:08:39 +08:00
fawney19
68bae686da feat(proxy): 支持远程推送升级与proxy元数据上报 
- aether-proxy 注册和心跳时上报 proxy_metadata（含版本号）
- 心跳 ACK 支持 upgrade_to 字段，proxy 收到后自动执行升级
- 重构 upgrade 逻辑，新增 perform_upgrade 用于远程触发的自动升级
- stream_handler 延迟统计改为仅记录连接建立延迟(DNS+TCP/TLS+TTFB)
- 后端新增 proxy_metadata 数据库字段和批量升级 API
- 远程配置支持下发 upgrade_to 版本指令
- 前端展示节点版本号，支持单节点和批量升级操作
 2026-03-02 12:58:41 +08:00
fawney19
f978888759 feat(heartbeat): 心跳可靠性增强，原子计数与去重优化 
- Rust proxy: 引入 snapshot+ACK 确认机制，心跳未确认时保留快照重发，
  避免指标丢失；添加 heartbeat_session_id 防跨进程去重误判
- Hub transport: Redis SETNX 心跳去重，避免多 worker 重复写库；
  ACK 回显 heartbeat_id 供 Rust 端匹配
- ProxyNodeService.heartbeat: 改用 SQLAlchemy atomic update 原子累加
  指标，避免 ORM read-modify-write 的并发覆盖问题
- 启动顺序修正: tunnel 状态重置移到 Hub 连接建立之前，避免竞态
- OAuth 批量导入: 动态超时(默认30s，走代理60s)，Kiro 适配器透传
- 提取 normalize_heartbeat_id 到 tunnel_protocol 共享模块，消除重复
 2026-03-02 12:27:51 +08:00
fawney19
f3b9f42202 refactor(tunnel): 移除直连tunnel模式，统一使用Hub转发 
- 删除 TunnelTransport 及 TunnelManager 相关引用，所有 tunnel 请求统一走 Hub
- 简化 health_scheduler，不再依赖进程内 TunnelManager 状态判断节点在线
- 简化 resolver，移除本地 tunnel miss 判断与多 worker 告警逻辑
- 简化 service 中 tunnel 连通性检测，统一以 DB 状态为准
- 启动/关闭流程移除 hub_enabled 分支，始终初始化 Hub 连接
- Rust 端 RequestMeta.timeout 增加浮点数反序列化支持，Python 端确保发送整数
 2026-03-02 11:45:30 +08:00
fawney19
039a18c243 feat(tunnel): 引入 aether-hub 帧路由器，支持多 worker 共享 tunnel 连接 
新增 Rust 实现的 aether-hub 服务，作为 Docker 容器内部 WebSocket 帧路由器，
解决多 Gunicorn worker 进程间 tunnel 连接隔离问题。

主要改动：
- 新增 aether-hub Rust 项目，实现 proxy/worker 双向帧路由与 stream_id 重映射
- 新增 HubConnectionManager/HubTunnelTransport，worker 通过 Hub 转发 tunnel 帧
- 新增 create_tunnel_transport 工厂函数，按运行环境自动选择 Hub 或直连模式
- 新增 NODE_STATUS 广播机制，Hub 实时通知所有 worker 节点连接状态变化
- CI/CD 新增 build-hub job，Dockerfile 集成 Hub 二进制，deploy.sh 适配 Hub 构建
- 默认 GUNICORN_WORKERS 从 4 降为 2
 2026-03-02 02:43:14 +08:00
fawney19
2c1e51a490 refactor(compression): 请求压缩策略改为跟随客户端行为，响应支持gzip压缩 
- 移除全局 ENABLE_REQUEST_COMPRESSION 配置，改为根据客户端 Content-Encoding
  决定是否对上游请求体进行 gzip 压缩
- 非流式响应根据客户端 Accept-Encoding 返回 gzip 压缩的 JSON
- ApiRequestContext 记录客户端编码偏好并透传至 handler 链路
- 新增 http_compression 模块统一处理压缩相关判断逻辑
- 上游请求头丢弃列表新增 content-encoding 防止客户端值泄露
- ensure_json_body 支持解压 gzip 编码的请求体
 2026-03-01 15:52:32 +08:00
fawney19
e748277902 feat(proxy): 安全加固与架构优化 
- 引入 SafeDnsResolver 消除 DNS rebinding TOCTTOU 漏洞，DNS 缓存改为多地址存储
- 扩展私有 IP 检测范围（CGNAT 100.64/10、基准测试 198.18/15、保留 240/4）
- 请求处理增加 hop-by-hop 头过滤、URL scheme 校验、超时范围限制
- 动态配置从 RwLock 切换到 ArcSwap 实现无锁读取
- 启动注册失败的服务器支持后台自动重试
- WebSocket 帧大小上限提升至 64MiB 匹配 Python 端
- 心跳支持动态间隔更新，新增 failed_requests/dns_failures/stream_errors 指标
- 配置启动校验、systemd UMask=0077、配置文件权限 600
- Python 端支持 per-connection max_streams（X-Tunnel-Max-Streams）
 2026-02-28 01:32:28 +08:00
fawney19
ee356c5e6e feat(proxy-tunnel): 实现隧道连接池与 TCP 底层优化 
Rust 端:
- 支持每个 server 多条并行 WebSocket 连接 (tunnel_connections 配置)
- 手动控制 TCP 连接: connect/handshake 超时、keepalive、NODELAY (socket2)
- 预构建共享 TLS ClientConfig 避免每次重连重新解析根证书
- 增加 stale timeout 检测无数据连接，智能 backoff 按连接存活时长重置
- 每条连接独立 reconnect 计数器，仅主连接 (conn_idx=0) 发送心跳
- dispatcher 的错误帧和 PONG 改用 try_send 避免阻塞读循环
- stream_handler 增加 frame 发送超时保护防止写阻塞

Python 端:
- TunnelManager 改为连接池，按 least-loaded 策略分配请求
- handle_incoming_frame 按连接实例路由，unregister 精确移除单条连接
- 心跳和 PONG 回复改为 fire-and-forget 避免阻塞主读循环
- send_frame 增加超时保护防止 TCP 写阻塞级联
- WebSocket 先 accept 再认证，auth 加超时
- 调整 idle timeout (90s) 和 ping 间隔 (15s)
 2026-02-27 21:25:42 +08:00
fawney19
b6ca16e084 fix(headers): 兼容非 ASCII header 值，避免 httpx ASCII 编码报错 
将 HeaderBuilder 中的 latin-1 透传方案替换为 ASCII 归一化策略：
- 对 x-codex-turn-metadata 做 JSON 重编码（ensure_ascii=true）保留语义
- 其他非 ASCII 头值仅转义非 ASCII 字符为 \uXXXX，保留 ASCII 字符原样
- 新增单测覆盖中文 header 与 codex turn metadata 场景

Close #180

Co-Authored-By: AAEE86 <ppk0227@hotmail.com>
 2026-02-26 02:56:54 +08:00
fawney19
bb7d393128 feat(body_rules): 支持通配符路径、范围索引、name_style action 和 $item 条件引用 
- 路径语法新增 [*] 通配符（遍历所有元素）和 [N-M] 范围索引
- 新增 name_style action，支持 snake_case/camelCase/PascalCase/kebab-case/capitalize 风格转换
- condition 支持 $item.xxx 引用通配符当前元素，实现逐元素条件过滤
- 前端同步更新类型定义、表单 UI 和帮助文档
- 提取 isBodyRuleEffective 函数消除重复的规则有效性判断逻辑
 2026-02-21 14:59:37 +08:00
fawney19
63870931af refactor: 调度器迁移至独立模块，消除 services->api 反向依赖 
- 将调度器相关模块从 src/services/cache/ 迁移到 src/services/scheduling/
- 下沉类型定义到 core 层: AccessRestrictions, ProviderAuthInfo, ParsedChunk/StreamStats, 视频工具函数
- 提取 thinking_cache 签名缓存到 core/api_format/conversion/
- 提取 provider 认证逻辑到 services/provider/auth
- 提取遥测记录到 services/usage/telemetry
- 提取 models 列表缓存到 services/cache/model_list_cache
- 更新所有引用方的 import 路径及相关测试
 2026-02-16 11:00:48 +08:00
fawney19
1c16b77a92 refactor: 拆分调度器为独立子模块，增强 Sub2API 多认证方式支持 
调度器重构:
- 将 CacheAwareScheduler 拆分为 candidate_builder、candidate_sorter、
  concurrency_checker、restriction_checker、scheduling_config、schemas、utils 等独立模块
- 删除旧的 _candidate_builder.py 和 _candidate_sorter.py
- 新增调度并发拒绝 Prometheus 指标

Sub2API 架构增强:
- 支持账号密码登录和 Refresh Token 两种认证方式
- 实现 JWT 自动刷新和 Token Rotation 持久化
- 前端 ProviderAuthDialog 支持多认证方式切换和 credentials_schema 动态渲染
- 验证接口返回 updated_credentials 以同步轮换后的 token

其他改进:
- 并发管理器增加 RPM guard 和动态预留逻辑
- RequestCandidate 支持 mark_skipped 附加 extra_data
- TaskService 增强健壮性
- 补充相关单元测试和契约测试
 2026-02-15 16:32:23 +08:00
fawney19
483d536e2c perf: cherry-pick PR #172 性能优化（不含 orjson） 
- tiktoken 编码器改为 @lru_cache 全局缓存，避免多实例重复初始化
- 前缀匹配按长度排序，避免短前缀抢先匹配
- AuthService 更新 last_used_at 时临时关闭 expire_on_commit，减少额外 SELECT
- UsageService.record_usage_batch 改用 bulk_insert_mappings 批量插入
- 已有记录查询增加 selectinload 预加载，避免 N+1
- Gemini normalizer 长行格式化

Co-Authored-By: AAEE86 <33052466+AAEE86@users.noreply.github.com>
 2026-02-12 10:58:14 +08:00