i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 01:10:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
996 Commits 5 Branches 174 Tags
025e979935ed1eedcd54e16df1e4e84024d51a16
Commit Graph

171 Commits

Author SHA1 Message Date
fawney19
025e979935 fix(codex): 配额刷新 401/403 不再自动禁用 key，区分软性请求失败与账户封禁 
- 新增 OAUTH_REQUEST_FAILED_PREFIX 标记非 token 失效的 403 请求失败
- 引入 _merge_invalid_reason 合并逻辑，避免低优先级原因覆盖高优先级状态
- account_state 中 REFRESH_FAILED/REQUEST_FAILED 前缀不再触发封禁判定
- 401/403 返回 auto_disabled=False，不再直接设置 is_active=False
 2026-03-16 01:12:35 +08:00
fawney19
131471a13f refactor(maintenance): body 压缩改为逐条独立事务，降低内存占用与锁粒度 
将 _cleanup_body_fields 从批量加载完整记录改为先查询 ID 列表，
再逐条独立会话处理压缩，避免大批量事务导致的内存和锁问题。
批次大小上限从 100 降至 25，新增排序保证处理顺序确定性。
 2026-03-15 23:46:01 +08:00
fawney19
7ff63077c3 feat(providers): provider 摘要列表排序增加启用状态优先 
后端查询和前端展示均按 is_active 降序、priority 升序、created_at 升序排列，
确保已启用的 provider 始终排在前面。
 2026-03-15 23:13:11 +08:00
fawney19
faba0cbd07 fix(openai-cli): item_id 与 call_id 不一致时 tool delta 映射错误 
Responses API 中 function_call 的 item.id 和 call_id 可能不同，
增加别名注册和解析机制，确保后续 delta/done 事件统一使用 call_id。
 2026-03-15 22:50:50 +08:00
fawney19
75f17935f9 fix(openai-cli): 补全 function_call 的 arguments 快照同步，修复无 delta 时参数丢失 
在 output_item.done 和 function_call_arguments.done 事件中，通过 args snapshot
对比已发送的增量，补发缺失的 tool arguments delta，确保客户端收到完整参数。
 2026-03-15 22:20:54 +08:00
fawney19
60842fbbb5 fix(openai): tool_call delta 重复携带 function.name，增强严格客户端兼容性 
在 ToolCallStart 时记录 block_index 到 tool_name 的映射，
ToolCallDelta 时同步输出 function.name，避免严格客户端丢弃无 name 的 delta。
提取 _ss_dict 辅助方法统一 stream state 中 dict 字段的初始化逻辑。
 2026-03-15 22:04:21 +08:00
fawney19
d58c27d22d fix(openai): tool_call delta 重复携带 id/type，修复严格客户端兼容性 
部分 OpenAI 兼容客户端要求每个 tool_call delta chunk 都包含 id 和 type
字段，否则会将后续 delta 视为无效。通过 block_to_tool_id 映射在
ContentBlockStart 时记录 tool_id，确保后续 ToolCallDelta 能正确回填。
 2026-03-15 21:51:44 +08:00
fawney19
3c7ad81d62 feat(rules): 条件系统增强，支持 all/any 组合条件和 original/current 数据源切换 
- evaluate_condition 支持递归 all/any 组合节点和 source 字段
- header_rules 支持 condition 条件触发，HeaderBuilder.apply_rules 透传 body/original_body
- 提取 EndpointConditionEditor 组件统一请求头/请求体规则的条件编辑 UI
- header_rules 新增服务端结构校验（action/key/from/to/condition）
- 新增组合条件、source 切换、fail-closed 等测试用例
 2026-03-15 20:27:53 +08:00
fawney19
8cc70934da fix(openai,oauth): 修复 resp_ ID 前缀转换和 token 失效误判为账号级 block 
- OpenAI normalizer: resp_ 前缀 ID 规范化为 chatcmpl- 前缀，流式 tool_call index 增加 block_index 回落
- OAuth token: 提取 token 失效关键词为共享常量，token invalidated 不再被判定为账号级 block
- Codex refresher: 403 + token invalidated 标记为 OAUTH_EXPIRED，允许 refresh_token 恢复
 2026-03-15 16:56:58 +08:00
fawney19
f92b0943b5 feat(rate-limit): 实现分层 RPM 限速，支持系统默认/用户/独立Key三级配置 
- 新增用户级 rate_limit 字段，支持系统默认/用户自定义/不限制三种模式
- 独立 Key 的 rate_limit 语义调整：null=跟随系统默认，0=不限制，>0=自定义
- 实现 UserRpmLimiter 基于 Redis sliding window 的 RPM 限速引擎
- Pipeline 请求流程集成用户级 RPM 检查
- 管理后台和用户面板新增 RPM 限速配置与实时状态查看
- 系统设置新增全局默认 RPM 配置项
- 迁移脚本回填现有 API Key 的 rate_limit 默认值
- 新增用户/Key RPM 状态监控 API 和前端展示

Closes #231

Co-authored-by: LewisPen <LewisPen@nyadoo.com>
 2026-03-15 14:22:59 +08:00
fawney19
920a383136 refactor(claude-code): 移除 TLS 指纹模拟配置，简化上下文构建逻辑 
移除 enable_tls_fingerprint 配置项、TLS_PROFILE_CLAUDE_CODE 常量及
resolve_claude_code_tls_profile 函数，TLS profile 改为仅由 fingerprint
的 impersonate 字段决定，简化 build_and_set_claude_code_request_context
返回值为单一 context 对象。
 2026-03-15 00:23:19 +08:00
fawney19
e0286aebe3 refactor: 共享请求管道、按需懒加载、流式内存护栏与连接池治理 
- 抽取 ApiRequestPipeline 单例，44 个路由文件共享同一实例
- Handler/Adapter 模块级 __getattr__ 延迟导入，减少启动时间
- 新增 ensure_stream_buffer_limit() 流式内存护栏（16MB 单行 / 32MB 总量）
- HTTP 空闲连接清理与 curl_cffi LRU 会话池
- ensure_providers_bootstrapped 按需引导指定 provider_types
- Usage 事件序列化迁移至 msgpack，Redis codec 隔离
- 启动预热任务（/readyz 就绪门控）与优雅关闭
- 通知邮件模块独立开关与 SMTP 配置校验
- CryptoService DCL 线程安全修复
- 通知模块开关 DB 查询 30s 内存缓存
- /readyz 对 unknown 状态返回 503
- 预热关闭 5s 超时保护
- 预热适配器逐个 try-except 容错
- FormatConversionRegistry 哨兵模式防并发重复物化
- 流式缓冲检查无条件执行

Closes #230

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-14 11:59:07 +08:00
fawney19
776dd2f8ea feat(cleanup): 解耦 request_candidates 与 provider_api_keys 生命周期 
- 移除 request_candidates.key_id 对 provider_api_keys 的外键约束(含迁移脚本)
- 删除 Key 时不再级联删除候选记录，改为独立按保留天数定时清理
- 新增 request_candidates_retention_days / request_candidates_cleanup_batch_size 配置项
- batch_delete_task 增加 lock_timeout 及超时自动降批重试机制
- cleanup_key_references 提取阶段化清理流程，移除 RequestCandidate 联动删除
- 前端 CleanupPolicySection 新增候选记录保留天数和清理批次配置

Closes #227

Co-authored-by: Entropy-Xu <entropy.xu@cloudhabitatsh.com>
 2026-03-14 01:33:08 +08:00
fawney19
bdfe4adc98 feat(usage): 修复缓存命中率计算并新增用户端 API 格式统计 
- 新增 input_context_expr() 按 api_format 区分 input_tokens 语义
  (OpenAI/Gemini input_tokens 已含 cache_read，Claude 需额外加上)
- 缓存命中率统一改为基于归一化后的 total_input_context 计算
- 用户 /me/usage 接口新增 summary_by_api_format 后端聚合字段
- 前端 API 格式统计改用后端聚合数据，移除前端逐条记录手动统计
- 提取 formatHitRate 到 utils/format.ts 消除三处重复定义
- 移除 PoolManager 中未使用的 select_key 方法

Co-Authored-By: AAEE86 <ppk0227@hotmail.com>
 2026-03-14 00:33:19 +08:00
fawney19
e9678ea899 fix(admin): 优先级脏检查、base_url 校验、usage detail 延迟加载及导入数据验证 
- 前端优先级管理: 保存时对比原始快照，仅提交实际变更的 provider/key 优先级，
  并限制并发请求数(SAVE_CONCURRENCY=6)，避免无效 API 调用
- handler_adapter_base: _normalize_test_base_url 改为 _validate_test_base_url，
  移除对 dict 类型 base_url 的兼容，严格要求字符串输入
- provider_query: 新增 _require_test_endpoint_base_url，在测试链路提前校验
  endpoint.base_url 类型和非空
- system.py: 导入 endpoint 时通过 ProviderEndpointCreate 模型校验数据，
  拒绝非法 base_url 类型(如 dict)
- usage detail: 使用 defer() 延迟加载 body 列，通过 SQL CASE 表达式在
  数据库端计算 has_*_body 标记，减少不必要的大字段传输
- provider routes: 新建 provider 时 priority=0 边界处理，clamp 并 shift
 2026-03-12 17:11:14 +08:00
fawney19
8d69f72e2a fix(stability): 健康监控 DB 操作异步化，防止 worker 超时崩溃 
- executor: record_success 通过 asyncio.to_thread offload 到线程池
- error_handler: 3 处 record_failure 同样 offload 到线程池
- sync_execute: 设置 expire_on_commit=False 防止 commit 后 ORM 懒加载
- handler_adapter_base: 归一化 check_endpoint 的 base_url 输入
 2026-03-12 16:17:22 +08:00
fawney19
0112ab752b refactor(proxy): 将 proxy resolver 同步阻塞操作异步化，避免阻塞事件循环 
- 为 resolve_proxy_info、resolve_delegate_config、build_proxy_url、
  get_system_proxy_config、build_post_kwargs、build_stream_kwargs 新增
  _async 异步版本，通过 asyncio.to_thread 在工作线程中执行同步 DB 查询
- 为 _proxy_node_cache 和 _system_proxy_cache 添加 threading.Lock 保护
  多线程并发读写安全
- 大 payload 的 gzip 压缩超过 64KB 阈值时走线程池，小 payload 仍在事件
  循环中同步执行以避免不必要的线程调度开销
- hub_transport 的 frame 压缩同样增加异步版本
- 删除已无调用者的同步方法 create_client_with_proxy，将其逻辑内联至
  get_upstream_client 并改为异步
- 更新所有 handler/executor/failover 调用点使用新的异步 API
- 补充 async 版本的单元测试
 2026-03-12 13:59:21 +08:00
fawney19
71ae1a2307 feat(hub,stability): bounded outbound queue、worker liveness 检测、事件循环 watchdog 及 DB 操作异步化 
- aether-hub: unbounded channel 改为 bounded channel (BoundedOutbound)，队列满时标记拥塞并主动关闭连接，防止内存无限增长
- aether-hub: worker idle timeout 从命令行参数改为基于心跳的 liveness 检测，默认 60 秒
- aether-hub: 新增 ConnConfig 统一管理连接配置，新增 outbound_queue_capacity 参数
- hub_transport: 新增事件循环 watchdog，检测 lag 超过阈值时临时降级暂停新流
- gunicorn_conf: 启用 faulthandler，worker abort 时自动 dump 全部线程栈用于诊断
- health/endpoint_checker/recording: 同步 DB 操作移至 asyncio.to_thread，避免阻塞事件循环
- Dockerfile: 移除 --worker-idle-timeout 0 命令行参数，改由环境变量和默认值控制
 2026-03-12 12:19:04 +08:00
fawney19
3f048d373f refactor: 将路由层同步 DB 操作移至线程池执行，统一认证工具函数 
- 管理端和用户端路由中的同步数据库操作提取为独立函数，通过 run_in_threadpool
  在线程池中执行，避免阻塞事件循环（涉及 api_keys、payments、users、wallets、
  provider_oauth、system、user_me、wallet 等模块）
- 抽取 authenticate_user_from_bearer_token 统一 token 验证逻辑，支持
  ManagementToken 和 JWT 两种认证方式，消除多处重复代码
- key_command_service 的 CRUD 操作改为线程池执行
- maintenance_scheduler 定时任务中的数据库操作改用 asyncio.to_thread
- Dockerfile 中 aether-hub 增加 --worker-idle-timeout 0 防止空闲断连
- 新增 test_api_auth_conventions 和 test_auth_utils 单元测试
 2026-03-12 09:33:24 +08:00
fawney19
6e51a3f45d feat: Provider 异步删除、可配置密码策略、Hub 超时优化及多项改进 
- 新增 Provider 异步删除任务系统，后台分阶段删除子资源并清理残留引用
- 新增可配置密码策略等级（weak/medium/strong），支持系统设置面板调整
- aether-hub 升级至 0.1.4，idle timeout 支持禁用（设为 0），worker 默认超时调整为 120s
- OAuth 手动续期增加 Redis 分布式锁，防止并发刷新冲突
- ProxyNode 心跳检测改为 asyncio.to_thread，避免阻塞事件循环
- 删除 ModelMultiSelect 和 useInvalidModels，MultiSelect 组件通用化
- 明确 allowed_providers/allowed_api_formats 的 NULL 与空数组语义
- 前端 StandaloneKeyFormDialog、UserFormDialog 等多处 UI 优化
- 新增 Alembic 迁移脚本清理 Provider 删除后的残留引用
- 补充相关测试用例
 2026-03-12 01:11:35 +08:00
fawney19
0d770d1c4d feat(oauth): 新增 Codex account_user_id 和 organizations 字段采集、展示与判重 
- 从 Codex id_token claims 和 token_response 中提取 account_user_id 和 organizations
- OAuth 判重逻辑改为优先按 account_user_id 匹配，支持同用户不同 Team 不误判
- 号池和 Provider 详情页展示组织标签、account ID 和 account_user_id
- 前端重复的 OAuth identity 工具函数提取到 utils/oauthIdentity.ts
- 后端重复的 normalize_oauth_organizations 提取到 core/provider_oauth_utils.py
 2026-03-11 21:37:08 +08:00
AAEE86
31ef2d134e fix(usage,pool): 修复号池最后使用时间不更新 
统一在 ProviderAPIKey 累计更新时刷新 last_used_at/updated_at，即使 token/cost 增量为 0。

补充回归测试：覆盖 zero delta 场景和 provider_api_key_id 为空时跳过更新。
 2026-03-11 16:12:36 +08:00
fawney19
9353f89af0 Merge pull request #220 from AAEE86/master 
fix(pool): recent_refresh 按 provider_type 解析 reset_seconds 并锁定 Codex 周重置语义
 2026-03-11 16:02:14 +08:00
fawney19
380d69e096 feat(pool): 记录并展示 Provider Key 累计 Token 与费用 
Closes #219

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-11 15:56:58 +08:00
fawney19
04ab4bd9f2 feat: 强化用量计费状态机，新增钱包每日消费汇总分类账 
- 将 usage.billing_status 默认值从 settled 改为 pending，完善
  pending -> settled/void 的状态转换逻辑，确保终态不可逆
- 新增 WalletDailyUsageLedger 模型和聚合服务，按账单日汇总
  每个钱包的消费金额、请求数和 token 用量
- 前端钱包中心页面集成每日消费流水展示，支持与充值记录混合
  排序和分页
- 新增两个数据库迁移：修复历史数据状态一致性、创建每日汇总表
- 补充计费状态机单元测试

Closes #218

Co-authored-by: LewisPen <LewisPen@nyadoo.com>
 2026-03-11 15:11:33 +08:00
fawney19
e2ec3f7942 Merge pull request #217 from AAEE86/1233 
perf: 优化请求鉴权链路并批量化统计/调度查询
 2026-03-10 23:31:28 +08:00
fawney19
1e39ab3c2e feat: 新增 Gemini CLI provider adapter 
- 新增 gemini_cli adapter 包（client/constants/envelope/plugin/quota）
- 实现 v1internal 协议封装、OAuth enrichment、loadCodeAssist/onboardUser 流程
- 实现配额耗尽检测与冷却元数据管理（RESOURCE_EXHAUSTED 解析）
- 新增 GeminiCliQuotaReader 支持按模型粒度的配额展示
- endpoint check 支持流式回退和 v1internal 响应解包
- health_policy 429 处理增加 Google 配额冷却解析
- error_handler 在限流时同步 Gemini CLI 配额状态
- 前端添加 Gemini CLI provider 类型选项和 OAuth 图标
- 新增 preset models（gemini-2.5-pro/flash, gemini-3-pro/flash, gemini-3.1-pro）
- 新增 gemini_cli quota 单元测试

Closes #216

Co-authored-by: Entropy.Xu <entropy.xu@cloudhabitatsh.com>
 2026-03-10 23:14:05 +08:00
fawney19
6ec8df97e8 refactor: 限制流式文本收集内存增长，降低默认连接池和缓存上限 
- StreamContext.append_text 增加 16KB 上限，超出后仅计数不存储，
  避免长流式响应导致内存持续增长；token 估算改用 collected_text_length
- 降低 DB 连接池上限 (30->15) 和 HTTP 连接池上限 (200->100)
- tiktoken 编码器缓存从 32 缩减到 4（实际编码种类只有几种）
- dev.sh 添加开发环境低配连接池默认值，uvicorn 热重载仅监视 src 目录
 2026-03-10 15:33:46 +08:00
AAEE86
f82964217e fix(pool): recent_refresh 按 provider_type 解析 reset_seconds 并锁定 Codex 周重置语义 
- 为 `extract_reset_seconds` 增加 `provider_type` 解析链路（显式参数 -> key.provider_type -> key.provider.provider_type -> metadata 推断）。
- Codex 场景固定读取 `primary_reset_seconds`（周限额），避免误用 `secondary_reset_seconds`（5 小时窗口）；Kiro/Antigravity 继续走统一 quota reader。
- 在 `RecentRefreshDimension` 和 `PoolManager` 的策略上下文中透传 `provider_type`，并在缺失时从 key provider 回退推断。
- 新增/补强测试覆盖：
  - multi_score `recent_refresh` 在 Codex 下按 weekly reset 排序；
  - quota reader helper 在 Codex provider 下返回 primary reset；
  - Codex 付费计划（plus/enterprise）在 headers 与 WHAM 响应中的窗口映射与主次窗口对齐（10080/300 分钟）。

降低 recent_refresh 评分偏差风险，并为 Codex 付费窗口解析提供回归保护。
 2026-03-10 14:55:48 +08:00
fawney19
cfa5535f6e refactor: 引入 safe_create_task 防止后台任务被 GC 回收，降低默认连接池和 worker 数量 
- 新增 safe_create_task 统一替代裸 asyncio.create_task，通过全局集合持有 task 引用
- 默认 worker 数量从 4 降为 1，HTTP 连接池总预算从 800 降为 200
- 为 health_cache 和 affinity_manager 内存缓存增加上限淘汰机制
- MemoryCachePlugin 支持延迟启动清理任务
- gunicorn when_ready 增加 gc.collect() 并记录 post_worker_init RSS
 2026-03-10 14:42:33 +08:00
fawney19
2d846b2c58 refactor: 移除启动缓存预热功能 
删除 cache_warmup.py 及相关配置项和测试，简化启动流程
 2026-03-10 14:11:41 +08:00
fawney19
f40e8037dd feat: 添加启动任务开关，修复统计聚合内存泄漏 
- 新增 CACHE_WARMUP_ENABLED 和 MAINTENANCE_STARTUP_TASKS_ENABLED 环境变量，
  允许禁用缓存预热和维护调度器启动任务
- 在统计聚合批量处理循环中添加 db.expunge_all()，释放 Session identity map，
  防止 ORM 对象累积导致内存暴涨
- 添加启动任务开关的单元测试
 2026-03-10 13:42:38 +08:00
fawney19
2b21a75982 refactor: 优化模型获取调度器并发模型和缓存格式 
- 用固定 worker 数的队列消费模式替换 Semaphore+gather，避免大号池一次性创建大量协程
- 分批扫描 Key ID（keyset pagination），避免一次性加载全量 ID
- 上游模型缓存从 per-api_format 去重改为 per-model-id 聚合 api_formats 列表，减少 Redis 占用
- 启动阶段支持环境变量控制（MODEL_FETCH_STARTUP_ENABLED / MODEL_FETCH_STARTUP_DELAY_SECONDS）
- 新增单元测试覆盖聚合逻辑和并发上限验证
 2026-03-10 12:47:50 +08:00
fawney19
7c580e843f fix: 治理 Prometheus 指标基数爆炸和内存缓存无界增长 
- 移除 token/latency Prometheus 指标的 model 标签，避免 provider x model 笛卡尔积
- HealthMonitor 滑动窗口从 DB JSON 迁移至进程内存，减少写放大
- ModelCostService 三层缓存增加 500 条上限，超限时清空
- StickyPriority 粘性缓存和健康状态字典增加容量淘汰
- AffinityManager 请求锁字典增加 500 条上限，淘汰空闲锁
- 配额刷新/探测查询使用 defer/load_only 避免加载大 JSON 列
- Alembic 迁移清理 DB 中遗留的 request_results_window 数据
- 同步更新测试适配 batch_get_cooldowns 返回值和批量删除异步化
 2026-03-10 10:40:50 +08:00
AAEE86
596227659a perf(admin-usage): 精简管理员 Usage 列表的 request_metadata 下发 
- 从 request_metadata JSON 中直接查询 model_version
- 管理员 Usage 列表不再返回完整 request_metadata
- 前端表格、类型和 mock 改为使用顶层 model_version
- 新增轻量响应回归测试
 2026-03-10 00:02:49 +08:00
AAEE86
57c7cca556 perf: 优化请求鉴权链路并批量化统计/调度查询 
- 为 Pipeline/Context 增加按需读取请求体能力，支持 async 懒加载 JSON body
- 为 chat/cli/video/claude/openai-cli 适配器关闭默认预读，减少无效 body 读取与超时风险
- 将本地登录、JWT 用户加载、API Key 鉴权迁移到线程池隔离会话执行，避免阻塞事件循环
- 为 API Key 鉴权返回结构化余额结果，并在主请求会话中重新绑定 user/api_key 后再校验状态、过期和锁定信息
- 为 management/user token 前缀认证引入独立会话与结果回绑，避免跨会话对象写入失效

- 为 Usage 余额检查补充结构化返回，统一透出 remaining 与欠费/不可用文案映射
- 为用户与管理端活跃请求查询增加 maintain_status 开关，避免轮询指定 id 时误触发状态修复
- 重写 user_me usage 汇总逻辑，支持 group_by=None 的粗粒度聚合
- 修正 provider 维度成功率与平均响应时间统计，基于 success_count 和成功响应耗时汇总计算
- 前端 Usage 轮询由 setInterval 改为串行 setTimeout，避免并发轮询叠加

- 为 StatsAggregator 增加按本地日期批量计算百分位能力，替代逐天 fan-out 查询
- 为混合统计查询合并连续实时日期区间，并批量读取 StatsDaily，减少逐日查询次数
- 为用户日统计增加批量聚合入口，替代逐用户循环聚合
- 为系统配置导出改用 selectinload 预加载 provider 关联数据，减少 N+1 查询
- 为管理员用户列表增加钱包批量查询，避免逐用户回表

- 为调度器增加 provider 轻量引用预过滤，先按 allowed_providers 缩小范围再加载完整 provider 图
- 为 CandidateBuilder 增加 provider refs/provider_ids 查询能力，保留分页顺序
- 为模型缓存增加 provider_model_mappings 索引缓存与 model_mappings 规则缓存，减少重复全量扫描
- 为请求候选中间态改为 flush/batch commit，降低 pending/streaming 状态切换的事务往返
- 为钱包访问结果补充 balance_snapshot，并抽取余额快照复用逻辑

- 补充 pipeline、auth、admin users、user_me usage、stats aggregator、model cache、
  scheduler、wallet、request candidate 等回归与契约测试
 2026-03-09 22:57:23 +08:00
fawney19
0258d01ee6 refactor: 将 adapter 层的计费/模型抓取/行为变体能力下沉到 core.api_format 注册表 
- 新增 core/api_format/capabilities.py，统一注册计费模板、模型抓取、
  total_input_context 计算和 provider behavior variant
- 新增 core/usage_tokens.py，抽取 cache token 解析逻辑到 core 层
- handler adapter 移除各自的 compute_total_input_context / fetch_models /
  BILLING_TEMPLATE 覆盖，改为委托 core 注册表解析
- provider/behavior.py 改为薄封装，底层委托 core registry
- 新增 tests/test_architecture_import_rules.py 架构导入约束测试
- 新增 tests/services/api_format/test_capabilities.py 能力注册表测试

Closes #207

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-09 18:26:53 +08:00
fawney19
afbb1b9a5d perf: Redis 操作优化，移除号池 key 列表的 Usage 聚合查询 
- 号池 key 列表移除 Usage 表聚合查询(total_tokens/total_cost_usd)，消除慢 SQL
- cooldown 计数从 SCAN 改为 SCARD (O(1))，通过 cooldown_idx SET 维护索引
- 读路径 Lua 脚本移除 ZREMRANGEBYSCORE，清理移至写路径减少开销
- affinity 清理从 KEYS 改为 SCAN 分批删除，invalidate_all_for_provider 改用 pipeline 批量 MGET+UNLINK
- 缓存监控页添加清除按钮 loading 状态，Redis SCAN 并发限制为 4
- 提取 redis_utils 模块统一 SCAN+批量删除逻辑
- 调度热路径跳过 cooldown TTL 查询，account_state 预计算移出循环
 2026-03-09 14:54:45 +08:00
fawney19
fa69287449 perf: 依赖数据库 CASCADE/SET NULL 替代手动清理关联表，缩短删除事务 
- 批量删除移除 cleanup_key_references 手动清理，改为依赖 FK CASCADE/SET NULL
- video_tasks.key_id FK 增加 ondelete="SET NULL"，附带幂等迁移脚本
- _sync_delete 增加 statement_timeout 和任务级超时保护
- 批量导入在每次 await 前释放闲置 DB 连接，按批次提交写入避免长事务
- 前端轮询改为先查后等，首次查询不再多等一个间隔
 2026-03-09 03:48:20 +08:00
fawney19
654ce89541 fix: 批量删除任务完成前等待所有进度更新的异步回调完成 
收集 run_coroutine_threadsafe 返回的 Future，在标记任务完成前
通过 asyncio.gather 等待所有进度更新回调执行完毕，避免任务
状态提前跳到 completed 而进度数据尚未写入 Redis 的竞态问题。
 2026-03-09 02:52:38 +08:00
fawney19
91b6e0a382 fix: Hub 连接清理顺序修复、OAuth 类型常量提取、disassociate 逻辑优化 
- Hub proxy/worker 连接关闭时先 unregister 再延迟 abort writer，确保缓冲消息排空
- 提取 OAUTH_AUTH_TYPES 常量，替代各处硬编码的 OAuth 类型列表
- auto-disassociate 跳过 OAuth Key，避免其动态 allowed_models 干扰判定
- 删除 Key 时传入 skip_disassociate=True，跳过不必要的解关联检查
- ModelMapper 缓存命中时将 ORM 实例脱离 Session，修复 DetachedInstanceError
 2026-03-08 23:03:56 +08:00
fawney19
48d13762d9 refactor(cost,perf): 成本字段 Float 改 Numeric 并优化多处查询性能 
- 数据库所有 cost/price 字段从 Float 改为 Numeric(20,8)，解决浮点精度问题
- API 响应中 Decimal 值统一用 float() 转换确保 JSON 序列化
- 路由中手动 commit 后标记 tx_committed_by_route 防止中间件重复提交
- 多处查询优化：SQL 聚合替代 Python 遍历、load_only/defer 减少字段加载、
  批量 DELETE 替代逐条 ORM 删除、N+1 查询消除、UNION ALL 合并多表日期查询
- 新增 provider_api_keys (provider_id, is_active) 复合索引
- 候选构建热路径 defer 冷字段，钱包扣费合并解析与加锁查询
 2026-03-08 16:44:16 +08:00
fawney19
bd3f73c2fc feat(retention): 删除用户/Key 时保留历史记录，外键改 SET NULL 并添加名称快照 
- Usage/RequestCandidate/VideoTask/Stats 等表的 user_id/api_key_id 外键从
  CASCADE 改为 SET NULL，删除用户或 Key 后历史记录不再丢失
- 各表添加 username/api_key_name 快照字段，删除后仍可追溯归属
- 新增 bulk_cleanup 模块，分批置空大表外键避免长事务锁
- 删除用户/Key 流程集成预清理步骤，先置空再删除
- 精简 candidate_builder 冗余 debug 日志
- 修复 proxy_nodes 启动日志 format 占位符错误（{} -> %s）
- 前端批量操作请求增加 5 分钟超时配置
 2026-03-08 14:31:15 +08:00
fawney19
25c33846be perf(pool): 添加性能计时日志，优化批量删除分批与模型解除关联查询 
- 前端批量操作对话框添加 loadAllKeys/executeAction 计时日志
- 后端池账号列表接口和批量删除接口添加分阶段耗时日志
- 批量删除按数据库类型自动选择分批大小，统一前端 batch size 为 2000
- 优化 auto_disassociate 查询：先检查 unlimited key 提前返回，使用 load_only 减少字段加载
- 新增批量操作路由和自动解除关联的单元测试
 2026-03-08 03:58:10 +08:00
LewisPen
783f654953 feat(wallet): 钱包系统替代配额系统，新增支付与退款机制 
- 新增钱包余额管理、充值、扣费、退款完整流程
- 新增支付网关抽象层（支持手动/支付宝/微信）
- 用量计费从配额系统迁移到钱包余额扣费
- 新增管理员钱包管理与支付订单管理页面
- 新增用户钱包中心页面
- 移除独立 Key 锁定机制，统一由钱包余额控制
- 新增相关 API 路由、序列化器与数据库迁移
- 新增钱包、支付、退款相关测试
 2026-03-08 00:05:48 +08:00
fawney19
9cdcce1b5f fix(providers): 允许 max_probe_interval_minutes 设为 0 并修复零值被覆盖的问题 
- 将 max_probe_interval_minutes 校验范围从 2-32 改为 0-32
- 修复 routes.py 中 max_probe_interval_minutes 和 cache_ttl_minutes
  使用 `or` 短路导致零值被默认值覆盖的问题，改用 is not None 判断
- 前端表单同步调整最小值约束和提示文案
- 新增零值校验的单元测试
 2026-03-07 18:43:28 +08:00
fawney19
239238fe47 refactor(task): 拆分 TaskService 并重构任务生命周期 
- 将 task 公共协议/上下文/异常/schema 下沉到 core，并迁移 polling 目录
- 新增 execute/submit/video 子模块，拆分同步执行、异步提交流程、错误处理与视频任务操作
- 收敛 TaskService 为门面编排，内部委派到 SyncTaskExecutionService、AsyncTaskSubmitService、VideoTaskOperationsService
- 重构 main 生命周期管理：引入 LifecycleState，拆分启动与关闭流程
- 删除未使用的 TaskExecuteFacadeService 与 TaskSubmitFacadeService

Closes #201

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-07 15:33:29 +08:00
fawney19
fb1aeb789a feat(test,quota,failover): 模型并发测试、统一配额读取器与故障转移取消支持 
- 新增 QuotaReader 抽象层，统一 Codex/Kiro/Antigravity 配额解析逻辑，
  替换 pool/routes.py 中分散的配额构建函数
- 模型测试支持并发执行多候选，前端新增 useModelTest composable 统一
  ModelsTab 和 ModelMappingTab 的测试逻辑
- ModelTestDialog 增加结果概览摘要、超长结果折叠、端点列和新状态支持，
  删除已合并的 TestResultDialog
- FailoverEngine 新增客户端断开检测，支持取消剩余候选并标记记录
- 刷新配额改为分批执行，直连测试候选按可用性排序
- 修复 error 判断从 "error" in dict 改为 dict.get("error") 避免误判
 2026-03-07 02:16:03 +08:00
fawney19
90760da499 feat(test,export,headers): 模型测试复用统一运行时、实时进度展示、导出增强与请求头大小写保留 
- 模型测试 failover 从手动 FailoverEngine 改为 TaskService.execute_sync_candidates 统一运行时
- 前端新增实时 trace 轮询进度展示（候选状态、测试账号、进度条）
- 用户导出/导入支持明文 Key 优先（版本升至 1.2），新增 email_verified 字段
- SENSITIVE_CREDENTIAL_FIELDS 统一到 provider_ops/types.py，补充 refresh_token
- 请求头大小写保留机制（resolve_header_name_case + HeaderBuilder.add 语义修改）
- Codex envelope 移除合成头部，保留客户端原始请求头
- endpoint_checker 支持自定义超时透传
- 新增 x-forwarded-scheme 到上游丢弃头部列表
 2026-03-06 21:06:45 +08:00
fawney19
050cba9563 feat(proxy,failover,transport): Hyper 上游客户端精细计时、连续失败退避与连接泄漏修复 
Proxy:
- 将上游 HTTP 客户端从 reqwest 替换为 hyper，新增 InstrumentedConnector
  实现 TCP 连接/TLS 握手级别的独立计时，上报 connection_reused 等指标
- 前端展示细粒度代理计时（连接复用、等待响应头等）

Failover:
- 引入连续失败退避机制，每 10 次失败递增退避间隔
- 检测 H2 max outbound streams 错误并触发上游客户端重建
- 新增 HTTPClientPool.reset_upstream_client 支持按需重建缓存客户端

连接泄漏修复:
- Handler 异常路径确保 response_ctx 被正确关闭
- HubResponseStream 迭代结束后在 finally 块中清理 stream_id
- HubTunnelTransport.handle_request 捕获所有异常并清理流状态
 2026-03-06 17:55:14 +08:00