i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 01:10:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
1,054 Commits 5 Branches 174 Tags
46737d32f8b9f441f4f94a75ce64d36ba224915e
Commit Graph

132 Commits

Author SHA1 Message Date
fawney19
46737d32f8 feat: 引入 status_snapshot 统一 provider key 状态管理 
- 新增 StatusSnapshot 模型，聚合 OAuth / 账号 / 配额三维状态
- 新增 StatusSnapshotStore 负责快照的持久化与查询
- 重构 response_builder / endpoint_models，基于 snapshot 输出状态字段
- 前端抽取 providerKeyStatus / oauthRefreshFeedback 工具函数，
  统一 PoolManagement、ProviderDetailDrawer、BatchDialog 的状态展示
- errorParser 增加已知 OAuth 错误的友好提示
- refresher 适配 snapshot 写入，account_state 扩展状态分类
- 新增 alembic 迁移及存量数据回填脚本
- 补充前后端单元测试
 2026-03-20 19:16:52 +08:00
fawney19
25d38ae632 feat(oauth): 账号封禁前置 OAuth 验证、抽取 provider_context、完善账号状态分类 
- 新增 verify_oauth_before_account_block：在标记账号封禁前先尝试刷新 token，
  区分 OAuth 过期与真正的账号级封禁，避免误标
- 抽取 provider_context.py 统一解析 provider_type，解决 ORM detached 访问问题
- account_state 新增 workspace_deactivated 分类和 auto-removable 状态集合，
  补充中文验证关键词匹配
- OAuth refresh 成功后仅清除可恢复的 token 错误，不再自动清除账号级 block
- deploy.sh 依赖指纹改用纯 shell 实现，移除对 Python tomllib 的依赖
- 前端 Pool 管理页面新增筛选和批量操作优化
- 补充对应测试用例
 2026-03-20 16:50:59 +08:00
fawney19
aa83b4a7a7 fix: 加固续租失败处理、verify_auth 异常捕获及调度器注册追踪 
- task_coordinator: 续租连续失败 5 次后主动触发 lock_lost 回调，失败间加指数退避
- proxy_nodes: lock_lost 回调由 lambda 改为具名 async 函数，确保异步停止逻辑正确执行
- provider_ops: 将 prepare_verify_config 纳入外层 try，捕获 ValueError 并返回失败响应
- maintenance_scheduler: 用 _registered_job_ids 动态追踪已注册任务，stop 时按列表清理
- stats_aggregator: 内联 _do_aggregate 为 for/range(2) 循环，消除内嵌函数
 2026-03-20 01:22:07 +08:00
fawney19
913ce2dbcb Merge pull request #252 from AAEE86/nn 
fix(startup): 收口 leader 失锁后的后台任务
 2026-03-20 01:13:01 +08:00
fawney19
772f2ea601 fix(vertex): SA 认证注入代理配置，细化 token 获取异常处理 
- _auth_service_account 接收 endpoint 参数，通过 _get_proxy_config 解析代理
- vertex_auth 区分 TimeoutException/RequestError/通用异常，提供可读错误信息
- 新增测试覆盖代理传递和超时场景
 2026-03-20 00:49:44 +08:00
fawney19
6984984c22 feat(provider): 重构模型测试对话框，加固 Vertex AI 传输层 
模型测试:
- 将消息输入替换为完整 JSON 请求体编辑器，支持格式化和校验
- 新增端点选择面板，测试前可选择目标端点
- 新增调试检查器，可查看每次尝试的请求/响应头和体
- 结果视图改用 HorizontalRequestTimeline 组件展示请求追踪
- endpoint_checker 返回完整调试数据，通过 candidate extra_data 持久化

Vertex AI:
- 改进上下文检测逻辑，不再仅依赖 provider_type，支持从 base_url 推断
- Service Account 密钥现支持自动拉取模型（使用 auth_config 而非 api_key）
- 移除 Gemini Developer API 回退，API Key 仅走 Express 模式
- 端点表单为 Vertex AI 显示格式特定的默认路径模板
- 密钥格式校验仅在 auth_type/api_formats 变更时执行

其他:
- 禁用 ClaudeCode 提供商类型创建入口
- Dialog 组件新增 closeOnBackdrop 属性
 2026-03-19 23:52:17 +08:00
AAEE86
1209c835c7 fix(startup): 收口 leader 失锁后的后台任务 
- 为后台调度器注册失锁回调并只在 stop 成功后清空生命周期引用
- 停止调度器时移除定时 job，补充启动与任务协调器回归测试
- 降低多 worker 下重复调度风险，保持停机收口与统计聚合回归一致
 2026-03-19 22:26:51 +08:00
fawney19
e4ebd5cca1 refactor(oauth): LinuxDo 备用端点回退、Basic Auth 认证，修复 session 外访问 ORM 对象 
- LinuxDo provider: token/userinfo 请求增加 backup 端点自动回退
- LinuxDo provider: token 请求改用 HTTP Basic Auth 认证
- 授权 URL 构建: scope 为空时不再发送该参数
- OAuthService: 引入 OAuthAuthenticatedUser 快照，避免 DB session 关闭后访问 ORM 对象
- OAuthService: _handle_login_sync 设置 expire_on_commit=False 防止属性过期
- 新增 LinuxDo provider 单元测试（Basic Auth、端点回退）
- 新增 _handle_login_sync 返回快照的集成测试
 2026-03-19 20:32:33 +08:00
fawney19
a8620e133a fix(kiro): 加固 Kiro adapter 错误处理与请求构建逻辑 
- 提取 request.py 统一 URL/headers/payload 构建，消除 handler_adapter_base 与 envelope 的重复逻辑
- 新增 error_enhancer 模块，分类 HTTP 状态码与连接错误，增强上游错误诊断信息
- envelope 实现 extract_error_text / on_http_status / on_connection_error，透传错误上下文到 eventstream rewriter
- KiroRequestContext 扩展错误状态字段，支持网络诊断信息传递
- provider_oauth_utils 改用 importlib 动态加载，避免 core 层对 services 的静态依赖
- idc auth_method 下跳过 profileArn，修复 usage 查询参数

Closes #247

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-19 13:54:40 +08:00
fawney19
086efe6efe refactor(usage-queue): ACK 后立即删除消息，清理 consumer 元数据 
- 消费成功/移入 DLQ 后立即 XDEL，避免主流 Redis 保留已入库历史
- 缩小 usage_queue_stream_maxlen 默认值：200000 -> 2000（仅作短暂缓冲）
- 启动时清理 pending=0 且长期闲置的旧 consumer（防 consumer group 元数据累积）
- 停机时主动 XGROUP DELCONSUMER 移除自身
- 移除 cache_fingerprint 模块及其对 telemetry/recording_helpers 的引用
- 同步更新相关测试，验证 xdel 调用及 consumer 生命周期行为
 2026-03-19 02:09:09 +08:00
kayphoon
6e55968487 feat: Codex account_name 透传并优化池列表 OAuth 标识与额度重置倒计时展示 
(cherry picked from commit 1b9176fc4a)
 2026-03-18 23:58:42 +08:00
fawney19
1d72a8f9c1 feat: 流式空闲超时、健康监控查询优化、限流桶内存上限与维护清理修复 
Close #233

Co-authored-by: AAEE86 <ppk0227@hotmail.com>

- cli_monitor_mixin: 引入 STREAM_IDLE_TIMEOUT_SECONDS（可通过环境变量配置），
  流传输开始后若超出空闲窗口无新 chunk 则提前取消并返回 504，避免长时间挂起
- stream_context: 新增 managed_recorded_bodies 上下文管理器，确保 chunks 在
  telemetry 完成后及时释放；stream_telemetry 使用该接口统一管理 response body 构建
- health endpoint: 将状态聚合改为 GROUP BY 直接统计，事件列表按 api_format
  单独查询，避免单次 limit 拉取大量记录导致的遗漏与性能问题；同时过滤不活跃
  provider/endpoint，与公开健康接口保持一致
- endpoint health service: 修正时间线数据按 endpoint_id 而非 key_id 聚合
- token_bucket: 引入 max_buckets/bucket_expiry 上限与定时清理，防止内存无限增长；
  修复 refill_rate=0 时 get_reset_time 除零异常；新增 _is_unlimited_rate_limit 判断
- maintenance_scheduler: 调整清理顺序（先删整行再按窗口清理），新增 newer_than
  边界参数，避免同一行在同一轮中被重复改写
- sync_execute: 新增 create_pending_usage 开关，允许已预创建记录的调用方跳过重复创建
- quota_reader / provider_ops balance: 小幅修复与健壮性提升
- Dockerfile: 添加 MALLOC_ARENA_MAX=2 环境变量以降低 gunicorn worker RSS
- 补充相关测试覆盖
 2026-03-18 23:38:26 +08:00
fawney19
3d5b6141a5 feat(codex): 引入 upstream_headers hook 机制，为 Codex 注入 session/conversation/account headers 
- 新增 upstream_headers.py：可注册 provider+endpoint 维度的 extra headers 构建 hook
- Codex openai:cli 注入 session_id + conversation_id（由 prompt_cache_key sha256 派生）
- Codex openai:compact 注入 chatgpt-account-id（来自 auth_config）+ session_id，不注入 conversation_id
- 修复 prompt_cache：compact 格式现统一为 codex 策略，不再跳过注入
- chat_handler_base / cli_request_mixin 均在 extra_headers 阶段调用 build_upstream_extra_headers
 2026-03-18 20:43:14 +08:00
fawney19
203cd5a9d5 fix(redis): 按事件循环隔离 Redis 连接，防止子线程 asyncio.run 导致连接泄漏 
RedisClientManager 新增 _redis_by_loop 字典，按 event loop id 维护独立连接，
避免 usage consumer 在 asyncio.to_thread + asyncio.run 场景下复用主循环连接。

同步重构 consumer_streams 的写库路径：_apply_record_event 统一走
record_usage_batch，_apply_streaming_event 改为 to_thread 执行同步 DB 操作，
移除冗余的 session 传递和手动 rollback 逻辑。
 2026-03-18 17:56:48 +08:00
fawney19
cbb66a5667 refactor(task): 引入 MutableRequestBodyState 替代 request_body_ref 字典容器 
将请求体可变状态从 {"body": dict} 字典容器重构为独立的
MutableRequestBodyState 类，统一管理 original_body / current_body /
build_attempt_body / rectify 等语义，消除各层通过 ref["body"] 间接
读写的隐式约定。

- 新增 src/services/task/request_state.py 定义 Protocol 与实现
- handler/executor/mixin 层改用 request_state 参数传递
- error_handler/state_transition 通过 request_state 判断整流状态
- 新增 request_state 单元测试与 chat/cli 请求体隔离测试
 2026-03-18 13:43:39 +08:00
fawney19
1af3067303 refactor(codex): 移除 envelope/request_patching 层，用 context var 统一 compact 状态判断 
- 删除 CodexOAuthEnvelope 和 request_patching 模块，Codex 不再需要 envelope 层
- 移除 _aether_compact 请求体内部标记，改用 is_codex_compact_request() 集中查询
- 简化 OpenAI CLI adapter，移除 Codex 专用的 get_cli_extra_headers/build_test_request_body 逻辑
- 移除 Codex behavior variant 注册（same_format/cross_format）
- normalizer patch_same_format_request 对 codex 变为 no-op
- 更新相关测试适配新的架构
 2026-03-18 12:35:57 +08:00
fawney19
d026398bab refactor(body-rules): 移除 protected_body_keys 机制，允许 body_rules 自由修改所有请求体字段 
删除 get_cache_sensitive_protected_body_keys 函数及相关常量、_is_protected_path
辅助函数，从 apply_body_rules、RequestBuilder、ProviderRequestResult 等处移除
protected_body_keys 参数，更新所有调用点和测试用例。
 2026-03-18 10:52:07 +08:00
fawney19
0342f609d0 feat(tunnel): 请求体流式传输 & OpenAI CLI 请求 key 排序优化 
Hub 端:
- open_local_stream 不再接收 body 参数，改为通过 push_local_request_body 分块推送
- 请求体按 32KB 分帧发送，避免大请求一次性压缩和传输
- local_relay 改为流式解析 envelope 和转发请求体

Proxy 端:
- stream_handler 改为流式传输请求体到上游，不再预先收集完整 body
- upstream_client 请求体类型从 Full<Bytes> 改为 UnsyncBoxBody 以支持流式传输
- dispatcher 将 StreamEnd/StreamError 事件转发给 stream handler

Python 端:
- hub_transport relay envelope 改为异步生成器流式发送
- 提取 reorder_openai_cli_request_prefix_keys 为公共函数
- Codex passthrough 路径也应用稳定的前缀 key 排序
 2026-03-17 22:07:09 +08:00
fawney19
c1ed42fd3a feat(body-rules): 支持按 provider_type 覆盖 cache-sensitive 保护字段集合 
Codex 通过 OpenAI CLI/Compact 格式转发时，endpoint body_rules 需要能
修改 instructions/input/tools 等 prompt 字段。新增 provider_type 维度的
保护集合映射，Codex 场景仅保护 prompt_cache_key，其余 prompt 字段交由
body_rules 自由调整。
 2026-03-17 17:09:39 +08:00
fawney19
c4bb6b8161 feat(auth): 重构认证系统，引入 session 会话管理 
- 新增 user_sessions 数据库表及 Alembic 迁移
- 实现 SessionService 会话生命周期管理（创建/刷新/撤销/清理）
- 认证流程改用 refresh token cookie + access token 双令牌模式
- 前端实现自动静默刷新、跨标签页同步及设备指纹
- 用户设置页新增会话管理和密码修改功能
- 管理员用户管理新增强制登出和会话查看
- 密码策略增强，支持强度校验和泄露检测
- OAuth 登录流程适配新会话机制
- 新增完整的单元测试和 API 测试覆盖

Closes #232

Co-authored-by: LewisPen <LewisPen@nyadoo.com>
 2026-03-17 16:34:09 +08:00
fawney19
2dcf8b8414 refactor(prompt-cache): 移除 client_family 命名空间拆分，统一缓存 key 提升复用率 
不再按 User-Agent 客户端类型拆分 prompt cache namespace，
所有客户端共享同一缓存 key，版本升级至 v3。
 2026-03-17 09:49:35 +08:00
fawney19
b9b0a75fe4 feat(cache-fingerprint): 新增字段级指纹，支持逐字段 sha256 和字节数追踪 
在请求缓存指纹中为每个 cache_relevant 字段单独计算 sha256 和字节数，
便于精确定位哪些字段发生了变化。fingerprint version 升级为 2。
 2026-03-17 02:57:36 +08:00
fawney19
b6cc0bc3a7 refactor(usage): 统一 cache token 提取逻辑，新增请求缓存指纹记录 
- 新增 extract_cache_read_tokens() 兼容 OpenAI/Claude/Gemini 多种字段命名
- parsers/stream_processor/cli_event_mixin 统一使用提取函数替换内联逻辑
- 同时兼容 prompt_tokens/completion_tokens (OpenAI) 和 input_tokens/output_tokens (Claude)
- 新增 cache_fingerprint 模块，在 telemetry 记录时自动计算并附带请求缓存指纹
- 新增对应单元测试
 2026-03-17 02:34:32 +08:00
fawney19
d2f1431269 refactor(prompt-cache): 将 prompt_cache_key 生成从 Codex 专用模块提取为通用服务，支持 OpenAI 官方 API 和 Codex 端点 
- 新增 prompt_cache.py 统一管理 prompt cache key 的生成逻辑
- 基于 User-Agent 识别客户端家族(openai_python/openai_node/codex_desktop 等)，不同客户端生成不同 cache key
- 在 chat_handler_base/cli_stream_mixin/cli_sync_mixin 统一调用 maybe_patch_request_with_prompt_cache_key
- Codex request_patching 不再负责 prompt cache key 注入，仅保留内部标记清理
- 新增 is_official_openai_api_url 工具函数区分 OpenAI 官方 API 与兼容端点
 2026-03-17 01:55:24 +08:00
fawney19
4ecaefbade refactor(conversion): body_rules 保护 cache-sensitive 字段，normalizer 保真优化与诊断日志 
- RequestBuilder 新增 protected_body_keys 机制，按 provider API 格式阻止 body_rules
  改写 prompt cache 相关的顶层请求字段（messages/tools/system 等）
- Claude/Gemini normalizer 优先复用原始 raw tool_choice，避免 round-trip 丢失信息
- Claude normalizer 修复 content blocks 输出顺序（flush_text_parts），
  _coerce_claude_message_sequence 返回结构化诊断
- OpenAI normalizer 保留 raw tool call arguments 字符串与原始 tool 定义 extra 字段
- schema_utils allOf 合并保持 required 字段插入顺序
- 各转换环节增加结构化 debug 日志用于调试
 2026-03-17 01:25:29 +08:00
fawney19
c97c9332eb feat(codex): 基于用户 API key 生成稳定的 prompt_cache_key，实现跨 provider key 的 prompt 缓存复用 
- prepare_context 传递 user_api_key_id 到 CodexRequestContext
- wrap_request 中调用 patch_openai_cli_request_for_codex 注入 prompt_cache_key
- 客户端已提供 prompt_cache_key 时不覆盖
- 补充对应单元测试
 2026-03-16 17:25:52 +08:00
fawney19
025e979935 fix(codex): 配额刷新 401/403 不再自动禁用 key，区分软性请求失败与账户封禁 
- 新增 OAUTH_REQUEST_FAILED_PREFIX 标记非 token 失效的 403 请求失败
- 引入 _merge_invalid_reason 合并逻辑，避免低优先级原因覆盖高优先级状态
- account_state 中 REFRESH_FAILED/REQUEST_FAILED 前缀不再触发封禁判定
- 401/403 返回 auto_disabled=False，不再直接设置 is_active=False
 2026-03-16 01:12:35 +08:00
fawney19
131471a13f refactor(maintenance): body 压缩改为逐条独立事务，降低内存占用与锁粒度 
将 _cleanup_body_fields 从批量加载完整记录改为先查询 ID 列表，
再逐条独立会话处理压缩，避免大批量事务导致的内存和锁问题。
批次大小上限从 100 降至 25，新增排序保证处理顺序确定性。
 2026-03-15 23:46:01 +08:00
fawney19
7ff63077c3 feat(providers): provider 摘要列表排序增加启用状态优先 
后端查询和前端展示均按 is_active 降序、priority 升序、created_at 升序排列，
确保已启用的 provider 始终排在前面。
 2026-03-15 23:13:11 +08:00
fawney19
8cc70934da fix(openai,oauth): 修复 resp_ ID 前缀转换和 token 失效误判为账号级 block 
- OpenAI normalizer: resp_ 前缀 ID 规范化为 chatcmpl- 前缀，流式 tool_call index 增加 block_index 回落
- OAuth token: 提取 token 失效关键词为共享常量，token invalidated 不再被判定为账号级 block
- Codex refresher: 403 + token invalidated 标记为 OAUTH_EXPIRED，允许 refresh_token 恢复
 2026-03-15 16:56:58 +08:00
fawney19
f92b0943b5 feat(rate-limit): 实现分层 RPM 限速，支持系统默认/用户/独立Key三级配置 
- 新增用户级 rate_limit 字段，支持系统默认/用户自定义/不限制三种模式
- 独立 Key 的 rate_limit 语义调整：null=跟随系统默认，0=不限制，>0=自定义
- 实现 UserRpmLimiter 基于 Redis sliding window 的 RPM 限速引擎
- Pipeline 请求流程集成用户级 RPM 检查
- 管理后台和用户面板新增 RPM 限速配置与实时状态查看
- 系统设置新增全局默认 RPM 配置项
- 迁移脚本回填现有 API Key 的 rate_limit 默认值
- 新增用户/Key RPM 状态监控 API 和前端展示

Closes #231

Co-authored-by: LewisPen <LewisPen@nyadoo.com>
 2026-03-15 14:22:59 +08:00
fawney19
920a383136 refactor(claude-code): 移除 TLS 指纹模拟配置，简化上下文构建逻辑 
移除 enable_tls_fingerprint 配置项、TLS_PROFILE_CLAUDE_CODE 常量及
resolve_claude_code_tls_profile 函数，TLS profile 改为仅由 fingerprint
的 impersonate 字段决定，简化 build_and_set_claude_code_request_context
返回值为单一 context 对象。
 2026-03-15 00:23:19 +08:00
fawney19
e0286aebe3 refactor: 共享请求管道、按需懒加载、流式内存护栏与连接池治理 
- 抽取 ApiRequestPipeline 单例，44 个路由文件共享同一实例
- Handler/Adapter 模块级 __getattr__ 延迟导入，减少启动时间
- 新增 ensure_stream_buffer_limit() 流式内存护栏（16MB 单行 / 32MB 总量）
- HTTP 空闲连接清理与 curl_cffi LRU 会话池
- ensure_providers_bootstrapped 按需引导指定 provider_types
- Usage 事件序列化迁移至 msgpack，Redis codec 隔离
- 启动预热任务（/readyz 就绪门控）与优雅关闭
- 通知邮件模块独立开关与 SMTP 配置校验
- CryptoService DCL 线程安全修复
- 通知模块开关 DB 查询 30s 内存缓存
- /readyz 对 unknown 状态返回 503
- 预热关闭 5s 超时保护
- 预热适配器逐个 try-except 容错
- FormatConversionRegistry 哨兵模式防并发重复物化
- 流式缓冲检查无条件执行

Closes #230

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-14 11:59:07 +08:00
fawney19
776dd2f8ea feat(cleanup): 解耦 request_candidates 与 provider_api_keys 生命周期 
- 移除 request_candidates.key_id 对 provider_api_keys 的外键约束(含迁移脚本)
- 删除 Key 时不再级联删除候选记录，改为独立按保留天数定时清理
- 新增 request_candidates_retention_days / request_candidates_cleanup_batch_size 配置项
- batch_delete_task 增加 lock_timeout 及超时自动降批重试机制
- cleanup_key_references 提取阶段化清理流程，移除 RequestCandidate 联动删除
- 前端 CleanupPolicySection 新增候选记录保留天数和清理批次配置

Closes #227

Co-authored-by: Entropy-Xu <entropy.xu@cloudhabitatsh.com>
 2026-03-14 01:33:08 +08:00
fawney19
e9678ea899 fix(admin): 优先级脏检查、base_url 校验、usage detail 延迟加载及导入数据验证 
- 前端优先级管理: 保存时对比原始快照，仅提交实际变更的 provider/key 优先级，
  并限制并发请求数(SAVE_CONCURRENCY=6)，避免无效 API 调用
- handler_adapter_base: _normalize_test_base_url 改为 _validate_test_base_url，
  移除对 dict 类型 base_url 的兼容，严格要求字符串输入
- provider_query: 新增 _require_test_endpoint_base_url，在测试链路提前校验
  endpoint.base_url 类型和非空
- system.py: 导入 endpoint 时通过 ProviderEndpointCreate 模型校验数据，
  拒绝非法 base_url 类型(如 dict)
- usage detail: 使用 defer() 延迟加载 body 列，通过 SQL CASE 表达式在
  数据库端计算 has_*_body 标记，减少不必要的大字段传输
- provider routes: 新建 provider 时 priority=0 边界处理，clamp 并 shift
 2026-03-12 17:11:14 +08:00
fawney19
8d69f72e2a fix(stability): 健康监控 DB 操作异步化，防止 worker 超时崩溃 
- executor: record_success 通过 asyncio.to_thread offload 到线程池
- error_handler: 3 处 record_failure 同样 offload 到线程池
- sync_execute: 设置 expire_on_commit=False 防止 commit 后 ORM 懒加载
- handler_adapter_base: 归一化 check_endpoint 的 base_url 输入
 2026-03-12 16:17:22 +08:00
fawney19
6e51a3f45d feat: Provider 异步删除、可配置密码策略、Hub 超时优化及多项改进 
- 新增 Provider 异步删除任务系统，后台分阶段删除子资源并清理残留引用
- 新增可配置密码策略等级（weak/medium/strong），支持系统设置面板调整
- aether-hub 升级至 0.1.4，idle timeout 支持禁用（设为 0），worker 默认超时调整为 120s
- OAuth 手动续期增加 Redis 分布式锁，防止并发刷新冲突
- ProxyNode 心跳检测改为 asyncio.to_thread，避免阻塞事件循环
- 删除 ModelMultiSelect 和 useInvalidModels，MultiSelect 组件通用化
- 明确 allowed_providers/allowed_api_formats 的 NULL 与空数组语义
- 前端 StandaloneKeyFormDialog、UserFormDialog 等多处 UI 优化
- 新增 Alembic 迁移脚本清理 Provider 删除后的残留引用
- 补充相关测试用例
 2026-03-12 01:11:35 +08:00
AAEE86
31ef2d134e fix(usage,pool): 修复号池最后使用时间不更新 
统一在 ProviderAPIKey 累计更新时刷新 last_used_at/updated_at，即使 token/cost 增量为 0。

补充回归测试：覆盖 zero delta 场景和 provider_api_key_id 为空时跳过更新。
 2026-03-11 16:12:36 +08:00
fawney19
9353f89af0 Merge pull request #220 from AAEE86/master 
fix(pool): recent_refresh 按 provider_type 解析 reset_seconds 并锁定 Codex 周重置语义
 2026-03-11 16:02:14 +08:00
fawney19
380d69e096 feat(pool): 记录并展示 Provider Key 累计 Token 与费用 
Closes #219

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-11 15:56:58 +08:00
fawney19
04ab4bd9f2 feat: 强化用量计费状态机，新增钱包每日消费汇总分类账 
- 将 usage.billing_status 默认值从 settled 改为 pending，完善
  pending -> settled/void 的状态转换逻辑，确保终态不可逆
- 新增 WalletDailyUsageLedger 模型和聚合服务，按账单日汇总
  每个钱包的消费金额、请求数和 token 用量
- 前端钱包中心页面集成每日消费流水展示，支持与充值记录混合
  排序和分页
- 新增两个数据库迁移：修复历史数据状态一致性、创建每日汇总表
- 补充计费状态机单元测试

Closes #218

Co-authored-by: LewisPen <LewisPen@nyadoo.com>
 2026-03-11 15:11:33 +08:00
fawney19
e2ec3f7942 Merge pull request #217 from AAEE86/1233 
perf: 优化请求鉴权链路并批量化统计/调度查询
 2026-03-10 23:31:28 +08:00
fawney19
1e39ab3c2e feat: 新增 Gemini CLI provider adapter 
- 新增 gemini_cli adapter 包（client/constants/envelope/plugin/quota）
- 实现 v1internal 协议封装、OAuth enrichment、loadCodeAssist/onboardUser 流程
- 实现配额耗尽检测与冷却元数据管理（RESOURCE_EXHAUSTED 解析）
- 新增 GeminiCliQuotaReader 支持按模型粒度的配额展示
- endpoint check 支持流式回退和 v1internal 响应解包
- health_policy 429 处理增加 Google 配额冷却解析
- error_handler 在限流时同步 Gemini CLI 配额状态
- 前端添加 Gemini CLI provider 类型选项和 OAuth 图标
- 新增 preset models（gemini-2.5-pro/flash, gemini-3-pro/flash, gemini-3.1-pro）
- 新增 gemini_cli quota 单元测试

Closes #216

Co-authored-by: Entropy.Xu <entropy.xu@cloudhabitatsh.com>
 2026-03-10 23:14:05 +08:00
AAEE86
f82964217e fix(pool): recent_refresh 按 provider_type 解析 reset_seconds 并锁定 Codex 周重置语义 
- 为 `extract_reset_seconds` 增加 `provider_type` 解析链路（显式参数 -> key.provider_type -> key.provider.provider_type -> metadata 推断）。
- Codex 场景固定读取 `primary_reset_seconds`（周限额），避免误用 `secondary_reset_seconds`（5 小时窗口）；Kiro/Antigravity 继续走统一 quota reader。
- 在 `RecentRefreshDimension` 和 `PoolManager` 的策略上下文中透传 `provider_type`，并在缺失时从 key provider 回退推断。
- 新增/补强测试覆盖：
  - multi_score `recent_refresh` 在 Codex 下按 weekly reset 排序；
  - quota reader helper 在 Codex provider 下返回 primary reset；
  - Codex 付费计划（plus/enterprise）在 headers 与 WHAM 响应中的窗口映射与主次窗口对齐（10080/300 分钟）。

降低 recent_refresh 评分偏差风险，并为 Codex 付费窗口解析提供回归保护。
 2026-03-10 14:55:48 +08:00
fawney19
cfa5535f6e refactor: 引入 safe_create_task 防止后台任务被 GC 回收，降低默认连接池和 worker 数量 
- 新增 safe_create_task 统一替代裸 asyncio.create_task，通过全局集合持有 task 引用
- 默认 worker 数量从 4 降为 1，HTTP 连接池总预算从 800 降为 200
- 为 health_cache 和 affinity_manager 内存缓存增加上限淘汰机制
- MemoryCachePlugin 支持延迟启动清理任务
- gunicorn when_ready 增加 gc.collect() 并记录 post_worker_init RSS
 2026-03-10 14:42:33 +08:00
fawney19
2d846b2c58 refactor: 移除启动缓存预热功能 
删除 cache_warmup.py 及相关配置项和测试，简化启动流程
 2026-03-10 14:11:41 +08:00
fawney19
f40e8037dd feat: 添加启动任务开关，修复统计聚合内存泄漏 
- 新增 CACHE_WARMUP_ENABLED 和 MAINTENANCE_STARTUP_TASKS_ENABLED 环境变量，
  允许禁用缓存预热和维护调度器启动任务
- 在统计聚合批量处理循环中添加 db.expunge_all()，释放 Session identity map，
  防止 ORM 对象累积导致内存暴涨
- 添加启动任务开关的单元测试
 2026-03-10 13:42:38 +08:00
fawney19
2b21a75982 refactor: 优化模型获取调度器并发模型和缓存格式 
- 用固定 worker 数的队列消费模式替换 Semaphore+gather，避免大号池一次性创建大量协程
- 分批扫描 Key ID（keyset pagination），避免一次性加载全量 ID
- 上游模型缓存从 per-api_format 去重改为 per-model-id 聚合 api_formats 列表，减少 Redis 占用
- 启动阶段支持环境变量控制（MODEL_FETCH_STARTUP_ENABLED / MODEL_FETCH_STARTUP_DELAY_SECONDS）
- 新增单元测试覆盖聚合逻辑和并发上限验证
 2026-03-10 12:47:50 +08:00
fawney19
7c580e843f fix: 治理 Prometheus 指标基数爆炸和内存缓存无界增长 
- 移除 token/latency Prometheus 指标的 model 标签，避免 provider x model 笛卡尔积
- HealthMonitor 滑动窗口从 DB JSON 迁移至进程内存，减少写放大
- ModelCostService 三层缓存增加 500 条上限，超限时清空
- StickyPriority 粘性缓存和健康状态字典增加容量淘汰
- AffinityManager 请求锁字典增加 500 条上限，淘汰空闲锁
- 配额刷新/探测查询使用 defer/load_only 避免加载大 JSON 列
- Alembic 迁移清理 DB 中遗留的 request_results_window 数据
- 同步更新测试适配 batch_get_cooldowns 返回值和批量删除异步化
 2026-03-10 10:40:50 +08:00
AAEE86
57c7cca556 perf: 优化请求鉴权链路并批量化统计/调度查询 
- 为 Pipeline/Context 增加按需读取请求体能力，支持 async 懒加载 JSON body
- 为 chat/cli/video/claude/openai-cli 适配器关闭默认预读，减少无效 body 读取与超时风险
- 将本地登录、JWT 用户加载、API Key 鉴权迁移到线程池隔离会话执行，避免阻塞事件循环
- 为 API Key 鉴权返回结构化余额结果，并在主请求会话中重新绑定 user/api_key 后再校验状态、过期和锁定信息
- 为 management/user token 前缀认证引入独立会话与结果回绑，避免跨会话对象写入失效

- 为 Usage 余额检查补充结构化返回，统一透出 remaining 与欠费/不可用文案映射
- 为用户与管理端活跃请求查询增加 maintain_status 开关，避免轮询指定 id 时误触发状态修复
- 重写 user_me usage 汇总逻辑，支持 group_by=None 的粗粒度聚合
- 修正 provider 维度成功率与平均响应时间统计，基于 success_count 和成功响应耗时汇总计算
- 前端 Usage 轮询由 setInterval 改为串行 setTimeout，避免并发轮询叠加

- 为 StatsAggregator 增加按本地日期批量计算百分位能力，替代逐天 fan-out 查询
- 为混合统计查询合并连续实时日期区间，并批量读取 StatsDaily，减少逐日查询次数
- 为用户日统计增加批量聚合入口，替代逐用户循环聚合
- 为系统配置导出改用 selectinload 预加载 provider 关联数据，减少 N+1 查询
- 为管理员用户列表增加钱包批量查询，避免逐用户回表

- 为调度器增加 provider 轻量引用预过滤，先按 allowed_providers 缩小范围再加载完整 provider 图
- 为 CandidateBuilder 增加 provider refs/provider_ids 查询能力，保留分页顺序
- 为模型缓存增加 provider_model_mappings 索引缓存与 model_mappings 规则缓存，减少重复全量扫描
- 为请求候选中间态改为 flush/batch commit，降低 pending/streaming 状态切换的事务往返
- 为钱包访问结果补充 balance_snapshot，并抽取余额快照复用逻辑

- 补充 pipeline、auth、admin users、user_me usage、stats aggregator、model cache、
  scheduler、wallet、request candidate 等回归与契约测试
 2026-03-09 22:57:23 +08:00