i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 01:10:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
1,027 Commits 5 Branches 174 Tags
1af306730305e72b9e2cfb00144adb86ae4a9dc7
Commit Graph

1027 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
fawney19
f40e8037dd feat: 添加启动任务开关，修复统计聚合内存泄漏 
- 新增 CACHE_WARMUP_ENABLED 和 MAINTENANCE_STARTUP_TASKS_ENABLED 环境变量，
  允许禁用缓存预热和维护调度器启动任务
- 在统计聚合批量处理循环中添加 db.expunge_all()，释放 Session identity map，
  防止 ORM 对象累积导致内存暴涨
- 添加启动任务开关的单元测试
 2026-03-10 13:42:38 +08:00
fawney19
2b21a75982 refactor: 优化模型获取调度器并发模型和缓存格式 
- 用固定 worker 数的队列消费模式替换 Semaphore+gather，避免大号池一次性创建大量协程
- 分批扫描 Key ID（keyset pagination），避免一次性加载全量 ID
- 上游模型缓存从 per-api_format 去重改为 per-model-id 聚合 api_formats 列表，减少 Redis 占用
- 启动阶段支持环境变量控制（MODEL_FETCH_STARTUP_ENABLED / MODEL_FETCH_STARTUP_DELAY_SECONDS）
- 新增单元测试覆盖聚合逻辑和并发上限验证
 2026-03-10 12:47:50 +08:00
fawney19
9ee27308db refactor: defer ProviderAPIKey 大 JSON 字段，减少调度器和模型获取的内存占用 
- candidate_builder: defer adjustment_history/utilization_samples/upstream_metadata，
  号池路径在释放 DB 连接前预计算 _pool_account_state 避免后续 N+1 查询
- pool/manager: 优先读取预计算的 _pool_account_state，fallback 到实时解析
- fetch_scheduler: 三处 ProviderAPIKey 查询改用 defer/load_only 排除无关字段
 2026-03-10 12:33:15 +08:00
fawney19
1518223de6 refactor: 优化调度器内存占用，增加 session 全局清理 
- main: 启动阶段 Provider 查询改用聚合查询，避免全量加载 ORM 对象
- envelope: Claude Code session 增加全局定时清理，防止 scope_key 无界增长
- health_cache: 增量更新时清理已移除的 stale key 条目
- aware_scheduler: 日志中用 key.name 替代 api_key 后四位，避免泄露凭证片段
- candidate_builder: defer api_key/auth_config 等冷字段，减少调度热路径内存占用
 2026-03-10 11:40:29 +08:00
fawney19
3063938a82 refactor: 优化调度器并发与内存占用，修复循环依赖 
- fetch_scheduler: 模型获取从串行改为 Semaphore 限并发并行
- pool_quota_probe_scheduler: 取消启动时立即探测避免阻塞，
  改为逐 provider 独立查询 key 避免一次性加载全部到内存，
  移除未使用的 _ProviderProbeTask 数据类
- proxy_node/__init__: 移除 health_scheduler 导入避免循环依赖
 2026-03-10 11:22:11 +08:00
fawney19
86449cae52 refactor: 迁移文件内联 helpers，删除共享 alembic/helpers.py 
将 _SchemaCache、replace_fk_if_needed、batch_alter_type 等辅助函数
内联到各迁移文件中，使每个迁移自包含、不依赖外部模块。
同时修正 a3f1b7c9d2e4 的 down_revision 为 d7649c1f8e21。
 2026-03-10 10:53:41 +08:00
fawney19
7c580e843f fix: 治理 Prometheus 指标基数爆炸和内存缓存无界增长 
- 移除 token/latency Prometheus 指标的 model 标签，避免 provider x model 笛卡尔积
- HealthMonitor 滑动窗口从 DB JSON 迁移至进程内存，减少写放大
- ModelCostService 三层缓存增加 500 条上限，超限时清空
- StickyPriority 粘性缓存和健康状态字典增加容量淘汰
- AffinityManager 请求锁字典增加 500 条上限，淘汰空闲锁
- 配额刷新/探测查询使用 defer/load_only 避免加载大 JSON 列
- Alembic 迁移清理 DB 中遗留的 request_results_window 数据
- 同步更新测试适配 batch_get_cooldowns 返回值和批量删除异步化
 2026-03-10 10:40:50 +08:00
fawney19
c9f0685b40 fix: 治理 Prometheus 指标基数爆炸和内存缓存无界增长 
- 删除高基数标签 key_id/model，移除未使用的指标 concurrency_slots_in_use/streaming_request_duration_seconds
- HTTP 客户端池：命名客户端添加 LRU 淘汰上限，tunnel 客户端添加 LRU 淘汰和 last_used_time 追踪
- ResilienceManager：last_errors 改用 deque(maxlen)，error_stats/circuit_breakers 添加上限淘汰
- HealthMonitor：_circuit_history 改用 deque(maxlen)
- ProviderHealthTracker：清理已无记录的过期 key
- PrometheusPlugin：动态指标数量添加上限，超限后拒绝创建
- 中间件使用路由模板替代实际路径，防止动态路径段导致标签爆炸
 2026-03-10 09:52:21 +08:00
fawney19
afd0dcf2ff feat: OAuth 导入完成后自动触发配额刷新，统一配额常量定义 
- 单个导入、批量导入、Kiro device flow 完成后后台异步刷新配额
- 将 CODEX_WHAM_USAGE_URL 和 QUOTA_REFRESH_PROVIDER_TYPES 统一到 key_quota_service.py，消除 3 处重复硬编码
 2026-03-10 09:36:47 +08:00
AAEE86
68d4df71d8 perf(frontend): 优化图表更新链路与缓存监控倒计时开销 
- 收敛 LineChart 的配置构建逻辑，复用 options 生成函数
- 将 LineChart 的 data/options 监听从深监听改为引用监听
- 统一使用 chart.update('none')，减少不必要的动画与重绘

- 为 ScatterChart 新增 prepareRenderData 流程，合并间隙压缩与点位转换
- 消除 createChart/updateChart 中重复的数据预处理逻辑
- 将散点图更新改为监听 data、compressGaps、gapThreshold、compressedGapSize
- 移除 compressGaps 切换时的 destroy + recreate 路径，改为原图更新
- 将散点图 options 更新改为无动画刷新，降低全量重算成本

- 为缓存监控页新增 nextExpireAt 状态，跟踪最近过期时间
- 在拉取 affinity 列表后立即按当前时间裁剪已过期数据
- 将每秒全表 filter 改为按最近过期时间触发清理
- 页面恢复可见时先补执行过期清理，再恢复倒计时
- 保留每秒 currentTime 更新，仅用于倒计时显示，降低常驻扫描开销
 2026-03-10 09:09:06 +08:00
AAEE86
596227659a perf(admin-usage): 精简管理员 Usage 列表的 request_metadata 下发 
- 从 request_metadata JSON 中直接查询 model_version
- 管理员 Usage 列表不再返回完整 request_metadata
- 前端表格、类型和 mock 改为使用顶层 model_version
- 新增轻量响应回归测试
 2026-03-10 00:02:49 +08:00
fawney19
3b0dbadb1e fix: 单个提供商更新时不再清空全部余额缓存 
loadBalances 新增 fullReload 参数，单个提供商刷新时传入 false，
避免更新一个提供商的余额数据时清除其他提供商的已加载余额。
 2026-03-09 23:35:51 +08:00
fawney19
8a8bc999d2 fix: 链路追踪中提供商名称原样显示，不再自动去除"反代"后缀 2026-03-09 23:17:18 +08:00
AAEE86
57c7cca556 perf: 优化请求鉴权链路并批量化统计/调度查询 
- 为 Pipeline/Context 增加按需读取请求体能力，支持 async 懒加载 JSON body
- 为 chat/cli/video/claude/openai-cli 适配器关闭默认预读，减少无效 body 读取与超时风险
- 将本地登录、JWT 用户加载、API Key 鉴权迁移到线程池隔离会话执行，避免阻塞事件循环
- 为 API Key 鉴权返回结构化余额结果，并在主请求会话中重新绑定 user/api_key 后再校验状态、过期和锁定信息
- 为 management/user token 前缀认证引入独立会话与结果回绑，避免跨会话对象写入失效

- 为 Usage 余额检查补充结构化返回，统一透出 remaining 与欠费/不可用文案映射
- 为用户与管理端活跃请求查询增加 maintain_status 开关，避免轮询指定 id 时误触发状态修复
- 重写 user_me usage 汇总逻辑，支持 group_by=None 的粗粒度聚合
- 修正 provider 维度成功率与平均响应时间统计，基于 success_count 和成功响应耗时汇总计算
- 前端 Usage 轮询由 setInterval 改为串行 setTimeout，避免并发轮询叠加

- 为 StatsAggregator 增加按本地日期批量计算百分位能力，替代逐天 fan-out 查询
- 为混合统计查询合并连续实时日期区间，并批量读取 StatsDaily，减少逐日查询次数
- 为用户日统计增加批量聚合入口，替代逐用户循环聚合
- 为系统配置导出改用 selectinload 预加载 provider 关联数据，减少 N+1 查询
- 为管理员用户列表增加钱包批量查询，避免逐用户回表

- 为调度器增加 provider 轻量引用预过滤，先按 allowed_providers 缩小范围再加载完整 provider 图
- 为 CandidateBuilder 增加 provider refs/provider_ids 查询能力，保留分页顺序
- 为模型缓存增加 provider_model_mappings 索引缓存与 model_mappings 规则缓存，减少重复全量扫描
- 为请求候选中间态改为 flush/batch commit，降低 pending/streaming 状态切换的事务往返
- 为钱包访问结果补充 balance_snapshot，并抽取余额快照复用逻辑

- 补充 pipeline、auth、admin users、user_me usage、stats aggregator、model cache、
  scheduler、wallet、request candidate 等回归与契约测试
 2026-03-09 22:57:23 +08:00
fawney19
9e6578a71b fix: 对 actual_total_cost_usd 显式转换为 float，防止类型不匹配导致累加异常 2026-03-09 21:30:51 +08:00
fawney19
bf818e3b61 fix: 钱包迁移回填 clamp 超范围值，防止 NUMERIC(20,8) 溢出 v0.5.26 2026-03-09 20:45:13 +08:00
fawney19
9e7f291aaf Merge pull request #213 from AAEE86/123 
fix: 处理客户端断开连接情况，以防止出现虚假的系统错误报告
 2026-03-09 20:23:56 +08:00
fawney19
46bab1b97f feat: 为下拉选择组件添加搜索过滤功能，支持拼音匹配 
- 新增 search.ts 搜索工具，支持中文拼音（全拼/首字母）模糊匹配
- 新增 select-search-context.ts，通过 provide/inject 为 radix-vue Select 组件注入搜索能力
- MultiSelect、ModelMultiSelect 组件集成搜索框，选项超过阈值时自动显示
- select-content/select-item 组件支持搜索过滤与空状态提示
- StandaloneKeyFormDialog、UserFormDialog 中手写下拉框替换为复用 MultiSelect 组件
- 引入 pinyin-pro 依赖，按需懒加载

Closes #210

Co-authored-by: AoaoMH <kidxb@vip.qq.com>
 2026-03-09 19:53:54 +08:00
fawney19
0258d01ee6 refactor: 将 adapter 层的计费/模型抓取/行为变体能力下沉到 core.api_format 注册表 
- 新增 core/api_format/capabilities.py，统一注册计费模板、模型抓取、
  total_input_context 计算和 provider behavior variant
- 新增 core/usage_tokens.py，抽取 cache token 解析逻辑到 core 层
- handler adapter 移除各自的 compute_total_input_context / fetch_models /
  BILLING_TEMPLATE 覆盖，改为委托 core 注册表解析
- provider/behavior.py 改为薄封装，底层委托 core registry
- 新增 tests/test_architecture_import_rules.py 架构导入约束测试
- 新增 tests/services/api_format/test_capabilities.py 能力注册表测试

Closes #207

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-09 18:26:53 +08:00
fawney19
4999a1a0a8 fix: batch_alter_type 转换 NUMERIC 类型前 clamp 超范围值，防止溢出 2026-03-09 16:56:41 +08:00
fawney19
8cb8666456 fix: alembic helpers 限定 schema 查询范围，修复跨 schema 误匹配 
- information_schema 查询增加 current_schema() 过滤条件
- 新增 _fk_exists() 通过 pg_constraint 直接检查外键是否存在
- replace_fk_if_needed 在缓存未命中时回退到 pg_constraint 查找
- index_exists 增加 schemaname 过滤
 2026-03-09 16:46:38 +08:00
fawney19
48f3f481db fix: 号池调度 label 默认维度数改为动态计算 v0.5.25 v0.5.24 2026-03-09 15:44:04 +08:00
fawney19
e60462e068 fix: 号池调度 label 在无配置时错误显示为 LRU + 粘性 
pool_advanced 为 null 时，poolSchedulingLabel 的 fallback 逻辑因
可选链默认值导致 lruEnabled=true、stickyEnabled=true，始终显示
"LRU + 粘性"。现在提前返回 "2 维度" 以匹配后端默认行为
（cache_affinity + recent_refresh）。
 2026-03-09 15:42:32 +08:00
fawney19
c4877e3b6a fix: 号池 legacy 配置默认回退到 cache_affinity，multi_score 模式补全 LRU 数据获取 
_build_from_legacy_fields 在无 legacy 字段时默认返回 cache_affinity 而非 lru，
与 PoolConfig 默认值保持一致。PoolManager 在 scheduling_mode 为 multi_score 时
也获取和更新 LRU 数据，修复 cache_affinity/single_account 维度因缺少 lru_scores
导致排序失效的问题。
 2026-03-09 15:22:17 +08:00
fawney19
afbb1b9a5d perf: Redis 操作优化，移除号池 key 列表的 Usage 聚合查询 
- 号池 key 列表移除 Usage 表聚合查询(total_tokens/total_cost_usd)，消除慢 SQL
- cooldown 计数从 SCAN 改为 SCARD (O(1))，通过 cooldown_idx SET 维护索引
- 读路径 Lua 脚本移除 ZREMRANGEBYSCORE，清理移至写路径减少开销
- affinity 清理从 KEYS 改为 SCAN 分批删除，invalidate_all_for_provider 改用 pipeline 批量 MGET+UNLINK
- 缓存监控页添加清除按钮 loading 状态，Redis SCAN 并发限制为 4
- 提取 redis_utils 模块统一 SCAN+批量删除逻辑
- 调度热路径跳过 cooldown TTL 查询，account_state 预计算移出循环
 2026-03-09 14:54:45 +08:00
fawney19
9516619b92 feat: 号池调度默认选择缓存亲和，默认开启额度刷新优先 2026-03-09 14:07:20 +08:00
fawney19
e106a65c1d perf: 在 Redis 密集操作前释放 DB 连接，candidate_records 改为异步写入 
- 号池排序涉及大量 Redis I/O，在调用前提前释放 DB 连接避免连接池压力
- 新增 create_candidate_records_async，通过 asyncio.to_thread 执行同步 DB 写入
- 同步执行、异步提交、TaskService 三条路径统一改用异步版本
 2026-03-09 13:53:39 +08:00
fawney19
d84c9d4b71 feat: 配置导入导出支持 ProxyNode，号池 key 可用性检查延迟到排序后分页执行 
配置导入导出:
- 导出/导入新增 ProxyNode（代理节点）数据
- 导入时自动建立 old_id -> new_id 映射，重映射 Provider/Endpoint/Key 中的 node_id
- 前端预览和结果展示新增代理节点统计

号池调度优化:
- CandidateBuilder 不再逐 key 调用 _check_key_availability，直接收集全部 active key
- 将可用性检查参数打包到 PoolCandidate._deferred_check_params
- PoolManager.select_pool_keys 排序后分页调用 availability_checker，找到足够可用 key 即停止
- 减少大号池场景下不必要的可用性检查开销
 2026-03-09 13:26:54 +08:00
fawney19
0046123e22 feat: Provider 摘要 API 改为服务端分页，支持搜索和筛选 
- 后端 /summary 接口新增 page/page_size/search/status/api_format/model_id 参数
- 新增 ProviderSummaryPageResponse 分页响应模型
- 前端 useProviderFilters 从客户端筛选改为构建服务端查询参数
- ProviderManagement 通过 watch queryParams 实现分页/筛选联动，搜索 debounce 300ms
- PriorityManagementDialog 改为对话框打开时自行加载全量 providers
- 其他使用方(StandaloneKeyFormDialog/UserFormDialog/ReplayDialog/ModelManagement)适配新接口
 2026-03-09 12:45:54 +08:00
fawney19
40736a8334 refactor: 移除迁移脚本中不必要的 backfill SQL 
快照字段(username/api_key_name)已在业务层写入时填充，无需迁移时回填历史数据
 2026-03-09 12:17:45 +08:00
fawney19
0a256adc94 fix: 修复迁移helper 2026-03-09 11:52:16 +08:00
fawney19
0bddc7965b perf: 同步 DB 操作迁移到 asyncio.to_thread，避免阻塞事件循环 
failover/stream_telemetry/recording/stream 中的同步 DB 操作（commit/execute/query）
会阻塞 asyncio 事件循环，导致 Hub PING 心跳无法发送、worker idle timeout 断连。
将这些操作包装到 asyncio.to_thread() 中执行。

同时提取 Alembic 迁移脚本中重复的幂等性辅助函数到 alembic/helpers.py，
用批量查询缓存替代逐条 information_schema 查询，backfill SQL 合并为 LEFT JOIN。

新增 failover 中客户端断连的快速终止路径，避免继续无意义的重试。
 2026-03-09 11:49:03 +08:00
AAEE86
258be3b640 fix: 处理客户端断开连接情况，以防止出现虚假的系统错误报告 
捕获 starlette.requests.ClientDisconnect 异常，避免客户端主动断开连接时被当作系统未知错误（500）处理。
- 在读取请求体阶段捕获 ClientDisconnect，返回 499 状态码
- 在 adapter.handle 阶段捕获 ClientDisconnect，记录审计日志并返回 499
- 日志级别从 ERROR 降为 WARNING，减少误报告警噪音
 2026-03-09 10:38:14 +08:00
fawney19
4dbfeb87b8 fix: 迁移脚本循环 2026-03-09 03:56:20 +08:00
fawney19
fa69287449 perf: 依赖数据库 CASCADE/SET NULL 替代手动清理关联表，缩短删除事务 
- 批量删除移除 cleanup_key_references 手动清理，改为依赖 FK CASCADE/SET NULL
- video_tasks.key_id FK 增加 ondelete="SET NULL"，附带幂等迁移脚本
- _sync_delete 增加 statement_timeout 和任务级超时保护
- 批量导入在每次 await 前释放闲置 DB 连接，按批次提交写入避免长事务
- 前端轮询改为先查后等，首次查询不再多等一个间隔
 2026-03-09 03:48:20 +08:00
fawney19
654ce89541 fix: 批量删除任务完成前等待所有进度更新的异步回调完成 
收集 run_coroutine_threadsafe 返回的 Future，在标记任务完成前
通过 asyncio.gather 等待所有进度更新回调执行完毕，避免任务
状态提前跳到 completed 而进度数据尚未写入 Redis 的竞态问题。
 2026-03-09 02:52:38 +08:00
fawney19
fd32597015 perf: 优化批量删除策略，缩小事务粒度并增强容错 
- 批量删除分批大小从 500 降至 50，减少单事务锁持有时间
- 单批失败时跳过并继续，不再中断整个删除任务
- 进度上报改为按批次计数（每 5 批或末批），替代时间限频
- 关联表清理简化为直接 DELETE WHERE IN，移除逐行分批删除
 2026-03-09 02:35:07 +08:00
fawney19
84cf07b7a2 refactor: 批量删除任务状态存储从内存字典迁移到 Redis 
- BatchDeleteTask 改为 BatchDeleteTaskInfo，状态序列化存入 Redis
- submit_batch_delete / get_batch_delete_task 改为 async 函数
- 删除进度通过限频回调写入 Redis，替代直接修改内存属性
- 移除内存任务注册表和过期清理逻辑，依赖 Redis TTL 自动过期
- 路由层对应调整为 await 调用
 2026-03-09 02:09:24 +08:00
fawney19
e4476d0bc6 perf: Pool 批量删除改为异步任务模式，避免大批量删除阻塞请求 
- 新增 batch_delete_task 模块，提交删除后立即返回 task_id，后台线程分批执行
- 新增查询任务进度的 API 端点，前端轮询展示实时进度
- RequestCandidate 大表清理改为按行数分批删除，防止单条语句超时
 2026-03-09 01:35:01 +08:00
fawney19
0379f01ce8 perf: 删除 Key 前显式清理关联表，避免 CASCADE 级联删除超时 
在 ProviderAPIKey 删除前，先批量删除 RequestCandidate、GeminiFileMapping、
VideoTask 等关联表记录，替代依赖数据库 CASCADE 级联删除，防止大量关联
记录导致删除操作超时。Pool 批量删除、封禁清理、Endpoint 批量删除三处
统一使用 cleanup_key_references。
 2026-03-09 00:07:20 +08:00
fawney19
95e72594ea perf: Pool 账号删除后改用乐观更新替代全量重载 
- PoolAccountBatchDialog: 批量删除全部成功时直接从本地列表移除，其余操作保留原重载逻辑
- PoolManagement: 单个删除后本地移除条目并更新 total，当前页为空时自动跳转前一页
 2026-03-08 23:46:04 +08:00
fawney19
f9ffb1cae5 chore: bump aether-hub version to 0.1.4 hub-v0.1.4 2026-03-08 23:06:06 +08:00
fawney19
91b6e0a382 fix: Hub 连接清理顺序修复、OAuth 类型常量提取、disassociate 逻辑优化 
- Hub proxy/worker 连接关闭时先 unregister 再延迟 abort writer，确保缓冲消息排空
- 提取 OAUTH_AUTH_TYPES 常量，替代各处硬编码的 OAuth 类型列表
- auto-disassociate 跳过 OAuth Key，避免其动态 allowed_models 干扰判定
- 删除 Key 时传入 skip_disassociate=True，跳过不必要的解关联检查
- ModelMapper 缓存命中时将 ORM 实例脱离 Session，修复 DetachedInstanceError
 2026-03-08 23:03:56 +08:00
fawney19
f5f7a23bb0 fix: 错误响应读取移至连接关闭前，ModelMapper 缓存改为模块级共享 
1. chat_handler_base/cli_stream_mixin: 将 _extract_error_text 提前到
   response_ctx.__aexit__ 之前执行，避免连接关闭后无法读取错误响应体
2. ModelMapperMiddleware: 实例级缓存改为模块级共享缓存，消除多实例
   间缓存不一致问题；缓存失效服务改为直接调用静态方法
 2026-03-08 22:18:10 +08:00
fawney19
8be9601963 fix: recording.py 中所有 float() 改为 Decimal()，修复与数据库 Numeric 字段相加的类型错误 2026-03-08 21:58:55 +08:00
fawney19
eaad1579e6 fix: dashboard 统计字段补充 float() 转换，修复 Decimal 与 float 混合运算的类型错误 2026-03-08 21:54:20 +08:00
fawney19
1d8bf56efd fix: defer() 改为链式调用，修复 SQLAlchemy 多参数报错 2026-03-08 21:40:36 +08:00
fawney19
73db997e92 fix: 统计聚合中成本字段 float 改 Decimal，修复与数据库 Numeric 
字段相加的类型错误
 2026-03-08 21:33:05 +08:00
fawney19
2c5654d694 fix: 单个迁移文件自行提交 2026-03-08 18:53:36 +08:00
fawney19
f490c3a5cd fix: 优化迁移脚本效率 2026-03-08 18:42:27 +08:00