i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 01:10:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
1,046 Commits 5 Branches 174 Tags
6984984c22dcf83796bab88970a2ab0472f35fb4
Commit Graph

1046 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
fawney19
0bddc7965b perf: 同步 DB 操作迁移到 asyncio.to_thread，避免阻塞事件循环 
failover/stream_telemetry/recording/stream 中的同步 DB 操作（commit/execute/query）
会阻塞 asyncio 事件循环，导致 Hub PING 心跳无法发送、worker idle timeout 断连。
将这些操作包装到 asyncio.to_thread() 中执行。

同时提取 Alembic 迁移脚本中重复的幂等性辅助函数到 alembic/helpers.py，
用批量查询缓存替代逐条 information_schema 查询，backfill SQL 合并为 LEFT JOIN。

新增 failover 中客户端断连的快速终止路径，避免继续无意义的重试。
 2026-03-09 11:49:03 +08:00
AAEE86
258be3b640 fix: 处理客户端断开连接情况，以防止出现虚假的系统错误报告 
捕获 starlette.requests.ClientDisconnect 异常，避免客户端主动断开连接时被当作系统未知错误（500）处理。
- 在读取请求体阶段捕获 ClientDisconnect，返回 499 状态码
- 在 adapter.handle 阶段捕获 ClientDisconnect，记录审计日志并返回 499
- 日志级别从 ERROR 降为 WARNING，减少误报告警噪音
 2026-03-09 10:38:14 +08:00
fawney19
4dbfeb87b8 fix: 迁移脚本循环 2026-03-09 03:56:20 +08:00
fawney19
fa69287449 perf: 依赖数据库 CASCADE/SET NULL 替代手动清理关联表，缩短删除事务 
- 批量删除移除 cleanup_key_references 手动清理，改为依赖 FK CASCADE/SET NULL
- video_tasks.key_id FK 增加 ondelete="SET NULL"，附带幂等迁移脚本
- _sync_delete 增加 statement_timeout 和任务级超时保护
- 批量导入在每次 await 前释放闲置 DB 连接，按批次提交写入避免长事务
- 前端轮询改为先查后等，首次查询不再多等一个间隔
 2026-03-09 03:48:20 +08:00
fawney19
654ce89541 fix: 批量删除任务完成前等待所有进度更新的异步回调完成 
收集 run_coroutine_threadsafe 返回的 Future，在标记任务完成前
通过 asyncio.gather 等待所有进度更新回调执行完毕，避免任务
状态提前跳到 completed 而进度数据尚未写入 Redis 的竞态问题。
 2026-03-09 02:52:38 +08:00
fawney19
fd32597015 perf: 优化批量删除策略，缩小事务粒度并增强容错 
- 批量删除分批大小从 500 降至 50，减少单事务锁持有时间
- 单批失败时跳过并继续，不再中断整个删除任务
- 进度上报改为按批次计数（每 5 批或末批），替代时间限频
- 关联表清理简化为直接 DELETE WHERE IN，移除逐行分批删除
 2026-03-09 02:35:07 +08:00
fawney19
84cf07b7a2 refactor: 批量删除任务状态存储从内存字典迁移到 Redis 
- BatchDeleteTask 改为 BatchDeleteTaskInfo，状态序列化存入 Redis
- submit_batch_delete / get_batch_delete_task 改为 async 函数
- 删除进度通过限频回调写入 Redis，替代直接修改内存属性
- 移除内存任务注册表和过期清理逻辑，依赖 Redis TTL 自动过期
- 路由层对应调整为 await 调用
 2026-03-09 02:09:24 +08:00
fawney19
e4476d0bc6 perf: Pool 批量删除改为异步任务模式，避免大批量删除阻塞请求 
- 新增 batch_delete_task 模块，提交删除后立即返回 task_id，后台线程分批执行
- 新增查询任务进度的 API 端点，前端轮询展示实时进度
- RequestCandidate 大表清理改为按行数分批删除，防止单条语句超时
 2026-03-09 01:35:01 +08:00
fawney19
0379f01ce8 perf: 删除 Key 前显式清理关联表，避免 CASCADE 级联删除超时 
在 ProviderAPIKey 删除前，先批量删除 RequestCandidate、GeminiFileMapping、
VideoTask 等关联表记录，替代依赖数据库 CASCADE 级联删除，防止大量关联
记录导致删除操作超时。Pool 批量删除、封禁清理、Endpoint 批量删除三处
统一使用 cleanup_key_references。
 2026-03-09 00:07:20 +08:00
fawney19
95e72594ea perf: Pool 账号删除后改用乐观更新替代全量重载 
- PoolAccountBatchDialog: 批量删除全部成功时直接从本地列表移除，其余操作保留原重载逻辑
- PoolManagement: 单个删除后本地移除条目并更新 total，当前页为空时自动跳转前一页
 2026-03-08 23:46:04 +08:00
fawney19
f9ffb1cae5 chore: bump aether-hub version to 0.1.4 hub-v0.1.4 2026-03-08 23:06:06 +08:00
fawney19
91b6e0a382 fix: Hub 连接清理顺序修复、OAuth 类型常量提取、disassociate 逻辑优化 
- Hub proxy/worker 连接关闭时先 unregister 再延迟 abort writer，确保缓冲消息排空
- 提取 OAUTH_AUTH_TYPES 常量，替代各处硬编码的 OAuth 类型列表
- auto-disassociate 跳过 OAuth Key，避免其动态 allowed_models 干扰判定
- 删除 Key 时传入 skip_disassociate=True，跳过不必要的解关联检查
- ModelMapper 缓存命中时将 ORM 实例脱离 Session，修复 DetachedInstanceError
 2026-03-08 23:03:56 +08:00
fawney19
f5f7a23bb0 fix: 错误响应读取移至连接关闭前，ModelMapper 缓存改为模块级共享 
1. chat_handler_base/cli_stream_mixin: 将 _extract_error_text 提前到
   response_ctx.__aexit__ 之前执行，避免连接关闭后无法读取错误响应体
2. ModelMapperMiddleware: 实例级缓存改为模块级共享缓存，消除多实例
   间缓存不一致问题；缓存失效服务改为直接调用静态方法
 2026-03-08 22:18:10 +08:00
fawney19
8be9601963 fix: recording.py 中所有 float() 改为 Decimal()，修复与数据库 Numeric 字段相加的类型错误 2026-03-08 21:58:55 +08:00
fawney19
eaad1579e6 fix: dashboard 统计字段补充 float() 转换，修复 Decimal 与 float 混合运算的类型错误 2026-03-08 21:54:20 +08:00
fawney19
1d8bf56efd fix: defer() 改为链式调用，修复 SQLAlchemy 多参数报错 2026-03-08 21:40:36 +08:00
fawney19
73db997e92 fix: 统计聚合中成本字段 float 改 Decimal，修复与数据库 Numeric 
字段相加的类型错误
 2026-03-08 21:33:05 +08:00
fawney19
2c5654d694 fix: 单个迁移文件自行提交 2026-03-08 18:53:36 +08:00
fawney19
f490c3a5cd fix: 优化迁移脚本效率 2026-03-08 18:42:27 +08:00
fawney19
2d9158b321 fix: 把同一张表的多个列放在一条 ALTER TABLE 里 2026-03-08 17:56:03 +08:00
fawney19
48d13762d9 refactor(cost,perf): 成本字段 Float 改 Numeric 并优化多处查询性能 
- 数据库所有 cost/price 字段从 Float 改为 Numeric(20,8)，解决浮点精度问题
- API 响应中 Decimal 值统一用 float() 转换确保 JSON 序列化
- 路由中手动 commit 后标记 tx_committed_by_route 防止中间件重复提交
- 多处查询优化：SQL 聚合替代 Python 遍历、load_only/defer 减少字段加载、
  批量 DELETE 替代逐条 ORM 删除、N+1 查询消除、UNION ALL 合并多表日期查询
- 新增 provider_api_keys (provider_id, is_active) 复合索引
- 候选构建热路径 defer 冷字段，钱包扣费合并解析与加锁查询
 2026-03-08 16:44:16 +08:00
fawney19
bd3f73c2fc feat(retention): 删除用户/Key 时保留历史记录，外键改 SET NULL 并添加名称快照 
- Usage/RequestCandidate/VideoTask/Stats 等表的 user_id/api_key_id 外键从
  CASCADE 改为 SET NULL，删除用户或 Key 后历史记录不再丢失
- 各表添加 username/api_key_name 快照字段，删除后仍可追溯归属
- 新增 bulk_cleanup 模块，分批置空大表外键避免长事务锁
- 删除用户/Key 流程集成预清理步骤，先置空再删除
- 精简 candidate_builder 冗余 debug 日志
- 修复 proxy_nodes 启动日志 format 占位符错误（{} -> %s）
- 前端批量操作请求增加 5 分钟超时配置
 2026-03-08 14:31:15 +08:00
fawney19
25c33846be perf(pool): 添加性能计时日志，优化批量删除分批与模型解除关联查询 
- 前端批量操作对话框添加 loadAllKeys/executeAction 计时日志
- 后端池账号列表接口和批量删除接口添加分阶段耗时日志
- 批量删除按数据库类型自动选择分批大小，统一前端 batch size 为 2000
- 优化 auto_disassociate 查询：先检查 unlimited key 提前返回，使用 load_only 减少字段加载
- 新增批量操作路由和自动解除关联的单元测试
 2026-03-08 03:58:10 +08:00
fawney19
124c4ca403 fix(pool): 优化批量删除性能，使用 SQL 批量删除替代逐条 ORM 删除 
- 后端批量删除改用 sa_delete 直接执行 SQL，避免逐条加载和删除
- 前端删除操作批次大小从 2000 减小到 50，防止大批量删除超时
- 增加前端批量操作失败时的错误日志输出
 2026-03-08 03:08:27 +08:00
fawney19
ef0f8dd4d0 feat(pool,provider_ops): 扩展批量操作支持代理设置，优化签到缓存与余额刷新 
- pool batch-action 新增 clear_proxy/set_proxy 操作，前端统一使用
  batch-action API 替代逐个调用，批量上限从 100 提升至 2000
- batch-action 删除操作后执行 key 删除副作用（run_delete_key_side_effects）
- BalanceAction 签到增加 6 小时缓存冷却，同一 host 避免重复签到
- 异步余额刷新增加 per-provider 防重入保护
 2026-03-08 02:29:51 +08:00
fawney19
d0eca509d4 fix(http): 支持默认HTTP客户端原子重建以恢复HTTP/2流容量 
feat(db): 为外键列补充缺失的数据库索引并添加迁移脚本

- HTTPClientPool._reset_default_client 原子替换共享客户端，旧客户端在宽限期后异步关闭
- reset_upstream_client 对无代理路由不再直接跳过，改为调用 _reset_default_client
- 为 Usage, WalletTransaction, PaymentCallback, RefundRequest, VideoTask, RequestCandidate 等表的外键列添加 index=True
 2026-03-08 01:27:50 +08:00
fawney19
90663793a2 Merge branch 'feat/wallet-system' into master 
feat(wallet): 钱包系统替代配额系统，新增支付与退款机制

Closes #204
 2026-03-08 00:06:05 +08:00
LewisPen
783f654953 feat(wallet): 钱包系统替代配额系统，新增支付与退款机制 
- 新增钱包余额管理、充值、扣费、退款完整流程
- 新增支付网关抽象层（支持手动/支付宝/微信）
- 用量计费从配额系统迁移到钱包余额扣费
- 新增管理员钱包管理与支付订单管理页面
- 新增用户钱包中心页面
- 移除独立 Key 锁定机制，统一由钱包余额控制
- 新增相关 API 路由、序列化器与数据库迁移
- 新增钱包、支付、退款相关测试
 2026-03-08 00:05:48 +08:00
fawney19
9cdcce1b5f fix(providers): 允许 max_probe_interval_minutes 设为 0 并修复零值被覆盖的问题 
- 将 max_probe_interval_minutes 校验范围从 2-32 改为 0-32
- 修复 routes.py 中 max_probe_interval_minutes 和 cache_ttl_minutes
  使用 `or` 短路导致零值被默认值覆盖的问题，改用 is not None 判断
- 前端表单同步调整最小值约束和提示文案
- 新增零值校验的单元测试
 2026-03-07 18:43:28 +08:00
fawney19
06b483f79d fix(task): 修复 SyncTaskExecutionService 调用 dispatch 缺少 user_id 参数及返回值解包数量不匹配 2026-03-07 17:32:17 +08:00
fawney19
a00e137ffc fix(providers): 修复 Key 表单状态同步与 streaming 候选状态码处理 
前端:
- KeyAllowedModelsEditDialog 同时监听 open 和 apiKey 变化，避免切换 key 时状态未刷新
- KeyFormDialog 新增 api_formats 过滤与默认值逻辑，可用格式变化时自动同步表单
- ProviderDetailDrawer 合并 provider 和 endpoint 的 api_formats 传递给 Key 表单，
  数据刷新后同步 currentEndpoint 和 editingKey 引用

后端:
- mark_candidate_streaming 移除 status_code 参数，streaming 阶段不再提前写入状态码
- 简化 active_requests 中 streaming 请求的完成判断，不再依赖 status_code 条件
 2026-03-07 17:11:19 +08:00
fawney19
239238fe47 refactor(task): 拆分 TaskService 并重构任务生命周期 
- 将 task 公共协议/上下文/异常/schema 下沉到 core，并迁移 polling 目录
- 新增 execute/submit/video 子模块，拆分同步执行、异步提交流程、错误处理与视频任务操作
- 收敛 TaskService 为门面编排，内部委派到 SyncTaskExecutionService、AsyncTaskSubmitService、VideoTaskOperationsService
- 重构 main 生命周期管理：引入 LifecycleState，拆分启动与关闭流程
- 删除未使用的 TaskExecuteFacadeService 与 TaskSubmitFacadeService

Closes #201

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-07 15:33:29 +08:00
github-actions[bot]
4cd6e0d10f chore(proxy): update download links for proxy-v0.2.4 v0.5.23 2026-03-06 20:06:59 +00:00
fawney19
9b29a65c68 chore: bump aether-hub version to 0.1.3 hub-v0.1.3 2026-03-07 04:02:02 +08:00
fawney19
df4a49a9fb chore: bump aether-proxy version to 0.2.4 proxy-v0.2.4 2026-03-07 04:00:27 +08:00
fawney19
bb268310e2 feat(keys): 新增 Provider Keys 批量删除 API 
- 后端新增 POST /keys/batch-delete 接口，支持一次删除最多 100 个 Key
- 按 provider_id 聚合执行副作用，避免逐个删除导致的重复 Redis 操作
- 前端批量操作对话框中删除操作改用批量 API，按 100 个一批分批调用
 2026-03-07 03:49:44 +08:00
fawney19
7b0908cd87 fix(task): TaskPoller Redis 分布式锁操作增加异常捕获，避免 Redis 故障时任务轮询崩溃 2026-03-07 03:14:48 +08:00
fawney19
95bc742057 fix(gunicorn): worker timeout 从 120s 放宽到 300s，收敛到配置文件统一管理 
- 移除 Dockerfile 命令行中硬编码的 --timeout 120，由 gunicorn_conf.py 统一管理
- timeout 默认值从 120 调整为 300，减少异步 worker 偶发心跳延迟导致的误杀
- timeout 和 graceful_timeout 均支持环境变量覆盖（GUNICORN_TIMEOUT / GUNICORN_GRACEFUL_TIMEOUT）
 2026-03-07 03:13:44 +08:00
fawney19
e40c890a8e fix(usage): 超时请求清理增强，支持恢复已成功的 streaming 请求 
重构 pending/streaming 请求清理逻辑：
- 提取 _find_completed_request_ids 和 _sync_candidate_status_to_success 公用方法
- 清理超时请求时检查 RequestCandidate，已成功的恢复为 completed 而非标记 failed
- 同步更新 candidate 状态，保持 Usage 与 RequestCandidate 一致
- 启动时主动执行一次 pending 清理
 2026-03-07 03:04:09 +08:00
fawney19
357c4fd61f fix(build): 构建时 GitHub API 请求支持可选 GITHUB_TOKEN 避免限流 
未认证 GitHub API 限流 60 次/小时/IP，频繁本地构建容易触发。
添加可选的 GITHUB_TOKEN 支持（认证后 5000 次/小时），不传 token 时行为不变。
 2026-03-07 03:03:55 +08:00
fawney19
d28fea80df fix(trace): 请求追踪详情默认展示全部候选记录 2026-03-07 02:30:48 +08:00
fawney19
fb1aeb789a feat(test,quota,failover): 模型并发测试、统一配额读取器与故障转移取消支持 
- 新增 QuotaReader 抽象层，统一 Codex/Kiro/Antigravity 配额解析逻辑，
  替换 pool/routes.py 中分散的配额构建函数
- 模型测试支持并发执行多候选，前端新增 useModelTest composable 统一
  ModelsTab 和 ModelMappingTab 的测试逻辑
- ModelTestDialog 增加结果概览摘要、超长结果折叠、端点列和新状态支持，
  删除已合并的 TestResultDialog
- FailoverEngine 新增客户端断开检测，支持取消剩余候选并标记记录
- 刷新配额改为分批执行，直连测试候选按可用性排序
- 修复 error 判断从 "error" in dict 改为 dict.get("error") 避免误判
 2026-03-07 02:16:03 +08:00
fawney19
1f3693d3a2 fix(migration): body_rules 回填限定 codex 提供商类型 
原迁移仅按 api_format 过滤，会误回填所有 openai:cli 端点;
现 JOIN providers 表增加 provider_type = 'codex' 条件。
 2026-03-06 23:44:37 +08:00
fawney19
90760da499 feat(test,export,headers): 模型测试复用统一运行时、实时进度展示、导出增强与请求头大小写保留 
- 模型测试 failover 从手动 FailoverEngine 改为 TaskService.execute_sync_candidates 统一运行时
- 前端新增实时 trace 轮询进度展示（候选状态、测试账号、进度条）
- 用户导出/导入支持明文 Key 优先（版本升至 1.2），新增 email_verified 字段
- SENSITIVE_CREDENTIAL_FIELDS 统一到 provider_ops/types.py，补充 refresh_token
- 请求头大小写保留机制（resolve_header_name_case + HeaderBuilder.add 语义修改）
- Codex envelope 移除合成头部，保留客户端原始请求头
- endpoint_checker 支持自定义超时透传
- 新增 x-forwarded-scheme 到上游丢弃头部列表
 2026-03-06 21:06:45 +08:00
fawney19
7950ba7dc5 fix(usage): 请求详情默认选中轻量 tab，避免自动加载大 body 
首次打开请求详情时优先选择 request-headers / response-headers / metadata
等轻量 tab，而非直接落到 body tab 触发按需加载。
 2026-03-06 18:19:57 +08:00
fawney19
a7088ee538 fix: 修复 http缺少cls 2026-03-06 18:01:28 +08:00
fawney19
050cba9563 feat(proxy,failover,transport): Hyper 上游客户端精细计时、连续失败退避与连接泄漏修复 
Proxy:
- 将上游 HTTP 客户端从 reqwest 替换为 hyper，新增 InstrumentedConnector
  实现 TCP 连接/TLS 握手级别的独立计时，上报 connection_reused 等指标
- 前端展示细粒度代理计时（连接复用、等待响应头等）

Failover:
- 引入连续失败退避机制，每 10 次失败递增退避间隔
- 检测 H2 max outbound streams 错误并触发上游客户端重建
- 新增 HTTPClientPool.reset_upstream_client 支持按需重建缓存客户端

连接泄漏修复:
- Handler 异常路径确保 response_ctx 被正确关闭
- HubResponseStream 迭代结束后在 finally 块中清理 stream_id
- HubTunnelTransport.handle_request 捕获所有异常并清理流状态
 2026-03-06 17:55:14 +08:00
fawney19
2269617a9f fix(nginx): 剥离 Cloudflare 请求头，防止泄露给上游 AI 提供商 
在反向代理配置中将 CF-Connecting-IP、CF-IPCountry、CF-Ray、
CF-Visitor、CDN-Loop、True-Client-IP、CF-Worker、CF-EW-Via
等头置空，避免用户真实 IP 及 CF 元数据被透传到上游。
 2026-03-06 15:54:34 +08:00
fawney19
bdccfa6e78 feat(usage,pool,codex): 请求详情 body 按需加载、配额选择器重构与 Codex body rules 修正 
- usage 详情 API 新增 include_bodies 参数，支持跳过 body 内容返回 has_*_body 标记
- 前端请求详情抽屉首次加载不含 body，切换到 body tab 时延迟加载并展示 skeleton
- Timeline 组件延迟 120ms 挂载，避免阻塞抽屉渲染
- 提取号池配额判断逻辑到 quota-selectors 工具模块并添加单测
- Codex 移除 openai:compact 的默认 body rules 注册
- ModelTestDialog/TestResultDialog 模板格式化
 2026-03-06 15:40:11 +08:00
fawney19
d97ec3fde2 feat(admin,pool,billing): 端点级模型测试、Provider 自动置顶、缓存 TTL 分级计费展示与账号状态增强 
- 模型测试支持指定端点：新增 ModelTestDialog 组件，多端点时弹窗选择，单端点直接测试；
  后端 test-model-failover 接口新增 endpoint_id 参数，支持 global/direct 模式下按端点过滤候选
- 创建 Provider 时优先级自动置顶（provider_priority 默认 None，后端取 min-1），
  显式指定优先级时 shift 已有行；前端创建时不发送 priority，更新时保留
- 缓存计费 UI 增强：RequestDetailDrawer 支持 5min/1h 缓存创建 token 分级展示，
  含按 TTL 匹配单价和分行成本计算；ModelDetailDrawer/ModelsTab 标签区分 5min/1h 缓存创建
- Pool 批量操作额度筛选拆分为「无5H限额」和「无周限额」，按 | 分隔 segment 匹配
- KeyFormDialog 优化非 vertex_ai 时布局，API 密钥输入内联到 grid 右列
- Codex refresher 结构化错误标记：401/402/403 使用 [OAUTH_EXPIRED]/[ACCOUNT_BLOCK] 前缀，
  新增 deactivated_workspace 识别与分类
- 前后端 accountBlock 关键词同步：新增 token invalidated、deactivated_workspace 识别，
  OAuth 失效提示清理 block 前缀后展示
- PoolConfig 新增 batch_concurrency 配置（默认 8，上限 32）
- 预设模型新增 gpt-5.4；TestResultDialog 响应式布局与 key 脱敏优化
 2026-03-06 13:13:01 +08:00