i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 01:10:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
914 Commits 5 Branches 174 Tags
8a8bc999d27f7800e8c991033706024df877e649
Commit Graph

914 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
fawney19
8a8bc999d2 fix: 链路追踪中提供商名称原样显示，不再自动去除"反代"后缀 2026-03-09 23:17:18 +08:00
fawney19
9e6578a71b fix: 对 actual_total_cost_usd 显式转换为 float，防止类型不匹配导致累加异常 2026-03-09 21:30:51 +08:00
fawney19
bf818e3b61 fix: 钱包迁移回填 clamp 超范围值，防止 NUMERIC(20,8) 溢出 v0.5.26 2026-03-09 20:45:13 +08:00
fawney19
9e7f291aaf Merge pull request #213 from AAEE86/123 
fix: 处理客户端断开连接情况，以防止出现虚假的系统错误报告
 2026-03-09 20:23:56 +08:00
fawney19
46bab1b97f feat: 为下拉选择组件添加搜索过滤功能，支持拼音匹配 
- 新增 search.ts 搜索工具，支持中文拼音（全拼/首字母）模糊匹配
- 新增 select-search-context.ts，通过 provide/inject 为 radix-vue Select 组件注入搜索能力
- MultiSelect、ModelMultiSelect 组件集成搜索框，选项超过阈值时自动显示
- select-content/select-item 组件支持搜索过滤与空状态提示
- StandaloneKeyFormDialog、UserFormDialog 中手写下拉框替换为复用 MultiSelect 组件
- 引入 pinyin-pro 依赖，按需懒加载

Closes #210

Co-authored-by: AoaoMH <kidxb@vip.qq.com>
 2026-03-09 19:53:54 +08:00
fawney19
0258d01ee6 refactor: 将 adapter 层的计费/模型抓取/行为变体能力下沉到 core.api_format 注册表 
- 新增 core/api_format/capabilities.py，统一注册计费模板、模型抓取、
  total_input_context 计算和 provider behavior variant
- 新增 core/usage_tokens.py，抽取 cache token 解析逻辑到 core 层
- handler adapter 移除各自的 compute_total_input_context / fetch_models /
  BILLING_TEMPLATE 覆盖，改为委托 core 注册表解析
- provider/behavior.py 改为薄封装，底层委托 core registry
- 新增 tests/test_architecture_import_rules.py 架构导入约束测试
- 新增 tests/services/api_format/test_capabilities.py 能力注册表测试

Closes #207

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-09 18:26:53 +08:00
fawney19
4999a1a0a8 fix: batch_alter_type 转换 NUMERIC 类型前 clamp 超范围值，防止溢出 2026-03-09 16:56:41 +08:00
fawney19
8cb8666456 fix: alembic helpers 限定 schema 查询范围，修复跨 schema 误匹配 
- information_schema 查询增加 current_schema() 过滤条件
- 新增 _fk_exists() 通过 pg_constraint 直接检查外键是否存在
- replace_fk_if_needed 在缓存未命中时回退到 pg_constraint 查找
- index_exists 增加 schemaname 过滤
 2026-03-09 16:46:38 +08:00
fawney19
48f3f481db fix: 号池调度 label 默认维度数改为动态计算 v0.5.25 v0.5.24 2026-03-09 15:44:04 +08:00
fawney19
e60462e068 fix: 号池调度 label 在无配置时错误显示为 LRU + 粘性 
pool_advanced 为 null 时，poolSchedulingLabel 的 fallback 逻辑因
可选链默认值导致 lruEnabled=true、stickyEnabled=true，始终显示
"LRU + 粘性"。现在提前返回 "2 维度" 以匹配后端默认行为
（cache_affinity + recent_refresh）。
 2026-03-09 15:42:32 +08:00
fawney19
c4877e3b6a fix: 号池 legacy 配置默认回退到 cache_affinity，multi_score 模式补全 LRU 数据获取 
_build_from_legacy_fields 在无 legacy 字段时默认返回 cache_affinity 而非 lru，
与 PoolConfig 默认值保持一致。PoolManager 在 scheduling_mode 为 multi_score 时
也获取和更新 LRU 数据，修复 cache_affinity/single_account 维度因缺少 lru_scores
导致排序失效的问题。
 2026-03-09 15:22:17 +08:00
fawney19
afbb1b9a5d perf: Redis 操作优化，移除号池 key 列表的 Usage 聚合查询 
- 号池 key 列表移除 Usage 表聚合查询(total_tokens/total_cost_usd)，消除慢 SQL
- cooldown 计数从 SCAN 改为 SCARD (O(1))，通过 cooldown_idx SET 维护索引
- 读路径 Lua 脚本移除 ZREMRANGEBYSCORE，清理移至写路径减少开销
- affinity 清理从 KEYS 改为 SCAN 分批删除，invalidate_all_for_provider 改用 pipeline 批量 MGET+UNLINK
- 缓存监控页添加清除按钮 loading 状态，Redis SCAN 并发限制为 4
- 提取 redis_utils 模块统一 SCAN+批量删除逻辑
- 调度热路径跳过 cooldown TTL 查询，account_state 预计算移出循环
 2026-03-09 14:54:45 +08:00
fawney19
9516619b92 feat: 号池调度默认选择缓存亲和，默认开启额度刷新优先 2026-03-09 14:07:20 +08:00
fawney19
e106a65c1d perf: 在 Redis 密集操作前释放 DB 连接，candidate_records 改为异步写入 
- 号池排序涉及大量 Redis I/O，在调用前提前释放 DB 连接避免连接池压力
- 新增 create_candidate_records_async，通过 asyncio.to_thread 执行同步 DB 写入
- 同步执行、异步提交、TaskService 三条路径统一改用异步版本
 2026-03-09 13:53:39 +08:00
fawney19
d84c9d4b71 feat: 配置导入导出支持 ProxyNode，号池 key 可用性检查延迟到排序后分页执行 
配置导入导出:
- 导出/导入新增 ProxyNode（代理节点）数据
- 导入时自动建立 old_id -> new_id 映射，重映射 Provider/Endpoint/Key 中的 node_id
- 前端预览和结果展示新增代理节点统计

号池调度优化:
- CandidateBuilder 不再逐 key 调用 _check_key_availability，直接收集全部 active key
- 将可用性检查参数打包到 PoolCandidate._deferred_check_params
- PoolManager.select_pool_keys 排序后分页调用 availability_checker，找到足够可用 key 即停止
- 减少大号池场景下不必要的可用性检查开销
 2026-03-09 13:26:54 +08:00
fawney19
0046123e22 feat: Provider 摘要 API 改为服务端分页，支持搜索和筛选 
- 后端 /summary 接口新增 page/page_size/search/status/api_format/model_id 参数
- 新增 ProviderSummaryPageResponse 分页响应模型
- 前端 useProviderFilters 从客户端筛选改为构建服务端查询参数
- ProviderManagement 通过 watch queryParams 实现分页/筛选联动，搜索 debounce 300ms
- PriorityManagementDialog 改为对话框打开时自行加载全量 providers
- 其他使用方(StandaloneKeyFormDialog/UserFormDialog/ReplayDialog/ModelManagement)适配新接口
 2026-03-09 12:45:54 +08:00
fawney19
40736a8334 refactor: 移除迁移脚本中不必要的 backfill SQL 
快照字段(username/api_key_name)已在业务层写入时填充，无需迁移时回填历史数据
 2026-03-09 12:17:45 +08:00
fawney19
0a256adc94 fix: 修复迁移helper 2026-03-09 11:52:16 +08:00
fawney19
0bddc7965b perf: 同步 DB 操作迁移到 asyncio.to_thread，避免阻塞事件循环 
failover/stream_telemetry/recording/stream 中的同步 DB 操作（commit/execute/query）
会阻塞 asyncio 事件循环，导致 Hub PING 心跳无法发送、worker idle timeout 断连。
将这些操作包装到 asyncio.to_thread() 中执行。

同时提取 Alembic 迁移脚本中重复的幂等性辅助函数到 alembic/helpers.py，
用批量查询缓存替代逐条 information_schema 查询，backfill SQL 合并为 LEFT JOIN。

新增 failover 中客户端断连的快速终止路径，避免继续无意义的重试。
 2026-03-09 11:49:03 +08:00
AAEE86
258be3b640 fix: 处理客户端断开连接情况，以防止出现虚假的系统错误报告 
捕获 starlette.requests.ClientDisconnect 异常，避免客户端主动断开连接时被当作系统未知错误（500）处理。
- 在读取请求体阶段捕获 ClientDisconnect，返回 499 状态码
- 在 adapter.handle 阶段捕获 ClientDisconnect，记录审计日志并返回 499
- 日志级别从 ERROR 降为 WARNING，减少误报告警噪音
 2026-03-09 10:38:14 +08:00
fawney19
4dbfeb87b8 fix: 迁移脚本循环 2026-03-09 03:56:20 +08:00
fawney19
fa69287449 perf: 依赖数据库 CASCADE/SET NULL 替代手动清理关联表，缩短删除事务 
- 批量删除移除 cleanup_key_references 手动清理，改为依赖 FK CASCADE/SET NULL
- video_tasks.key_id FK 增加 ondelete="SET NULL"，附带幂等迁移脚本
- _sync_delete 增加 statement_timeout 和任务级超时保护
- 批量导入在每次 await 前释放闲置 DB 连接，按批次提交写入避免长事务
- 前端轮询改为先查后等，首次查询不再多等一个间隔
 2026-03-09 03:48:20 +08:00
fawney19
654ce89541 fix: 批量删除任务完成前等待所有进度更新的异步回调完成 
收集 run_coroutine_threadsafe 返回的 Future，在标记任务完成前
通过 asyncio.gather 等待所有进度更新回调执行完毕，避免任务
状态提前跳到 completed 而进度数据尚未写入 Redis 的竞态问题。
 2026-03-09 02:52:38 +08:00
fawney19
fd32597015 perf: 优化批量删除策略，缩小事务粒度并增强容错 
- 批量删除分批大小从 500 降至 50，减少单事务锁持有时间
- 单批失败时跳过并继续，不再中断整个删除任务
- 进度上报改为按批次计数（每 5 批或末批），替代时间限频
- 关联表清理简化为直接 DELETE WHERE IN，移除逐行分批删除
 2026-03-09 02:35:07 +08:00
fawney19
84cf07b7a2 refactor: 批量删除任务状态存储从内存字典迁移到 Redis 
- BatchDeleteTask 改为 BatchDeleteTaskInfo，状态序列化存入 Redis
- submit_batch_delete / get_batch_delete_task 改为 async 函数
- 删除进度通过限频回调写入 Redis，替代直接修改内存属性
- 移除内存任务注册表和过期清理逻辑，依赖 Redis TTL 自动过期
- 路由层对应调整为 await 调用
 2026-03-09 02:09:24 +08:00
fawney19
e4476d0bc6 perf: Pool 批量删除改为异步任务模式，避免大批量删除阻塞请求 
- 新增 batch_delete_task 模块，提交删除后立即返回 task_id，后台线程分批执行
- 新增查询任务进度的 API 端点，前端轮询展示实时进度
- RequestCandidate 大表清理改为按行数分批删除，防止单条语句超时
 2026-03-09 01:35:01 +08:00
fawney19
0379f01ce8 perf: 删除 Key 前显式清理关联表，避免 CASCADE 级联删除超时 
在 ProviderAPIKey 删除前，先批量删除 RequestCandidate、GeminiFileMapping、
VideoTask 等关联表记录，替代依赖数据库 CASCADE 级联删除，防止大量关联
记录导致删除操作超时。Pool 批量删除、封禁清理、Endpoint 批量删除三处
统一使用 cleanup_key_references。
 2026-03-09 00:07:20 +08:00
fawney19
95e72594ea perf: Pool 账号删除后改用乐观更新替代全量重载 
- PoolAccountBatchDialog: 批量删除全部成功时直接从本地列表移除，其余操作保留原重载逻辑
- PoolManagement: 单个删除后本地移除条目并更新 total，当前页为空时自动跳转前一页
 2026-03-08 23:46:04 +08:00
fawney19
f9ffb1cae5 chore: bump aether-hub version to 0.1.4 hub-v0.1.4 2026-03-08 23:06:06 +08:00
fawney19
91b6e0a382 fix: Hub 连接清理顺序修复、OAuth 类型常量提取、disassociate 逻辑优化 
- Hub proxy/worker 连接关闭时先 unregister 再延迟 abort writer，确保缓冲消息排空
- 提取 OAUTH_AUTH_TYPES 常量，替代各处硬编码的 OAuth 类型列表
- auto-disassociate 跳过 OAuth Key，避免其动态 allowed_models 干扰判定
- 删除 Key 时传入 skip_disassociate=True，跳过不必要的解关联检查
- ModelMapper 缓存命中时将 ORM 实例脱离 Session，修复 DetachedInstanceError
 2026-03-08 23:03:56 +08:00
fawney19
f5f7a23bb0 fix: 错误响应读取移至连接关闭前，ModelMapper 缓存改为模块级共享 
1. chat_handler_base/cli_stream_mixin: 将 _extract_error_text 提前到
   response_ctx.__aexit__ 之前执行，避免连接关闭后无法读取错误响应体
2. ModelMapperMiddleware: 实例级缓存改为模块级共享缓存，消除多实例
   间缓存不一致问题；缓存失效服务改为直接调用静态方法
 2026-03-08 22:18:10 +08:00
fawney19
8be9601963 fix: recording.py 中所有 float() 改为 Decimal()，修复与数据库 Numeric 字段相加的类型错误 2026-03-08 21:58:55 +08:00
fawney19
eaad1579e6 fix: dashboard 统计字段补充 float() 转换，修复 Decimal 与 float 混合运算的类型错误 2026-03-08 21:54:20 +08:00
fawney19
1d8bf56efd fix: defer() 改为链式调用，修复 SQLAlchemy 多参数报错 2026-03-08 21:40:36 +08:00
fawney19
73db997e92 fix: 统计聚合中成本字段 float 改 Decimal，修复与数据库 Numeric 
字段相加的类型错误
 2026-03-08 21:33:05 +08:00
fawney19
2c5654d694 fix: 单个迁移文件自行提交 2026-03-08 18:53:36 +08:00
fawney19
f490c3a5cd fix: 优化迁移脚本效率 2026-03-08 18:42:27 +08:00
fawney19
2d9158b321 fix: 把同一张表的多个列放在一条 ALTER TABLE 里 2026-03-08 17:56:03 +08:00
fawney19
48d13762d9 refactor(cost,perf): 成本字段 Float 改 Numeric 并优化多处查询性能 
- 数据库所有 cost/price 字段从 Float 改为 Numeric(20,8)，解决浮点精度问题
- API 响应中 Decimal 值统一用 float() 转换确保 JSON 序列化
- 路由中手动 commit 后标记 tx_committed_by_route 防止中间件重复提交
- 多处查询优化：SQL 聚合替代 Python 遍历、load_only/defer 减少字段加载、
  批量 DELETE 替代逐条 ORM 删除、N+1 查询消除、UNION ALL 合并多表日期查询
- 新增 provider_api_keys (provider_id, is_active) 复合索引
- 候选构建热路径 defer 冷字段，钱包扣费合并解析与加锁查询
 2026-03-08 16:44:16 +08:00
fawney19
bd3f73c2fc feat(retention): 删除用户/Key 时保留历史记录，外键改 SET NULL 并添加名称快照 
- Usage/RequestCandidate/VideoTask/Stats 等表的 user_id/api_key_id 外键从
  CASCADE 改为 SET NULL，删除用户或 Key 后历史记录不再丢失
- 各表添加 username/api_key_name 快照字段，删除后仍可追溯归属
- 新增 bulk_cleanup 模块，分批置空大表外键避免长事务锁
- 删除用户/Key 流程集成预清理步骤，先置空再删除
- 精简 candidate_builder 冗余 debug 日志
- 修复 proxy_nodes 启动日志 format 占位符错误（{} -> %s）
- 前端批量操作请求增加 5 分钟超时配置
 2026-03-08 14:31:15 +08:00
fawney19
25c33846be perf(pool): 添加性能计时日志，优化批量删除分批与模型解除关联查询 
- 前端批量操作对话框添加 loadAllKeys/executeAction 计时日志
- 后端池账号列表接口和批量删除接口添加分阶段耗时日志
- 批量删除按数据库类型自动选择分批大小，统一前端 batch size 为 2000
- 优化 auto_disassociate 查询：先检查 unlimited key 提前返回，使用 load_only 减少字段加载
- 新增批量操作路由和自动解除关联的单元测试
 2026-03-08 03:58:10 +08:00
fawney19
124c4ca403 fix(pool): 优化批量删除性能，使用 SQL 批量删除替代逐条 ORM 删除 
- 后端批量删除改用 sa_delete 直接执行 SQL，避免逐条加载和删除
- 前端删除操作批次大小从 2000 减小到 50，防止大批量删除超时
- 增加前端批量操作失败时的错误日志输出
 2026-03-08 03:08:27 +08:00
fawney19
ef0f8dd4d0 feat(pool,provider_ops): 扩展批量操作支持代理设置，优化签到缓存与余额刷新 
- pool batch-action 新增 clear_proxy/set_proxy 操作，前端统一使用
  batch-action API 替代逐个调用，批量上限从 100 提升至 2000
- batch-action 删除操作后执行 key 删除副作用（run_delete_key_side_effects）
- BalanceAction 签到增加 6 小时缓存冷却，同一 host 避免重复签到
- 异步余额刷新增加 per-provider 防重入保护
 2026-03-08 02:29:51 +08:00
fawney19
d0eca509d4 fix(http): 支持默认HTTP客户端原子重建以恢复HTTP/2流容量 
feat(db): 为外键列补充缺失的数据库索引并添加迁移脚本

- HTTPClientPool._reset_default_client 原子替换共享客户端，旧客户端在宽限期后异步关闭
- reset_upstream_client 对无代理路由不再直接跳过，改为调用 _reset_default_client
- 为 Usage, WalletTransaction, PaymentCallback, RefundRequest, VideoTask, RequestCandidate 等表的外键列添加 index=True
 2026-03-08 01:27:50 +08:00
fawney19
90663793a2 Merge branch 'feat/wallet-system' into master 
feat(wallet): 钱包系统替代配额系统，新增支付与退款机制

Closes #204
 2026-03-08 00:06:05 +08:00
LewisPen
783f654953 feat(wallet): 钱包系统替代配额系统，新增支付与退款机制 
- 新增钱包余额管理、充值、扣费、退款完整流程
- 新增支付网关抽象层（支持手动/支付宝/微信）
- 用量计费从配额系统迁移到钱包余额扣费
- 新增管理员钱包管理与支付订单管理页面
- 新增用户钱包中心页面
- 移除独立 Key 锁定机制，统一由钱包余额控制
- 新增相关 API 路由、序列化器与数据库迁移
- 新增钱包、支付、退款相关测试
 2026-03-08 00:05:48 +08:00
fawney19
9cdcce1b5f fix(providers): 允许 max_probe_interval_minutes 设为 0 并修复零值被覆盖的问题 
- 将 max_probe_interval_minutes 校验范围从 2-32 改为 0-32
- 修复 routes.py 中 max_probe_interval_minutes 和 cache_ttl_minutes
  使用 `or` 短路导致零值被默认值覆盖的问题，改用 is not None 判断
- 前端表单同步调整最小值约束和提示文案
- 新增零值校验的单元测试
 2026-03-07 18:43:28 +08:00
fawney19
06b483f79d fix(task): 修复 SyncTaskExecutionService 调用 dispatch 缺少 user_id 参数及返回值解包数量不匹配 2026-03-07 17:32:17 +08:00
fawney19
a00e137ffc fix(providers): 修复 Key 表单状态同步与 streaming 候选状态码处理 
前端:
- KeyAllowedModelsEditDialog 同时监听 open 和 apiKey 变化，避免切换 key 时状态未刷新
- KeyFormDialog 新增 api_formats 过滤与默认值逻辑，可用格式变化时自动同步表单
- ProviderDetailDrawer 合并 provider 和 endpoint 的 api_formats 传递给 Key 表单，
  数据刷新后同步 currentEndpoint 和 editingKey 引用

后端:
- mark_candidate_streaming 移除 status_code 参数，streaming 阶段不再提前写入状态码
- 简化 active_requests 中 streaming 请求的完成判断，不再依赖 status_code 条件
 2026-03-07 17:11:19 +08:00
fawney19
239238fe47 refactor(task): 拆分 TaskService 并重构任务生命周期 
- 将 task 公共协议/上下文/异常/schema 下沉到 core，并迁移 polling 目录
- 新增 execute/submit/video 子模块，拆分同步执行、异步提交流程、错误处理与视频任务操作
- 收敛 TaskService 为门面编排，内部委派到 SyncTaskExecutionService、AsyncTaskSubmitService、VideoTaskOperationsService
- 重构 main 生命周期管理：引入 LifecycleState，拆分启动与关闭流程
- 删除未使用的 TaskExecuteFacadeService 与 TaskSubmitFacadeService

Closes #201

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-03-07 15:33:29 +08:00