i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 17:30:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
891 Commits 6 Branches 174 Tags
fd32597015e8b3fe7f0a3cb3a9a239d0bfcb5976
Commit Graph

386 Commits

Author SHA1 Message Date
fawney19
a9b24c9161 fix: Codex 刷新限额功能优化 
- 修复并发协程中直接操作 SQLAlchemy Session 的问题，改为收集后统一更新
- 抽取硬编码模型名为 CODEX_QUOTA_REFRESH_MODEL 常量
- 前端刷新限额前添加确认对话框，提示会产生 API 调用费用
- 修正 loguru 日志格式为 {} 占位符风格
 2026-02-05 18:09:40 +08:00
AAEE86
93090e227f feat: Codex 提供商批量刷新限额功能 (#147) 
- 后端 (keys.py)：新增 POST /providers/{provider_id}/refresh-quota API，向 Codex 提供商的所有活跃 Key 发送测试请求，从响应头解析限额信息并更新数据库
- 前端 (ProviderDetailDrawer.vue)：在 Codex 类型提供商的密钥管理区域添加"刷新限额"按钮，带加载动画和结果提示
- 前端 API (keys.ts)：新增 refreshProviderQuota 接口调用及 RefreshQuotaResult 类型定义
- 其他：description 字段允许 null，公开 ensure_collectors_registered 函数
 2026-02-05 18:09:14 +08:00
fawney19
8ad53b9490 fix: 修复配置导入时 api_formats 与 endpoint 格式比较不一致的 bug 
原代码使用 .upper() 转大写与小写的 endpoint_formats 比较，
导致所有格式都被误判为"未配置对应 Endpoint"。
改为统一使用 normalize_signature_key 归一化后比较。
 2026-02-05 16:51:52 +08:00
fawney19
5be7813ab8 refactor: 将访问令牌功能迁移至模块系统 
- 新增 management_tokens 模块定义，支持通过环境变量控制可用性
- 从静态路由中移除 management-tokens，改由模块动态注册
- 前端路由添加模块激活检查，未激活时重定向到仪表盘
- 认证服务添加模块激活检查，未激活时禁止令牌认证
- 导航菜单中移除访问令牌入口（保留直接 URL 访问）
- 修复 alembic 迁移脚本格式和错误处理
 2026-02-05 16:32:27 +08:00
fawney19
440721368f feat: Antigravity 和 Codex 服务支持 
- 新增 Antigravity 服务：签名缓存、URL 可用性检测、信封处理
- 新增 Codex 服务：信封处理、元数据收集器
- 重构 provider transport 支持新的服务架构
- 新增 stream_bridge 和 upstream_stream_bridge 处理流式响应
- 优化 OAuth 工具函数
- 添加相关测试用例
 2026-02-05 15:59:41 +08:00
fawney19
ed2ff5c1d7 feat: 性能监控基础设施、解密缓存及计费简化 
- 新增 PerfRecorder 性能记录工具，支持采样率与慢请求日志
- 在请求管道中埋点：auth、body_read、json_parse、context_build、authorize、handle
- 流处理器增加 parse/conversion 耗时追踪与 perf_metrics 落库
- 解密服务添加 LRU 缓存，降低高频解密 CPU 开销
- 格式转换分层开关设计：全局 OFF 时回退到端点配置，而非一刀切拒绝
- 移除 shadow billing 模块，统一使用新计费引擎
- 新增 Codex 网关请求适配器（store=false、role 映射、include 补齐）
- endpoint 创建接口支持 body_rules 参数
 2026-02-05 14:22:11 +08:00
fawney19
e72e5370c4 refactor: 提取 is_codex_url 到公共 utils 模块 
将重复的 Codex URL 判断逻辑提取到 src/utils/url_utils.py，
避免 transport.py 和 adapter.py 中的代码重复。
 2026-02-05 11:17:00 +08:00
fawney19
9a8f25d1a9 feat: OAuth Token 自动刷新调度、OAuth 对话框优化及 OpenAI CLI normalizer 重构 
- 系统设置新增 OAuth Token 自动刷新任务开关，支持动态调度
- OAuth 授权对话框简化步骤布局，移除编号圆圈样式
- 重构 OpenAI CLI normalizer：将 if-else 链替换为事件处理器映射表，
  将 stream_event_from_internal 拆分为独立方法
- 维护调度器在禁用刷新时移除已调度的 job
- .gitignore 新增 CLIProxyAPI/ 和 sub2api/ 排除项
- 补充 noop/unknown 事件处理器的测试覆盖
 2026-02-05 01:07:47 +08:00
fawney19
73249f09e4 Merge remote-tracking branch 'origin/master' into dev 
# Conflicts:
#	src/api/handlers/base/request_builder.py
#	src/api/handlers/openai_cli/adapter.py
#	src/services/system/maintenance_scheduler.py
 2026-02-05 00:07:29 +08:00
fawney19
4d6e7c094f feat: OAuth 账户管理、维护调度、端点健康检查增强及前端优化 
- 新增 OAuth 账户管理对话框和提供商详情抽屉中的 OAuth 信息展示
- 新增维护调度器(maintenance_scheduler)支持定时清理和健康检查
- 增强端点健康检查器，支持更多检测策略
- 重构 codex 服务为 metadata_collectors 模块
- 优化 OpenAI CLI normalizer 代码结构
- 前端: 改进使用量表格、统计图表、指南页面和异步任务管理
- 扩展多个数据库字符串列为 TEXT 类型
- 新增倒计时 composable 和 provider OAuth API 端点
 2026-02-04 23:59:45 +08:00
AAEE86
4c1ec66365 feat: OAuth 密钥编辑时显示到期时间和重新授权按钮 
- 后端 EndpointAPIKeyResponse 新增 oauth_expires_at 字段
- 从加密的 auth_config 中解密并提取 OAuth Token 到期时间
- 前端编辑已授权的 OAuth 密钥时显示"重新授权"按钮
- 在按钮旁显示 Token 到期时间
 2026-02-04 16:05:25 +08:00
Yorha
26a0f99f8f fix: 统一缓存token计费口径，避免OpenAI错误计费 (#144) 
* fix: 统一缓存token计费口径，避免OpenAI错误计费

* fix: 添加 Gemini 缓存 token 归一化支持，优化代码结构

- Gemini 的 promptTokenCount 包含 cachedContentTokenCount，需要扣除
- 合并重复的 helper 函数为 _get_api_family()
- 将 import 移到文件顶部
- 补充 Gemini 测试用例

---------

Co-authored-by: fawney19 <elky0401@gmail.com>
 2026-02-04 16:04:09 +08:00
fawney19
f64631a3a3 feat: 导入上游模型时自动匹配或创建 GlobalModel 
- 导入模型时按名称精确匹配已有的 GlobalModel
- 如果没有匹配到则自动创建新的 GlobalModel
- 导入完成后清除 /v1/models 缓存使模型参与路由
 2026-02-04 15:28:57 +08:00
AAEE86
cb4407ba49 feat: 新增 Codex 上游兼容整流器 
- 强制 store=false
- 确保 instructions 字段存在（缺失/None -> ""）
- 强制 parallel_tool_calls=true，并确保 include 包含 reasoning.encrypted_content
- 删除 Codex 会拒绝的一些字段：max_output_tokens/max_completion_tokens/max_tokens/temperature/top_p/service_tier
- 将 input[] 里 role=system 的 message 改成 developer
- 在发送上游请求前注入整流（覆盖“同格式透传”和“跨格式转换”两条链路）
 2026-02-04 15:09:51 +08:00
fawney19
bf4e2d7a88 Merge pull request #143 from hemo94931/master 
fix: 修复一些测试模型相关的bug
 2026-02-04 14:09:31 +08:00
hemo94931
a80ddea93c fix: 修复测试规则保护头部解析 2026-02-04 12:18:39 +08:00
hemo94931
f1656c4960 fix: 测试模型中使用请求头和请求体规则修改请求 2026-02-04 12:18:39 +08:00
hemo94931
3b4ff95854 fix: OPENAI_CLI端点默认url修改 2026-02-04 12:18:39 +08:00
hemo94931
316d7055f5 fix: 修复测试模型时OPENAI_CLI请求包格式 2026-02-04 12:18:39 +08:00
fawney19
9ffe4b4ce8 Merge branch 'pr-140' 2026-02-04 12:17:46 +08:00
AAEE86
e4fdc65e52 feat: 支持固定类型 Provider OAuth 授权 
- 新增 provider_type 字段区分自定义/预置 Provider 类型（claude_code/codex/gemini_cli/antigravity）
- 实现完整 OAuth 2.0 授权流程：start（生成授权 URL + PKCE）、complete（换取 token）、refresh
- 前端 KeyFormDialog 添加 OAuth 授权 UI，支持开始授权、粘贴回调 URL、完成授权、强制刷新
- 请求时自动检测 token 过期并刷新（120s 预留窗口 + Redis 分布式锁防并发）
- 固定类型 Provider 自动创建预置端点并锁定 base_url/custom_path
- 数据库迁移：添加 providers.provider_type，扩展 api_key 列为 TEXT
- 可选依赖 tls-client 用于 Claude token 请求的 TLS 指纹伪装
 2026-02-04 10:24:25 +08:00
fawney19
f6dac1c38a feat: 请求入口提前创建 pending Usage 记录 
在 chat/CLI handler 的流式和非流式请求入口处提前创建 pending 状态的
Usage 记录，让前端可以立即看到"处理中"的请求，提升用户体验。

- 新增 BaseMessageHandler._create_pending_usage() 方法
- ChatHandlerBase 流式/非流式入口调用
- CliMessageHandlerBase 流式/非流式入口调用
- 使用 try-except 包裹，创建失败不影响主流程
 2026-02-04 03:27:58 +08:00
fawney19
7f09f191a1 feat: 优化用量状态同步机制和 OpenAI CLI 流式转换 
- 增加状态回退保护，防止异步响应覆盖已知状态
- 添加轮询并发保护 (pollInFlight)，避免重复请求
- 支持 cancelled 状态筛选和显示
- 前端 mergeRecordStatus 保护活跃记录状态
- 后端 streaming 状态同步更新改为使用当前 DB 会话
- OpenAI CLI 流式转换增加工具调用事件支持
- 轮询接口新增 target_model 字段返回
- 修复迁移脚本 inspector 缓存问题，改用 information_schema
 2026-02-04 03:17:55 +08:00
fawney19
f3e2f84b38 feat: 统计数据优化 - 支持细粒度时间范围和多维度分析 
- 新增 StatsHourly/StatsDaily 预聚合表，支持任意时区的精确统计
- 实现 UTC datetime 范围查询策略，边界数据实时聚合
- 新增统计 API：用户/API Key 维度、成本分析、性能百分位、错误分类
- 新增前端页面：成本分析、性能分析、用户统计
- 新增 TimeRangePicker 组件和统计可视化组件
- 优化 Dashboard 和 Usage 页面支持时间范围筛选

Close #135
 2026-02-04 02:04:54 +08:00
YorhaL
bac0e7fb20 feat: 添加用户配额自动重置功能及相关配置 2026-02-04 00:38:02 +08:00
fawney19
6f363a7703 perf: 优化流式响应内存占用和正则预编译 
- 添加 record_parsed_chunks 标志，仅在 FULL 日志级别时累积 parsed_chunks
- 预编译 CJK 和敏感信息正则表达式，避免重复编译
- 优化 header 脱敏循环，预计算 lowercase 集合
- 移除 consumer_streams.py 中未使用的 message_fields 变量
- 将 SystemConfigService import 移至文件顶部
 2026-02-03 21:32:53 +08:00
fawney19
d6597121f5 feat: Provider 签到任务时间可配置 
- 前端添加签到时间选择器（HH:MM 格式）
- 后端支持动态更新调度器执行时间
- 新增 reschedule_cron_job 方法支持运行时重调度
 2026-02-03 19:03:55 +08:00
fawney19
ddf3f5c107 feat: 添加请求体规则功能和 UI 优化 
- 添加 body_rules 支持（set/drop/rename 操作）
- 后端 apply_body_rules 函数处理请求体修改
- 保护 model/stream 字段不被修改
- 前端 UI 重构：合并请求头/请求体规则为统一区域
- 使用左边框颜色区分规则类型（H=主题色，B=灰色）

Closes #139

Co-authored-by: CC <81609553+hemo94931@users.noreply.github.com>
 2026-02-03 18:49:17 +08:00
fawney19
00442c41fa feat: 视频计费增强与影子计费系统 2026-02-03 18:48:39 +08:00
fawney19
ed68aebfb0 refactor: 统一任务框架 Phase 3 - 用 TaskService/FailoverEngine 替代 FallbackOrchestrator 
核心重构：
- 移除 FallbackOrchestrator，用 TaskService + FailoverEngine 替代
- TaskService 作为统一入口，支持 SYNC/ASYNC 两种任务模式
- FailoverEngine 实现候选遍历、重试、故障转移逻辑
- 新增 AttemptFunc/AttemptResult 协议，统一尝试结果表示

功能改进：
- 流式响应首字节探测（30s 超时，空流触发故障转移）
- 流式取消归因优化（区分客户端断连 vs 服务端中断）
- 新增 OpenAI Sora 视频取消路由 POST /v1/videos/{task_id}/cancel
- OpenAI 流式请求自动添加 stream_options.include_usage

代码规范：
- 修复 loguru 日志格式（%s → {}）
- 新增 FORMAT_CONVERSION_ENABLED 环境变量说明

测试覆盖：
- test_failover_engine.py: FailoverEngine 单元测试
- test_task_service_async_execute.py: TaskService ASYNC 模式测试
- test_video_cancel_e2e.py: 视频取消端到端测试
 2026-02-02 21:16:28 +08:00
fawney19
9e31efe26c refactor: 重构异步任务系统和计费服务架构 
- 重构任务系统：新增 lifecycle (TaskStatus/BillingStatus)、context、application 模块
- 将 video tasks 泛化为 async tasks，支持更通用的异步任务管理
- 新增 Gemini Files 管理模块和管理界面
- 重构 billing 服务：拆分 schema.py 和 service.py
- 新增 candidate 服务模块用于请求候选管理
- 数据库迁移：添加 billing_status、request_id、gemini_file_mappings 表和索引
- 移除废弃的 video_telemetry、task orchestrator 等模块
 2026-02-02 03:16:52 +08:00
fawney19
4ac8e63c94 feat: 添加视频生成功能增强和多维度计费系统适配 
- 视频生成: 增强 video_handler，重构 task_poller，新增 telemetry
- 计费系统: 适配新的 signature 格式，支持 video 任务类型回退
- 数据库迁移: 添加 api_family/endpoint_kind 字段和 video_formats
 2026-02-01 17:28:27 +08:00
fawney19
7b66505634 refactor: 全局适配 ApiFamily/EndpointKind 结构化标识体系 
将新的 (ApiFamily, EndpointKind) / `family:kind` 签名体系应用到整个代码库：
- API Handlers: 所有 adapter/handler 使用新的签名格式
- Services: provider, model, usage, cache, auth 等服务层适配
- Database: ProviderEndpoint 新增 api_family/endpoint_kind 字段
- Frontend: Provider 管理、Usage 表格等组件适配
- Tests: 更新所有相关测试用例
 2026-02-01 17:28:00 +08:00
fawney19
97b15afe7c feat: 添加多维度计费系统和视频任务管理功能 
计费系统:
- 新增 BillingRule 和 DimensionCollector 数据模型
- 实现 FormulaEngine 安全表达式求值引擎 (AST 白名单)
- 支持 dimension/matrix/tiered/constant 多种维度映射
- BillingRuleService 支持 Provider Model -> GlobalModel 规则回退
- CLI task_type 在计费域自动映射为 chat

视频任务增强:
- 添加 request_metadata 字段记录候选 key 和计费规则快照
- 后台轮询支持并发控制 (Semaphore + 独立 session)
- 任务终态自动写入 Usage 记录并计算成本
- 新增视频任务管理 API 和前端界面

其他改进:
- UsageService 新增 record_usage_with_custom_cost 方法
- StandardizedUsage 支持 dimensions 字段 (兼容 extra)
- 配置新增 BILLING_REQUIRE_RULE 和 BILLING_STRICT_MODE
 2026-01-31 19:11:25 +08:00
fawney19
dc4bb25cc2 feat: 添加 Vertex AI Claude 模型支持和动态格式识别 
- 新增 get_vertex_ai_effective_format 函数，根据模型名自动判断 API 格式
- 支持通过 auth_config.model_format_mapping 自定义模型格式映射
- 修改 Vertex AI URL 构建逻辑，Claude 模型使用 anthropic publisher 和 rawPredict
- 修复 auth_config 可能是未加密 dict 的兼容性问题
 2026-01-31 00:30:07 +08:00
fawney19
772cb90f64 feat: 添加视频生成 API 支持和认证抽象层重构 
- 新增 Video Generation API 路由和处理器（支持 Gemini Veo 和 OpenAI Sora 兼容格式）
- 新增 AuthHandler 策略模式，统一 API key 提取逻辑（Bearer/ApiKey/GoogApiKey/OAuth2/QueryKey）
- 新增 RequestContext 三维度检测（数据格式/端点类型/认证方式）
- 新增 EndpointType 和 AuthMethod 枚举
- Gemini/OpenAI normalizer 添加视频格式转换（InternalVideoRequest/Task/PollResult）
- 新增视频任务轮询服务和数据库迁移（video_tasks 表）
- 代码格式化：修复 black 行宽限制，调整 import 排序，target-version 降级至 py313
 2026-01-30 22:41:42 +08:00
fawney19
5603c72f40 fix: 修复 mypy 类型检查错误并升级到 Python 3.14 
主要变更：
- 修复 1483 个 mypy 类型检查错误
- 添加缺失的类型注解 (Any, Callable, Session 等)
- 修复隐式 Optional 类型 (param: Type = None -> param: Type | None = None)
- 修复 __new__ 单例模式返回类型
- 添加 type: ignore 注释处理第三方库类型问题
- 更新 pyproject.toml 依赖到 Python 3.14 兼容版本
- 更新 mypy/black 配置为 Python 3.14
 2026-01-30 14:30:57 +08:00
fawney19
7066166757 style: 统一使用 PEP 604/585 现代类型语法 
- Optional[X] → X | None
- Dict[X, Y] → dict[X, Y]
- List[X] → list[X]
- Tuple[X, Y] → tuple[X, Y]
- Set[X] → set[X]

涉及 10 个文件，共约 50 处改动。
 2026-01-30 13:06:34 +08:00
fawney19
041a61f89c fix: 补充合并后遗漏的 from __future__ import annotations 
合并 fix/python314-upgrade 后，部分文件仍使用 Optional/Dict 等旧式类型
但未添加 future annotations 导入，导致运行时 NameError。
 2026-01-30 13:01:50 +08:00
fawney19
cd1b103223 Merge branch 'fix/python314-upgrade' 
# Conflicts:
#	src/api/handlers/base/base_handler.py
#	src/api/handlers/base/request_builder.py
#	src/models/endpoint_models.py
#	src/services/orchestration/candidate_resolver.py
#	src/services/orchestration/fallback_orchestrator.py
 2026-01-30 12:59:52 +08:00
fawney19
13487fe4e5 fix: 添加 from __future__ import annotations 修复运行时类型错误 
原 PR 将 Optional[X] 改为 X | None 后，如果 X 在 TYPE_CHECKING 块中导入，
会导致运行时 NameError。添加 future annotations 使类型注解延迟求值。

影响文件：
- src/services/auth/service.py
- src/core/api_format/utils.py
- src/core/api_format/detection.py
- 及其他 15 个使用 TYPE_CHECKING 的文件
 2026-01-30 12:43:08 +08:00
fawney19
c33cd07ea9 feat: add Gemini Files API proxy with key capability support 
- Add gemini_files_api capability for key-level Files API support
- Implement Gemini Files API proxy endpoints (upload/list/get/delete)
- Add file-to-key mapping cache for correct key routing
- Support preferred_key_ids to prioritize keys that uploaded files
- Enhance logging for file mapping diagnostics
 2026-01-30 11:37:34 +08:00
AAEE86
24d24f6829 chore: 升级到 Python 3.14 并现代化代码 
- 升级 Docker 基础镜像从 Python 3.12 到 3.14
- 更新 pyproject.toml 支持 Python 3.13/3.14
- 移除 Python 3.8/3.9/3.10/3.11 分类器
- 更新 black 和 mypy 配置目标版本
- 将 get_event_loop() 替换为 get_running_loop() 加上 RuntimeError 处理
- 简化 compute_cost_sync 中的 asyncio.run 使用
- Dict/List/Tuple/Set → dict/list/tuple/set (PEP 585)
- Optional[T] → T | None (PEP 604)
- Union[A, B] → A | B (PEP 604)
- 移除废弃的 typing 导入
- 移除不必要的字符串引号注解
 2026-01-30 03:10:21 +08:00
fawney19
32b293ef3e feat: add Vertex AI authentication support for provider API keys 
- Add auth_type field to ProviderAPIKey model (api_key or vertex_ai)
- Implement Vertex AI OAuth token generation with service account
- Update transport layer to handle Vertex AI authentication
- Add Vertex AI endpoint URL generation in request builder
- Update frontend KeyFormDialog to support auth_type selection
- Add migration for auth_type column in provider_api_keys table
 2026-01-30 02:43:50 +08:00
fawney19
4487c35486 Merge pull request #127 from NyaDoo/master 
fix: CLI 模型测试请求添加 x-app: cli 头部
 2026-01-29 23:05:25 +08:00
fawney19
61abb47d22 refactor: 重构上游模型获取与展示逻辑 
- 后端支持遍历所有活跃 API Key 聚合模型，按 model id 合并 api_formats
- 前端移除按 API 格式分组，改为统一展示并内联显示格式标签
- 改进 401 错误处理，账户异常时清除认证并重定向首页
 2026-01-29 22:58:37 +08:00
LewisPen
ed2f4c1c34 fix: CLI 模型测试请求添加 x-app: cli 头部 
CLI adapter 的 check_endpoint 测试请求缺少 x-app: cli 头部，
导致上游 Aether 节点选择了错误的 adapter 提取 API Key，
返回 401 认证失败。
 2026-01-29 14:35:10 +08:00
fawney19
557e64c77f fix: 响应中保留用户请求的原始模型名 
- 非流式响应：通过 requested_model 参数传递用户请求的模型名
- 流式响应：StreamState 初始化时使用 ctx.model 而非 ctx.mapped_model
- 流式转换：normalizers 保留初始 model 值，不被上游事件覆盖
- parsed_chunks：格式转换时记录转换后数据，确保与客户端收到的一致
 2026-01-29 10:32:36 +08:00
fawney19
2e9c9e80d1 fix: 修复响应解析器中 usage 为 null 时的处理问题 
将 response.get("usage", {}) 改为 response.get("usage") or {}，
避免 usage 显式为 None 时导致后续属性访问失败。
 2026-01-29 09:44:12 +08:00
fawney19
06a46383a1 perf: 优化同步方法性能，避免事件循环开销 
- pipeline.py: 日志格式改为 %-style 懒惰计算
- cost.py: get_model_price/get_tiered_pricing 改用直接数据库查询
- usage/service.py: 批量记录改为并行准备，提取 build_params 减少重复代码
 2026-01-29 02:00:00 +08:00