i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 01:10:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
1,233 Commits 5 Branches 174 Tags
cf6228f525998f1100facf9999d29f6f17872716
Commit Graph

1233 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
fawney19
21ac1825f3 fix(gateway): 修正 Codex 实时配额同步 
Close #293

Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-04-14 14:51:26 +08:00
AAEE86
0081622f90 fix(gateway): 补齐 Codex 普通请求的实时配额同步 
在 usage reporting 的 sync/stream 终态处理链中补充 Codex 配额回写，
将普通请求响应头中的 x-codex-* 实时同步到 key.upstream_metadata.codex。

- 复用 parse_codex_usage_headers 解析配额头
- 仅对 codex provider 执行 best-effort 回写
- 增加 30s TTL 指纹去重，忽略 reset 倒计时等波动字段
- 补充 realtime helper 单测与 sync/stream 集成测试
 2026-04-14 14:40:48 +08:00
AAEE86
d089ed22c7 fix(admin): 补齐 key 自动获取模型的即时刷新场景 
- 新增 key 且开启自动获取时立即抓取并写回 allowed_models
- 自动获取已开启时修改包含/排除规则后立即刷新 allowed_models
- 补充创建与过滤规则变更场景的控制层回归测试
 2026-04-14 14:33:45 +08:00
fawney19
861ae81ff0 feat(admin): 完善代理节点与 OAuth 授权管理 2026-04-14 14:09:24 +08:00
fawney19
593640ac19 feat(gateway): 增强候选路由策略与可观测信息 2026-04-14 11:50:52 +08:00
fawney19
62e0a0338d refactor: 移除 shadow results 相关模块和接口 2026-04-14 09:46:16 +08:00
fawney19
5fd3240fcf fix(admin): 同步 key 自动获取模型与相关测试 
Closes #292
Co-authored-by: AAEE86 <ppk0227@hotmail.com>
v0.7.0-rc5 		2026-04-14 02:34:36 +08:00
AAEE86
563dd44957 test(gateway): 稳定本地 usage 终态断言 
- 为 usage local 测试添加 wait_for_usage_status 辅助方法
- 轮询直到 usage 记录进入 completed/failed 终态
- 避免异步 usage runtime 先落 pending/streaming 导致测试抖动
 2026-04-14 02:22:23 +08:00
AAEE86
23233a3243 fix(admin): 修复 Key 自动获取模型时 allowed_models 同步逻辑 
- 关闭自动获取上游模型时清空 allowed_models
- 开启自动获取上游模型时立即拉取并覆盖 allowed_models
- 增加模型覆盖提示并补充相关回归测试
 2026-04-14 02:21:46 +08:00
fawney19
1000b706be fix(gateway): 收紧本地 usage 测试轮询条件 2026-04-14 01:55:13 +08:00
fawney19
53acfbabf6 refactor(gateway): 重构 ai pipeline 规划链路 2026-04-14 01:27:04 +08:00
RWDai
37bb120d20 feat(aether-proxy): 支持 Alpine 主机服务安装与 musl 发布 (#291) 
* feat(aether-proxy): 支持 Alpine 主机服务安装与 musl 发布

* fix(aether-proxy): address alpine support review findings
v0.7.0-rc4 		2026-04-13 17:20:22 +08:00
fawney19
4fd2b4a014 fix(gateway): 修复 balance 刷新去重键冲突、usage 状态回退与测试竞态 
- balance_cache: 引入实例级 refresh key 防止多实例共享进程级 HashSet 冲突
- InMemoryUsageRepo: 阻止 pending/streaming 状态覆盖已终结(completed/failed/cancelled)记录
- usage 同步测试: 等待条件从 is_some() 改为检查 status=="completed" 避免竞态
- wallet 测试: 增加轮询等待 wallet 扣款完成
- 整理 import 语句与 tests 模块位置
 2026-04-13 16:48:05 +08:00
fawney19
9a376e4223 refactor(admin): 将排行榜排序与排名函数移至 tests 模块之前 2026-04-13 16:13:18 +08:00
AAEE86
b2d85d70ca refactor(runtime): 优化管理端摘要查询与维护聚合链路 
- 为 provider catalog key 和 video task 列表增加 summary/page 查询与排序能力，减少列表场景读取重字段
- 将多处 SQL 结果读取改为流式收集，降低 `fetch_all` 的内存占用
- 把日/小时统计、钱包日用量等维护任务改为数据库侧 `CTE + upsert` 聚合
- 修复视频任务轮询更新时从本地 snapshot 回填稀疏字段，避免 `prompt` 和请求体信息丢失
 2026-04-13 15:44:58 +08:00
fawney19
6aa16ec792 feat(data): 废弃 usage 表 HTTP/结算列，迁移至 settlement_snapshots 与 http_audits 
- 新增迁移 20260413030000：标记 billing_status、finalized_at、request_headers 等列为 DEPRECATED
- 更新 baseline_v2.sql 同步废弃注释，BASELINE_V2_CUTOFF_VERSION 升至 20260413030000
- usage/sql.rs：inline body 阈值归零，强制所有 body 走 blob 存储；upsert 时清空 legacy header/output_price 列
- 查询层优先读 usage_settlement_snapshots 的 billing_status、finalized_at、output_price_per_1m
- runtime.rs：stale usage 处理同步写入 usage_settlement_snapshots；SELECT FOR UPDATE 改为 FOR UPDATE OF usage
- 前端：PerformanceAnalysis 页面重构为实时面板，新增 prometheus 工具函数与 monitoring API
 2026-04-13 14:53:46 +08:00
fawney19
e46629d11a fix(frontend): 统一 Usage 页面默认时间范围为 today 2026-04-13 14:14:07 +08:00
fawney19
5bb08e6aa4 feat(gateway): 重构 usage 数据层、迁移系统与系统导入 
数据库迁移:
- 引入 baseline v2 bootstrap，空库首次启动自动初始化
- 服务启动不再自动执行迁移，需显式 `--migrate` 运行
- 新增 pending migration 检测，schema 落后时拒绝启动

Usage 数据层:
- usage body 存储外部化为独立 blob 表
- 新增 HTTP audit 表拆分存储请求/响应头与 body ref
- 后台清理任务支持 legacy body ref 元数据迁移
- usage runtime 写入迁移到专用 tokio runtime（独立线程池, 8MB 栈）

系统导入/导出:
- 支持用户、API Keys、钱包数据的完整导入
- 兼容 legacy 与 v1.3+ 两种导出格式

其他改进:
- executor outcome 增加 runtime miss 诊断上下文
- 主 tokio runtime 栈大小调整为 8MB
- 前端 provider 管理支持 base URL 配置
- dev.sh 支持 --migrate 参数
 2026-04-13 14:01:22 +08:00
fawney19
3698e5a833 fix(test): 修复 MutexGuard 跨 await 点的 Clippy 警告 2026-04-12 16:22:29 +08:00
fawney19
f84febbf89 fix(proxy): 修复 Clippy dead_code 与 too_many_arguments 警告 2026-04-12 16:19:23 +08:00
fawney19
e029012f73 Merge pull request #289 from AAEE86/rust 
fix(usage): 统一使用记录与仪表盘的缓存命中率计算口径
 2026-04-12 16:12:22 +08:00
fawney19
9703840a36 feat(proxy): 实现代理节点批量升级回滚、隧道重定向跟随及远程配置管理 
核心功能：
- 新增代理节点批量升级回滚工作流，支持分批升级、健康探针、跳过/重试/取消等操作
- proxy 隧道流处理器支持 HTTP 重定向跟随（最多 10 跳），区分 307/308 可重播与不可重播请求体
- proxy 协议新增 follow_redirects / http1_only 字段，网关侧同步支持
- 新增代理节点远端配置变更接口（名称、允许端口、调度状态、升级目标等）
- 新增代理节点注册/反注册/心跳的 Admin API，及节点过期清理维护任务
- gateway 隧道 owner-relay 支持流式代理大请求体，新增 5 MiB 默认限制
- 新增 ProxyNodeRegistrationMutation / ProxyNodeRemoteConfigMutation 数据类型
- proxy 配置新增重定向重播预算、心跳间隔等参数，TUI 安装向导同步更新
- 前端 ProxyNodes 页面新增批量升级操作面板及滚动进度展示
 2026-04-12 16:02:38 +08:00
AAEE86
c24a29fa65 fix(model-fetch): 提取获取计划请求，并使网关运行时与共享构建器保持一致 
- 将 build_execution_plan 的散参数收敛为 ModelFetchExecutionPlanRequest，消除 clippy too_many_arguments
- 在 aether-gateway 的 model_fetch runtime 中显式依赖 build_models_fetch_execution_plan
- 补充共享 models fetch plan builder 的运行时测试覆盖
 2026-04-12 11:57:06 +08:00
AAEE86
3fcb2b1514 fix(dashboard): 修复今日统计口径并对齐每日统计日期显示 
- 前端请求 /api/dashboard/stats 时传递 timezone 和 tz_offset_minutes
- 后端仪表盘汇总过滤 pending/streaming 和占位 provider，修正今日请求/Token/费用统计
- 今日 Token 卡片增加 K/M 单位显示，并补充写缓存/读缓存 Token 信息
- 修复每日统计 YYYY-MM-DD 被按 UTC 解析导致的“今天/昨天”串天问题
- 补充前后端回归测试，覆盖统计口径和日期解析场景
 2026-04-12 11:20:39 +08:00
AAEE86
ab82841426 feat(model-fetch): 对齐 Rust 上游模型抓取行为到 Python 语义 
将 Rust 版上游可用模型抓取逻辑收敛到 Python 版行为，统一后台自动抓模
与管理员 provider-query 的模型发现路径，消除标准 /models、固定模型目录、
Antigravity、Vertex AI 等 provider 在两端实现上的分叉。

核心变更：
- 在 aether-model-fetch 中引入统一抓模策略层
- 覆盖标准 /models、Vertex API Key、Vertex Service Account、
  Antigravity fetchAvailableModels、固定模型目录五类抓模路径
- 将 provider-query 与后台自动抓模都切换到共享抓模入口，避免重复拼接
  URL、headers 和 provider 特判逻辑

标准模型抓取对齐：
- 按 Python 语义调整抓模优先级：
  openai:chat > openai:cli > openai:compact
  claude:chat > claude:cli
  gemini:chat > gemini:cli
- 从抓模候选中移除 openai:responses
- 为 openai:cli/openai:compact、claude:cli、gemini:* 补齐 Python 同款
  User-Agent / 浏览器指纹请求头
- Claude 抓模保留 after_id 分页语义
- Gemini 抓模统一为 v1beta/models?key=... 语义

provider-query 对齐：
- 返回结果改为按 model id 聚合，并合并/排序 api_formats
- 最终模型列表按 model id 排序，行为与 Python 保持一致
- 固定目录 provider（codex/kiro/claude_code/gemini_cli）不再依赖活跃
  endpoint，即使无 endpoint 也能返回预设模型目录
- Antigravity 多 key 查询改为按账户可用性 + tier 排序，首个成功结果即
  停止，并接入 provider 级缓存
- 仅配置 openai:responses 的 provider 不再被视为抓模成功路径

自动抓模对齐：
- 自动抓模成功时写入 allowed_models、upstream_models cache，并同步
  upstream_metadata
- upstream_metadata 合并逻辑对齐 Python，对 quota_by_model 做模型级合并，
  并保留已有 reset_time
- 自动抓模失败时不覆盖已有 allowed_models
- 固定目录 provider 在无 endpoint 场景下也可成功更新 allowed_models

Antigravity 对齐：
- 使用 POST /v1internal:fetchAvailableModels 抓取可用模型
- 按 Python 规则处理 URL fallback 和 429/404/408/5xx fallback 状态
- 强制要求 auth_config.project_id
- 过滤 Python 黑名单模型
- 解析并持久化 upstream_metadata.antigravity.quota_by_model

Vertex AI 对齐：
- API Key 模式仅抓取 publishers/google/models
- Service Account 模式新增 JWT token exchange，并按 Python region 顺序
  抓取 google + anthropic publishers
- 模型 owned_by / display_name / api_format 推断与 Python 对齐
- 软 404 处理行为与 Python 收敛

Gemini CLI / 固定目录对齐：
- Gemini CLI 改为返回 Python 预设模型目录
- 在可用时通过 loadCodeAssist 补充 plan_type/project_id 元数据
- Codex/Kiro/Claude Code 改为共享固定模型目录实现

测试：
- 扩展 aether-model-fetch 单元测试，覆盖格式优先级、openai:responses 排除、
  请求头、Claude 分页、Gemini query auth、固定目录与 metadata 合并
- 调整 provider-query 控制面测试到 Python 语义
- 新增自动抓模运行时测试，覆盖固定目录成功、Antigravity metadata 合并、
  失败保留旧 allowed_models

验证：
- cargo nextest run -p aether-model-fetch --lib
- cargo nextest run -p aether-gateway control::admin::provider_query model_fetch::runtime::tests
 2026-04-12 10:14:29 +08:00
AAEE86
def8135118 fix(compact): 移除 OpenAI Compact 请求中不受支持的 store 参数 
- 在 OpenAI Compact 请求规范化流程中剥离 `store`
- 将 compact 默认 body rules 与 Codex CLI 默认规则拆分
- 补充 same-format 和转换链路的 compact 回归测试
 2026-04-12 01:52:25 +08:00
AAEE86
335e440cc5 fix(usage): 统一使用记录与仪表盘的缓存命中率计算口径 
- 新增归一化总输入上下文计算逻辑，按 provider 区分 OpenAI/Gemini 与 Claude 的 cache token 语义
- 将管理端使用聚合、用户使用记录、仪表盘缓存统计、缓存亲和性分析统一为 token 级缓存命中率
- 修正 total_input_context 字段，避免 cache_read 在部分 provider 上被重复计入分母
- 同步更新相关 Rust 单元测试与网关集成测试断言
- 调整前端 dashboard mock 中 cache_hit_rate 的单位为百分比
 2026-04-12 00:57:40 +08:00
fawney19
7c5bb7f383 fix(admin): 修复系统配置导入的多项兼容性问题 
- 引入 serde_path_to_error，反序列化失败时返回精确字段路径
- 为所有浮点字段新增数字字符串兼容反序列化器，支持 Python 序列化格式
- 修复 OAuth provider key 导入：正确写入加密的 api_key 和 auth_config
- 优化代理节点跳过提示，区分手动 URL 代理与 node_id 引用代理
- 新增测试覆盖上述场景
v0.7.0-rc3 		2026-04-11 23:10:25 +08:00
fawney19
a9f610fa69 feat(admin): 实现系统数据导入导出功能，支持提供商和模型批量配置 2026-04-11 21:39:04 +08:00
fawney19
801e16c988 refactor(gateway): 统一 AETHER_GATEWAY_BIND 为 APP_PORT，新增 API Key 前缀配置和启动自举管理员 
- 绑定地址固定 0.0.0.0，仅通过 APP_PORT 控制端口，简化 CLI/Docker/systemd/dev.sh/前端代理全链路
- 新增 API_KEY_PREFIX 环境变量，抽取 handlers/shared/api_keys.rs 消除 admin/public 重复逻辑
- 新增 bootstrap_admin.rs，启动时通过 ADMIN_* 环境变量在无管理员时自动创建首个本地管理员
- 前端密码输入改用 type=password，API Key 占位符改为动态前缀
- 删除过时的 pyproject.toml/uv.lock 和旧部署文档
- 更新 .env.example/README 反映新配置项
v0.7.0-rc2 		2026-04-11 17:39:02 +08:00
fawney19
a570a77cca fix(data): baseline 迁移末尾恢复 search_path 为 public，确保 sqlx 记账正常 v0.7.0-rc1 2026-04-11 16:17:02 +08:00
fawney19
b0f068cc5d ci(rust): 移除冗余的 build_release job，测试已覆盖编译 2026-04-11 15:33:04 +08:00
fawney19
fff82de933 fix(data): baseline 迁移 search_path 改为事务级作用域，修复 sqlx 迁移表访问问题 2026-04-11 15:29:13 +08:00
fawney19
8a4a41fcef fix(docker): 容器以 root 运行，解决日志目录写入权限问题 2026-04-11 15:07:44 +08:00
fawney19
aa5761954e refactor(data): baseline 迁移改为完整幂等建库脚本，放宽 checksum 校验 
- baseline migration 从占位 SELECT 1 替换为完整的幂等 DDL，支持全新数据库从零建库
- 迁移校验从 checksum 严格报错改为 warn-only，仅按版本匹配
- 移除过时的 schema 导出文件（README/TSV）
- Dockerfile 移除 :nonroot 标签，docker-compose 移除 user 指令，统一以默认用户运行
 2026-04-11 14:31:28 +08:00
fawney19
8cd2c4d5bd fix(gateway): 默认监听端口改为 8084 以支持非 root 运行 
- Dockerfile 及 main.rs 默认 bind 从 0.0.0.0:80 改为 0.0.0.0:8084
- docker-compose 以 UID:GID 非 root 用户启动 app 容器
- compose 端口映射与容器内监听端口保持一致，通过 AETHER_GATEWAY_BIND 注入
 2026-04-11 13:55:11 +08:00
fawney19
940a28cff4 chore: 清理 .env.example 中过时的 Python 运行时配置项 2026-04-11 13:12:28 +08:00
fawney19
c95feea286 chore: 清理过时的 Python 遗留配置和文档 
- .dockerignore 移除 Python 相关忽略规则和废弃的 dist 放行条目
- README 更新密钥生成为 shell 脚本，移除过时的 systemd 部署章节
- deploy.sh 从哈希计算中移除已删除的 entrypoint.sh
 2026-04-11 13:00:04 +08:00
fawney19
1d896467dc fix(build): .dockerignore 放行 dist/aether-gateway-* 和 dist/frontend/ 2026-04-11 12:49:40 +08:00
fawney19
3a655440b9 chore: 移除过时 Python 脚本，密钥生成改用 shell 脚本 
- generate_keys.py 替换为 generate_keys.sh (无需 Python 依赖)
- 移除已废弃的 backfill_provider_key_status_snapshot.py
 2026-04-11 12:43:19 +08:00
fawney19
80bae8bc2a fix(build): ldap3 切换到 rustls 后端以消除 openssl-sys 依赖 
musl 交叉编译时 openssl-sys 找不到系统 OpenSSL, 改用 tls-rustls feature
 2026-04-11 12:36:35 +08:00
fawney19
f68c67021c refactor(build): 切换到 musl 交叉编译 + distroless 镜像方案 
- docker-publish.yml: 改为 cross 交叉编译 amd64/arm64 musl 静态二进制,
  前端在 CI 独立构建, buildx 组装多架构镜像
- Dockerfile.app: 从 139 行容器内编译简化为 24 行纯 COPY 打包
- Dockerfile.app.local: 移除 jemalloc 动态链接 (LD_PRELOAD/libjemalloc2)
- aether-gateway: 引入 tikv-jemallocator 静态链接 jemalloc
 2026-04-11 12:21:33 +08:00
fawney19
e37a32c83d chore(deploy): 默认镜像标签切换为 pre 以跟踪预发布版本 2026-04-11 10:48:34 +08:00
fawney19
ec0bde819a refactor: 简化 outcome clippy lint 并移动 usage 测试模块至文件末尾 2026-04-11 09:35:31 +08:00
fawney19
848f99d3e5 merge(pr287): absorb remaining rust branch changes 
Absorb the remaining changes from PR #287 into aether-rust-pioneer after resolving conflicts locally and preserving the admin fixes already landed in this branch.

Closes #287
Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-04-11 03:10:16 +08:00
fawney19
34d295c1e0 fix(admin): align global model responses with repository counts 2026-04-11 02:55:02 +08:00
fawney19
a54ac76688 fix(admin): restore pool key usage aggregates 2026-04-11 02:54:54 +08:00
fawney19
cf02a10050 chore: 调整 Postgres 连接池默认参数：增大最大连接数、缩短获取超时 2026-04-11 02:26:33 +08:00
fawney19
6144473ebe feat: 新增 frontdoor 执行回环守卫与多项可观测性增强 
- 新增 frontdoor_loop_guard 模块，检测并拒绝 execution runtime 回环到本地网关的请求（HTTP 508）
- candidate loop 引入 span tracking、执行尝试日志与流式看门狗超时
- 本地故障转移策略支持从 report_context 加载，新增 append_local_failover_policy_to_value
- runtime tracing 美化：移除 identity 前缀，按 span 深度树形缩进，target 固定宽度展示
- Codex OpenAI CLI 补齐 chatgpt-account-id/x-client-request-id/session_id/conversation_id 请求头
- OpenAI CLI same/cross-format 聚合规则放宽以支持 openai:compact 客户端格式，并过滤 error-like 响应体
- auth/proxy/finalize 日志补充 user_id/api_key_id/api_key_name/balance_remaining 等字段
- 启动日志拆分为 starting/ready/config 三段，新增 resolve_bind_http_base_url
- access_log middleware 将生成的 trace_id 回注到下游请求头
- Cargo.toml 启用 serde_json preserve_order 特性
 2026-04-11 01:50:24 +08:00
AAEE86
174f11604a fix(data): 统一 usage 内存仓储时间戳单位并通过格式检查 
- 将 usage 内存仓储的秒级过滤条件转换为毫秒后再比较
- 汇总 provider api key 最近使用时间时将毫秒转换为秒
- upsert 在缺少 created_at 时默认写入毫秒时间戳
- 补充时间戳单位回归测试
- 调整 registry.rs 格式以通过 cargo fmt --all --check
 2026-04-10 22:23:26 +08:00