i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 17:30:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
1,341 Commits 6 Branches 174 Tags
07a319259b962b4a93361a35061d2ee25a32398e
Commit Graph

155 Commits

Author SHA1 Message Date
fawney19
07a319259b Normalize canonical API formats 2026-04-29 10:20:41 +08:00
fawney19
02ad67fe33 fix(test): update openai format identifier from cli to responses 2026-04-28 21:04:38 +08:00
fawney19
17f09fc8c1 Expose ranking metadata in request trace 2026-04-27 17:24:32 +08:00
fawney19
3b542434a2 Unify candidate ranking pipeline 2026-04-27 17:24:31 +08:00
fawney19
4ec591fbf2 centralize openai responses alias handling 2026-04-26 23:59:53 +08:00
fawney19
5b914aa78c migrate ai format conversion to responses adapters 2026-04-26 23:59:53 +08:00
fawney19
baa0ddd787 Improve runtime miss usage diagnostics 2026-04-26 01:44:54 +08:00
fawney19
1d3ea3232d Add unified candidate failure diagnostics 2026-04-26 01:38:37 +08:00
fawney19
429fdb47e6 fix(usage): 简化本地执行错误提示 2026-04-25 20:46:22 +08:00
fawney19
00744c0ce5 feat(observability): 引入错误链路 error_flow 元数据并区分上游/客户端错误 
- 网关在本地 failover 时构建 error_flow 元数据（分类/决策/传播策略），写入 report_context
- scheduler-core 解析并透传 error_flow 至候选 extra_data
- admin usage 详情拆分 request/upstream/client/failure_summary 错误域，敏感上游错误标记为 suppressed
- 前端 RequestDetailDrawer 拆出"返回客户端"与"上游响应"双错误卡片
- HorizontalRequestTimeline 节点详情展示真实请求错误及 error_flow 标签
 2026-04-25 17:01:07 +08:00
RWDai
b8205b5a09 Fix/usage json entity escaping (#333) 
* fix(usage): 修复 JSON 视图实体转义显示

* fix(usage): 解码 OpenAI 工具参数实体
 2026-04-25 16:41:25 +08:00
fawney19
cef7dcac71 refactor(usage): 抽取 JsonContentPanel 通用 JSON 展示组件 
请求详情抽屉与时间线统一复用工具栏（展开/收缩、复制）和 JSON 视图，时间线的额外信息也由 pre 改为可交互面板
 2026-04-25 11:44:01 +08:00
fawney19
1761921670 fix(usage): 移动端缓存 token 拆分为读/写两列展示 
cache_read 与 cache_creation 原本被合并为单值，现分别显示并补充测试
 2026-04-25 09:53:32 +08:00
fawney19
2c6209277f fix(usage): Claude 流式合并 message_start/delta usage，前端移动端缓存 token 合并展示 
- Claude provider state 在 message_start 记录基础 usage，message_delta 合并 output_tokens
- 前端 UsageRecordsTable 移动端缓存列改为 cache_creation + cache_read 合计展示
 2026-04-24 22:28:04 +08:00
fawney19
db1059e73b fix(usage): 修复 Gemini total 重复累加 cache_read 并补充测试 
- write.rs: Gemini usage 提取 total 时不再叠加 cachedContentTokenCount
- 补充 Claude 大 cache_read 场景下 input_tokens 不被扣减的测试
- 补充前端 getEffectiveInputTokens 对 Claude 格式不减 cache_read 的测试
 2026-04-24 21:20:45 +08:00
fawney19
e265475c17 fix(usage): 修正 input_tokens 统计与显示 
- SQL 查询不再用 settlement snapshot 的 billing_input_tokens 覆盖原始 input_tokens
- usage_mapper 针对 OpenAI 格式在 input_tokens 缺失时从 total_tokens - output_tokens 推导
- 前端轮询合并优先采用最新 record 的 input_tokens / effective_input_tokens
 2026-04-24 20:59:12 +08:00
fawney19
657fcd595c refactor(rust): 拆分 usage sql 仓储为模块并外置 SQL 文件 
- 将 usage/sql.rs 拆分为 sql/mod.rs 与 sql/tests.rs
- 将内联 SQL 抽离到 sql/queries/ 目录下的独立 .sql 文件
- 前端用量记录表格移除缓存创建 token 展示，保留 cache read 列
 2026-04-24 20:22:24 +08:00
fawney19
5d710d9d10 feat(rust): 支持 image 同步转流式 SSE、free_team_first 调度预设及账户错误自动重试 
- openai:image 同步响应桥接为流式 SSE（image_generation.completed / image_edit.completed 事件）
- image 请求解析与前置校验移除模型白名单，支持任意自定义模型名
- 调度器新增 free_team_first 预设（mode: both / free_only / team_only）
- pool config 解析重构：新增 POOL_ALLOWED_SCHEDULING_PRESETS 白名单，规范化 mode 字段
- 错误分类器新增账户/账单错误模式集，升级为 RetryUpstreamFailure 而非 StopSemanticClientError
- 修复 stream execution 中上游 headers 与输出 headers 混用导致 content-type 判断错误的问题
- codex image 工具始终写入 action 字段（generate/edit），仅 generate 操作填充默认 size/quality
- 前端：pool 节点组只展示实际执行过的候选节点，全部 skipped 时折叠为最后一个节点
- Redis 测试就绪检测从 TCP 连接改为 PING/PONG 协议验证
 2026-04-24 10:07:24 +08:00
fawney19
5148370253 fix(usage): 修复含失败信号的 pending 请求被误判为活跃的问题 
- pending/streaming 状态含 status_code >= 400 或 error_message 时视为 failed
- 候选状态派生改为 failed 优先于 stale pending/streaming
- 活跃请求轮询时保留失败信号字段的更新
- 图片流支持 partial_image 事件转发及从 response.completed 读取最终图片
 2026-04-24 03:07:11 +08:00
fawney19
342d4a268c feat(stream-bridge): 支持上游 sync 响应转 SSE 流式输出，记录 client/upstream 流模式差异 
- 新增 sync_to_stream 桥接模块，将非 SSE 上游响应转换为 SSE 格式回传给流式客户端
- stream_pump 检测非 SSE 响应头后缓冲整包并通过桥接逻辑重写为 SSE 帧
- proxy handler 同步支持 sync→stream 聚合与转换（覆盖 openai/claude/gemini 四种格式）
- sync_products 补全 openai:cli 的完整流式事件聚合（text delta、reasoning、tool call 等）
- usage runtime 写入 client_requested_stream / upstream_is_stream 到 request_metadata
- SQL 查询层将两个布尔字段从 request_metadata jsonb 中提取并回传给前端
- 前端 status.ts 新增 resolveUsageStreamLabelSegments，优先读取 client_requested_stream
- RequestDetailDrawer 在流式转换场景下显示"客户端→上游"两段 Badge
 2026-04-23 21:53:50 +08:00
fawney19
fa328e18a1 feat: provider api_formats 可空继承、OpenAI 图片 edit/variation 与用量配额多项补强 
- 鉴权: provider_api_keys.api_formats 改为可空，OAuth 托管 key 自动继承 provider endpoints 激活格式，相关 handler/测试同步更新
- 图片 planner: OpenAI 图片路由新增 edit/variation 操作并完善参数校验、响应合并与流式处理
- 用量: user me usage 返回区分 client_requested_stream/upstream_is_stream，前端 usage 列表筛选与展示增强
- 统计: stats_daily_model 新增 cache_creation_ephemeral_5m/1h tokens 字段与回填链路
- 配额/observability: quota repository 新增内存与 SQL 扩展，admin observability usage 字段扩充
- 其它: OAuth 导入/轮询收敛、provider 汇总与 pool admin 读写链路小修、新增 system_config 缓存与 provider template handler

Closes #318

Co-authored-by: Entropy.Xu <53283266+Entropy-Xu@users.noreply.github.com>
 2026-04-23 14:42:51 +08:00
fawney19
226a6e58d5 refactor(gateway): 重构格式转换候选资格检查并优化测试基础设施 
- 将 format_conversion_disabled 的过滤提前到候选遴选阶段，替代原来的 skip_reason 标记机制
- 为测试添加 execution_runtime_sync_override 直接注入支持，避免启动额外 HTTP 服务器
- 将 submit_terminal_event 改为 async record_terminal_event 确保失败用量事件可靠入库
- 新增 test_support 模块封装可重试的 loopback 端口绑定逻辑
- 前端：poolTrace 将 skipped 从隐藏状态移除，新增 buildPoolParticipatedCandidates 统一新旧链路逻辑，并将 skipped 状态色改为 foreground
 2026-04-20 16:59:18 +08:00
fawney19
c1b9d94c84 feat(adaptive): 完善自适应 RPM 学习并将 Pool 调度状态与健康分解耦 
- orchestration 新增 AdaptiveSuccess 效果，在成功回报路径上根据利用率窗口扩张 learned_rpm_limit
- 429 路径改用 429_observation/adjustment 记录以及基于历史的置信度评估，新增 last_rpm_peak 边界字段
- Pool 调度状态不再因 health_score 低或熔断而降级/拦截，前端同步移除相关按钮与文案兜底
- 新增前端 poolTrace 工具（附测试）承接原 HorizontalRequestTimeline 内的候选合并逻辑
 2026-04-20 00:27:48 +08:00
fawney19
1f74e660de feat(transport): 暴露同格式 provider 的细分失败原因并在时间线展示 
- claude_code/kiro/vertex policy 新增 transport_unsupported_reason_with_network 变体，返回具体失败码
- planner candidate_metadata 在 request_pair 写入同格式 provider 的细分 transport 原因
- 前端请求时间线优先展示 transport_diagnostics 的细分原因而非通用 transport_unsupported
 2026-04-19 21:45:57 +08:00
fawney19
c302dfe42d fix(usage): 完善 cache-affinity 时间线的用户名回退与模型空值兜底 
- 当 auth 用户查询失败时回退到历史 username，避免时间线丢失用户信息
- SQL 投影对 usage.model 使用 COALESCE 兜底空值
- IntervalTimelineCard 在刷新间隔为 0 时跳过定时刷新
- Usage 页面关闭时间线卡片的自动轮询
 2026-04-19 16:07:01 +08:00
fawney19
41b51f10a9 perf: 并行化 admin 聚合路由并完善前端缓存预取 
- gateway: usage detail / provider summary / pool overview / users list 改为 tokio join 并行拉取依赖数据
- usage: interval timeline 支持自动刷新并按查询区间动态展示，取消服务端 120 分钟过滤并在 ScatterChart 统一封顶
- frontend: 新增管理端导航预取工具及 SidebarNav/MainLayout 触发，admin 读接口统一走 cachedRequest 的短期缓存
- dashboard: request detail 支持短 TTL 缓存并在 UsageRecordsTable mousedown 时预取
- data: migrate 测试在 wait_for_postgres 失败时清理子进程，避免遗留
 2026-04-19 15:17:25 +08:00
fawney19
2f487fda66 fix(usage): 修复缓存创建 token 展示并在总量中计入缓存组件 
- gateway/admin 用量载荷在 cache_creation_input_tokens 为 0 时回填 ephemeral_5m/1h 合计
- 标准化用量写入时将 cache_creation/cache_read token 计入 total_tokens
- 前端列表与轮询同步新增分类字段，修复缓存 token 列显示
 2026-04-19 02:46:28 +08:00
RWDai
ff4e853fd3 Fix/usage transfer filter (#307) 
* fix(usage): 恢复 usage 列表中的 fallback 路由信号

* fix(admin): 支持 usage 记录展示和筛选 fallback 转移

* fix(usage): 在用户 usage 记录中暴露 fallback 标记

* fix(usage): 共享 usage 页面支持 fallback 筛选

* fix(usage): 对齐 fallback 筛选相关前端类型

* fix(usage): propagate has_fallback through active polling

---------

Co-authored-by: fawney19 <elky0401@gmail.com>
 2026-04-17 13:38:23 +08:00
fawney19
65cd9dc3e5 fix(admin): 修复 usage 观测全表扫描并下推聚合查询 
- 收紧 admin usage/stats 默认时间范围和 active 轮询查询
- 将 summary/records/aggregation/time-series/leaderboard 下推到 SQL 侧
- 统一前端时间参数并补齐 admin usage/stats 回归测试
 2026-04-16 17:46:19 +08:00
fawney19
9a41b2c0dc feat: 候选排序引入 API 格式偏好, 追踪页面展示完整格式转换信息 
- 候选排序优先同 kind (chat/cli) 再同 family, 替代原有固定顺序
- 不再隐藏 format_conversion_disabled 候选, 保留完整追踪链路
- DecisionTrace 新增 provider/endpoint/key 格式转换相关字段
- 前端追踪面板新增 Key 支持端点和转换策略展示
 2026-04-16 13:00:44 +08:00
fawney19
c569081340 fix(usage): streaming 状态在首字节到达前显示为 pending 
新增 resolveDisplayRequestStatus 函数，当记录状态为 streaming 但
first_byte_time_ms 为空时回退显示为 pending，避免误导用户。
 2026-04-15 17:50:45 +08:00
fawney19
593640ac19 feat(gateway): 增强候选路由策略与可观测信息 2026-04-14 11:50:52 +08:00
fawney19
53acfbabf6 refactor(gateway): 重构 ai pipeline 规划链路 2026-04-14 01:27:04 +08:00
fawney19
6aa16ec792 feat(data): 废弃 usage 表 HTTP/结算列，迁移至 settlement_snapshots 与 http_audits 
- 新增迁移 20260413030000：标记 billing_status、finalized_at、request_headers 等列为 DEPRECATED
- 更新 baseline_v2.sql 同步废弃注释，BASELINE_V2_CUTOFF_VERSION 升至 20260413030000
- usage/sql.rs：inline body 阈值归零，强制所有 body 走 blob 存储；upsert 时清空 legacy header/output_price 列
- 查询层优先读 usage_settlement_snapshots 的 billing_status、finalized_at、output_price_per_1m
- runtime.rs：stale usage 处理同步写入 usage_settlement_snapshots；SELECT FOR UPDATE 改为 FOR UPDATE OF usage
- 前端：PerformanceAnalysis 页面重构为实时面板，新增 prometheus 工具函数与 monitoring API
 2026-04-13 14:53:46 +08:00
fawney19
3f057628b7 fix: 修正用量失败状态判断与 Codex 会话头 2026-04-10 21:33:34 +08:00
fawney19
46f1507d44 feat: 提前记录 pending 用量、优化流遥测时序与前端活跃请求发现机制 
- 将 record_pending 调用移至执行开始前（sync/stream 两路），确保请求在执行前即有 pending 记录
- stream_pump 在收到第一个数据块前优先 yield 遥测帧，保证 ttfb 早于 data 帧到达
- stream execution 增加 should_refresh_stream_usage_telemetry，在遥测帧携带新 ttfb/elapsed 时及时更新 record_stream_started
- access_log 对高频轮询路径（usage/active、usage/records 等）降级为 TRACE 日志，减少日志噪音
- 前端新增 reconcileActiveRequestDiscovery 工具函数及 discoverActiveRequests 逻辑，活跃请求发现与全局自动刷新解耦，空闲时降频为 5 秒扫描
- RequestDetailDrawer 调整：进行中请求不再自动开启轮询，由用户手动触发；刷新按钮 title 动态适配状态
 2026-04-10 20:58:01 +08:00
fawney19
d5b8583d6b fix: 修正时间戳精度、TTL 定价匹配逻辑及账单快照展示 
- 将 created_at_unix_ms 从 current_unix_secs 改为 current_unix_ms，修正候选尝试和跳过记录的时间戳精度
- formula_engine: TTL 定价从「<=上限」模糊匹配改为精确匹配，null 值改为回退到基础价格而非透传
- 新增 ttl_pricing_requires_exact_match 和 ttl_pricing_null_value_falls_back_to_base_tier_value 测试用例
- service: 新增 5min/1h cache TTL 的端到端计费验证测试
- RequestDetailDrawer: 优先从 billing_snapshot 读取已解析的价格和费用，正确展示当前 TTL 对应的缓存创建/读取价格，修正输入/输出/缓存费用列的数据来源
 2026-04-10 18:50:59 +08:00
fawney19
010ab127e2 feat: 扩展 cache creation token 细分统计与 effective_input_tokens 计费逻辑 
- 新增 cache_creation_ephemeral_5m/1h_input_tokens 字段，区分不同 TTL 的缓存写入 token
- 引入 effective_input_tokens（扣除 cache read 后的有效输入 token），暴露给 usage 接口
- billing 规则生成器支持 5m/1h ephemeral cache 独立定价与分级计费
- usage_mapper 增加 Claude/Anthropic 格式映射，修复 OpenAI responses 格式字段兼容性
- 迁移逻辑增强：支持 checksum 容错、applied/pending 数量日志、逐步执行信息输出
- executor 抽离 LocalExecutionRequestOutcome 类型，统一 sync/stream 路径返回语义
- provider-transport auth 层新增 complete passthrough headers 构建逻辑
- 前端 usage 类型全面补充 effective_input_tokens、cache_creation_tokens、total_input_context 字段
 2026-04-10 17:44:55 +08:00
fawney19
5014e2f5fd refactor: 抽离 AI pipeline 与调度共享能力逻辑 2026-04-10 01:46:14 +08:00
fawney19
5d96d6673b refactor: 大规模模块拆分与代码精简，新增 ai-pipeline/data-contracts 独立 crate 
- 新增 aether-ai-pipeline 和 aether-data-contracts crate，将 pipeline 逻辑与数据契约从 gateway 中解耦
- 重构 admin handlers：拆分单体模块为 auth/billing/endpoint/features/model/observability/provider/system 等独立子模块
- 合并 chat/cli 重复代码路径：精简 conversion、finalize、planner 中的 sync/chat/cli 分支
- 重构 scheduler/executor/data 层，引入 facade 模式降低模块间耦合
- 移除冗余的 intent 模块，将 plan_fallback/policy/stream_path/sync_path 迁移至 executor
- 前端适配：调整 admin API 调用和 provider 模型测试对话框
 2026-04-07 02:50:19 +08:00
fawney19
763ff03a7b refactor: 拆分 gateway 单体为独立 crate，新增 systemd 部署方案 
将 gateway 内部的 model-fetch、provider-transport、scheduler-core、
usage-runtime、video-tasks-core 模块提取为独立 crate；重构 gateway
内部模块结构（state/router/cache/data/query 等）；移除大量遗留模块
文件；新增 systemd 二进制部署骨架及相关文档；更新前端 usage 相关
API 和组件。
 2026-04-05 20:23:16 +08:00
fawney19
6984984c22 feat(provider): 重构模型测试对话框，加固 Vertex AI 传输层 
模型测试:
- 将消息输入替换为完整 JSON 请求体编辑器，支持格式化和校验
- 新增端点选择面板，测试前可选择目标端点
- 新增调试检查器，可查看每次尝试的请求/响应头和体
- 结果视图改用 HorizontalRequestTimeline 组件展示请求追踪
- endpoint_checker 返回完整调试数据，通过 candidate extra_data 持久化

Vertex AI:
- 改进上下文检测逻辑，不再仅依赖 provider_type，支持从 base_url 推断
- Service Account 密钥现支持自动拉取模型（使用 auth_config 而非 api_key）
- 移除 Gemini Developer API 回退，API Key 仅走 Express 模式
- 端点表单为 Vertex AI 显示格式特定的默认路径模板
- 密钥格式校验仅在 auth_type/api_formats 变更时执行

其他:
- 禁用 ClaudeCode 提供商类型创建入口
- Dialog 组件新增 closeOnBackdrop 属性
 2026-03-19 23:52:17 +08:00
RWDai
a4505b1281 Fix usage replay model remapping 2026-03-18 23:54:19 +08:00
fawney19
684689a82b fix(usage): session touch 独立提交避免行锁阻塞 & 管理员页面顺序加载降低并发压力 
后端: 将 session touch 的 commit 从请求事务中分离，防止管理员 usage
页面的长查询持有 user_sessions 行锁阻塞后续请求。touch_session 改为
返回 bool 以支持按需提交。

前端: 管理员 Usage 页面将并行 API 调用改为顺序加载，优先显示记录表格，
统计面板在后台异步刷新，避免瞬时并发打满后端 worker。loadRecords 支持
传入 dateRange 参数确保时间范围一致性。
 2026-03-18 00:13:28 +08:00
fawney19
6b23c9b3ce fix(frontend): 使用记录表格"命中率"列名改为"缓存命中率" 2026-03-15 18:32:42 +08:00
fawney19
693e37d2df fix(frontend): 统计表格缓存列仅显示缓存读取token，与命中率计算口径一致 
缓存列移除cache_creation_tokens，只保留cache_read_tokens，
避免缓存值大于输入值的反直觉展示。
 2026-03-14 16:39:48 +08:00
fawney19
9c6036a103 fix(frontend): 统计表格token列防止换行，缓存token合并为总值显示 2026-03-14 16:26:07 +08:00
fawney19
751a4d9111 feat(usage): 统计表格新增输入/输出与缓存创建token细分展示 
- 后端接口(admin/user_me/query)新增 output_tokens、cache_creation_tokens、total_input_context 字段返回
- 前端统计表格(模型/提供商/API格式)合并 Tokens 列为"输入/输出"+"缓存读取/创建"两行紧凑布局
- 合并"缓存Token"和"缓存命中率"为单一"命中率"列，减少表格宽度
- 修正 UsageRecordsTable 缩进及模板格式
 2026-03-14 16:11:56 +08:00
fawney19
aafd332198 revert(frontend): 使用记录表格恢复格式与类型为独立列 2026-03-14 15:01:38 +08:00
fawney19
b15ce9977a feat(frontend): 用量页面 UI 优化 - 合并格式/类型列、分析面板可折叠 
- UsageRecordsTable: 合并 API 格式与类型为单列，缩减列宽使表格更紧凑
- MainLayout: 添加 header 级 Teleport 插入点供子页面注入操作按钮
- Usage: 用量分析面板改为可折叠，折叠状态持久化到 localStorage
 2026-03-14 13:28:56 +08:00