i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-14 23:20:19 +08:00
Code Issues Packages Projects Releases Wiki Activity
1,267 Commits 6 Branches 182 Tags
e5bbc797e0d2bdbbe579c973a3d8fc9be7ff119f
Commit Graph
100 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
fawney19 e5bbc797e0 chore(gateway): 调小 Postgres 连接池默认值 
- max_connections 100 → 20
- idle_timeout 60s → 30s
- .env.example 补充连接池相关变量注释
 2026-04-25 09:53:21 +08:00
fawney19 f30b1f3f6b fix(usage): 流式终端 usage 以更完整值为准，Codex CLI 显式选择 response 解析器 
- 新增 StandardizedUsage::signal_score/is_more_complete_than/choose_more_complete，流式合并与终端落库均按信号完整度择优
- OpenAI Chat/CLI 解析器支持仅 usage 的终结 chunk 与 response.completed usage
- Codex provider 注入 provider_stream_event_api_format=openai:cli，解析器选择改由 report_context 显式决定
- usage_mapper 扩展嵌套 response/message/item 兼容 Claude message_start/message_delta 及 Gemini stream chunks
- usage SQL upsert 在终态（completed/failed/cancelled）时按 GREATEST 写入 token/费用镜像列
 2026-04-25 00:57:01 +08:00
fawney19 2c6209277f fix(usage): Claude 流式合并 message_start/delta usage，前端移动端缓存 token 合并展示 
- Claude provider state 在 message_start 记录基础 usage，message_delta 合并 output_tokens
- 前端 UsageRecordsTable 移动端缓存列改为 cache_creation + cache_read 合计展示
 2026-04-24 22:28:04 +08:00
fawney19 5b3593038d fix(usage): OpenAI 缺失 input_tokens 时从 total 回推 
- 同步与流式两条路径均在 input_tokens 为 0 且 total > output 时用 total - output 兜底
- 补充对应单元测试
 2026-04-24 22:08:23 +08:00
fawney19 db1059e73b fix(usage): 修复 Gemini total 重复累加 cache_read 并补充测试 
- write.rs: Gemini usage 提取 total 时不再叠加 cachedContentTokenCount
- 补充 Claude 大 cache_read 场景下 input_tokens 不被扣减的测试
- 补充前端 getEffectiveInputTokens 对 Claude 格式不减 cache_read 的测试
 2026-04-24 21:20:45 +08:00
fawney19 e265475c17 fix(usage): 修正 input_tokens 统计与显示 
- SQL 查询不再用 settlement snapshot 的 billing_input_tokens 覆盖原始 input_tokens
- usage_mapper 针对 OpenAI 格式在 input_tokens 缺失时从 total_tokens - output_tokens 推导
- 前端轮询合并优先采用最新 record 的 input_tokens / effective_input_tokens
 2026-04-24 20:59:12 +08:00
fawney19 657fcd595c refactor(rust): 拆分 usage sql 仓储为模块并外置 SQL 文件 
- 将 usage/sql.rs 拆分为 sql/mod.rs 与 sql/tests.rs
- 将内联 SQL 抽离到 sql/queries/ 目录下的独立 .sql 文件
- 前端用量记录表格移除缓存创建 token 展示，保留 cache read 列
 2026-04-24 20:22:24 +08:00
fawney19 d0d71aa51a fix(gateway): OpenAI 图像 finalize 统一返回 b64_json 并对齐 codex CLI 候选流式上游 
- finalize 移除 response_format=url 的 data URL 分支，统一输出 b64_json
- image planner decision 依据请求体中的 stream 字段决定 upstream_is_stream
- openai chat sync plan 对 codex+openai:cli 候选强制上游流式
- 扩充 conversion registry 与 standard matrix 的全量 surface 对端测试
 2026-04-24 19:01:11 +08:00
fawney19 3cc54deb9c fix(gateway): SSE 流跳过成功探测与 prefetch，统计聚合 SQL 显式 CAST BIGINT 
- stream: event-stream 响应跳过 direct finalize prefetch 与成功失败转移探测，避免消费流首帧
- stream_pump: 仅在已知 content-length 时缓冲非 SSE 响应
- maintenance: usage_billing_facts 聚合列显式 CAST 为 BIGINT，避免类型不匹配
 2026-04-24 18:14:59 +08:00
fawney19 f695238e8a feat(billing): 引入 billing v3 settlement snapshot 及 usage_billing_facts 视图 
- 新增迁移 20260424000000：为 usage_settlement_snapshots 添加 settlement_snapshot、
  billing_dimensions、billing_input/output/cache tokens、billing_total_cost_usd 等列，
  并创建 usage_billing_facts 视图（从 settlement snapshot 覆盖原始 usage token/cost 字段）
- event_enrichment：构建结构化 settlement_snapshot（含 pricing_snapshot、billing_plan_snapshot、
  resolved_dimensions、cost_breakdown 等），写入 request_metadata
- pricing：新增 pricing_source() 方法区分 provider_override / global_default / unpriced
- sql.rs：settlement snapshot 写入新列；用量汇总查询改用 usage_billing_facts 视图
- maintenance/runtime：所有统计查询的 FROM usage 替换为 FROM usage_billing_facts
- admin observability：在 settlement 响应中暴露 settlement_snapshot / billing_dimensions，
  并从 metadata 中剥离对应字段
- request_metadata：允许 settlement_snapshot / billing_dimensions 字段传播
- stream execution：在首个数据帧到达时记录 TTFB，补全流式请求的 streaming 事件
 2026-04-24 17:52:33 +08:00
fawney19 e0c928fbe8 feat(auth): /me 接口返回 has_password 字段，前端 Profile 类型同步调整 2026-04-24 14:52:49 +08:00
fawney19 780f09c1a2 feat(billing): 引入 model_id 精确计费查找路径，传播模型 ID 至用量事件与 report context 
- UsageEventData 新增 model_id / global_model_id 字段，write.rs seed 结构体同步补充
- report_context 新增 model_id / global_model_id / global_model_name，各 payload 构建时从 candidate 传入
- event_enrichment 优先按 model_id 精确查找计费上下文，回退为按名称多轮查找（保留 NoRule 结果降级逻辑）
- BillingReadRepository 新增 find_model_context_by_model_id，memory/sql 分别实现；SQL 查询重构支持按 provider_model_name 和 mappings 匹配并按优先级排序
- pricing.rs 修复：model_tiered_pricing 为空 tiers 时回退到 default_tiered_pricing
- request_metadata 允许字段列表补充 model_id / global_model_id / global_model_name
- admin usage 路由信息输出及脱敏字段列表同步新增三个 model 相关字段
 2026-04-24 14:40:28 +08:00
fawney19 f3c9835759 feat(pool): 引入 pro_first 调度预设、Pool 候选持久化跳过与诊断信息优化 
- 新增 pro_first 调度预设（Pro 优先），更新 plus_first 仅针对 Plus 计划，移除 free_team_first
- Pool 内部候选（pool_key_index 不为空）跳过 DB 持久化（available/skipped/unused 均适用）
- LRU 排序新增 catalog_lru_score 回退：runtime 无记录时使用 last_used_at_unix_secs
- 执行路径 miss 诊断消息细化为中文，按 reason 分类输出可读说明
- build_local_request_candidate_status_record 补充 extra_data 和 created_at_unix_ms 字段
- OpenAI CLI 计划构建流程补充候选评估进度跟踪与 terminal reason 设置
- 前端 PoolSchedulingDialog 增加 pro_first 预设展示，修复 LRU 默认预设检测逻辑
 2026-04-24 13:29:05 +08:00
fawney19 f29649e3a8 feat(stream): 在流式执行中引入 StreamingStandardTerminalObserver 用量采集 
- 在 execute_stream_from_frame_stream 中集成 StreamingStandardTerminalObserver，对流式响应逐行观察并在结束时合并终态摘要
- 新增 observe_stream_usage_bytes / finalize_stream_usage_observer / merge_stream_terminal_summary 辅助函数
- 更新 codex-cli 流式集成测试：补充 response.completed 含完整 usage 字段的 mock 数据，并断言用量写入 usage_repository
 2026-04-24 11:34:41 +08:00
fawney19 5d710d9d10 feat(rust): 支持 image 同步转流式 SSE、free_team_first 调度预设及账户错误自动重试 
- openai:image 同步响应桥接为流式 SSE（image_generation.completed / image_edit.completed 事件）
- image 请求解析与前置校验移除模型白名单，支持任意自定义模型名
- 调度器新增 free_team_first 预设（mode: both / free_only / team_only）
- pool config 解析重构：新增 POOL_ALLOWED_SCHEDULING_PRESETS 白名单，规范化 mode 字段
- 错误分类器新增账户/账单错误模式集，升级为 RetryUpstreamFailure 而非 StopSemanticClientError
- 修复 stream execution 中上游 headers 与输出 headers 混用导致 content-type 判断错误的问题
- codex image 工具始终写入 action 字段（generate/edit），仅 generate 操作填充默认 size/quality
- 前端：pool 节点组只展示实际执行过的候选节点，全部 skipped 时折叠为最后一个节点
- Redis 测试就绪检测从 TCP 连接改为 PING/PONG 协议验证
 2026-04-24 10:07:24 +08:00
fawney19 5148370253 fix(usage): 修复含失败信号的 pending 请求被误判为活跃的问题 
- pending/streaming 状态含 status_code >= 400 或 error_message 时视为 failed
- 候选状态派生改为 failed 优先于 stale pending/streaming
- 活跃请求轮询时保留失败信号字段的更新
- 图片流支持 partial_image 事件转发及从 response.completed 读取最终图片
 2026-04-24 03:07:11 +08:00
fawney19 581bc03d4e feat(ai-pipeline): 支持 reasoning signature 及媒体内容块的跨格式流式转换 
- 在 CanonicalStreamEvent 中新增 ReasoningSignature 和 ContentPart 变体，CanonicalContentPart 枚举覆盖图片/文件/音频
- Gemini 流解析器提取 thoughtSignature，并对 inlineData/fileData 等非文本 part 生成 ContentPart 事件
- Claude 流聚合支持 thinking_delta / signature_delta，输出 thinking block 携带 signature 字段
- Gemini 同步响应聚合重写，支持媒体 part 和 reasoning signature 的完整还原
- 跨格式矩阵（gemini↔claude↔openai）补全图片块双向转换及 reasoning signature 传递
- 请求转换层（to/from openai_chat）补全 Claude/Gemini 的 thinking、图片、工具调用字段映射
- 新增/扩展测试：inline image 双向重写、thinking signature 聚合、跨格式 sync product 媒体字段
 2026-04-24 02:18:34 +08:00
fawney19 bb312ff0cf chore(tsconfig): 移除冗余的 baseUrl 配置 2026-04-23 22:05:02 +08:00
fawney19 342d4a268c feat(stream-bridge): 支持上游 sync 响应转 SSE 流式输出，记录 client/upstream 流模式差异 
- 新增 sync_to_stream 桥接模块，将非 SSE 上游响应转换为 SSE 格式回传给流式客户端
- stream_pump 检测非 SSE 响应头后缓冲整包并通过桥接逻辑重写为 SSE 帧
- proxy handler 同步支持 sync→stream 聚合与转换（覆盖 openai/claude/gemini 四种格式）
- sync_products 补全 openai:cli 的完整流式事件聚合（text delta、reasoning、tool call 等）
- usage runtime 写入 client_requested_stream / upstream_is_stream 到 request_metadata
- SQL 查询层将两个布尔字段从 request_metadata jsonb 中提取并回传给前端
- 前端 status.ts 新增 resolveUsageStreamLabelSegments，优先读取 client_requested_stream
- RequestDetailDrawer 在流式转换场景下显示"客户端→上游"两段 Badge
 2026-04-23 21:53:50 +08:00
fawney19 40282c3447 chore(migrations): 合并 ephemeral cache 迁移到 20260423000000，移除冗余迁移文件并同步 baseline cutoff 2026-04-23 14:53:54 +08:00
fawney19andEntropy.Xu fa328e18a1 feat: provider api_formats 可空继承、OpenAI 图片 edit/variation 与用量配额多项补强 
- 鉴权: provider_api_keys.api_formats 改为可空，OAuth 托管 key 自动继承 provider endpoints 激活格式，相关 handler/测试同步更新
- 图片 planner: OpenAI 图片路由新增 edit/variation 操作并完善参数校验、响应合并与流式处理
- 用量: user me usage 返回区分 client_requested_stream/upstream_is_stream，前端 usage 列表筛选与展示增强
- 统计: stats_daily_model 新增 cache_creation_ephemeral_5m/1h tokens 字段与回填链路
- 配额/observability: quota repository 新增内存与 SQL 扩展，admin observability usage 字段扩充
- 其它: OAuth 导入/轮询收敛、provider 汇总与 pool admin 读写链路小修、新增 system_config 缓存与 provider template handler

Closes #318

Co-authored-by: Entropy.Xu <53283266+Entropy-Xu@users.noreply.github.com>
 2026-04-23 14:42:51 +08:00
fawney19 4374f53315 fix(adaptive): 修复 429 计数归零写入及 reset 语义 
- sql.rs: UPDATE 时对 concurrent_429_count / rpm_429_count 加 COALESCE(, 0)，避免 None 覆写为 NULL
- effects.rs: rpm_429_count 始终写入 Some(projection.rpm_429_count)，不再过滤零值；新增 unknown-429 场景下零值持久化的单元测试
- adaptive.rs: reset 接口将两个计数字段置为 Some(0) 而非 None，与数据库默认语义对齐；同步修正集成测试断言
- docker-compose.build.yml: 补充 AETHER_GATEWAY_AUTO_PREPARE_DATABASE 默认开启
- README.md: 同步说明 build compose 也已默认开启自动迁移
 2026-04-22 22:16:51 +08:00
fawney19 c8d7dbd8d6 refactor(gateway): 将 CF 头剥离中间件下移至各 router 构建函数并重构为前缀匹配 2026-04-22 21:10:16 +08:00
fawney19 cf6228f525 feat(stats,rules): api_key 用量统计（total_tokens 字段 + 回填）与 body rules 新增 append/insert/regex_replace/name_style 操作 
- 新增迁移 20260422120000_add_api_key_usage_stats.sql，为 api_keys 表添加 total_tokens 列
- 新增回填 20260422120000_backfill_api_key_usage_stats.sql，按历史 usage 重建 api_key 维度汇总
- 在 UsageWriteRepository trait 中添加 rebuild_api_key_usage_stats，补齐 SQL/内存实现及上层调用链
- 内存实现中新增 apply_usage_stats_delta，支持增量更新 api_key 统计快照
- dev.sh：改进临时日志目录管理，并在网关异常退出时输出错误提示
- frontend EndpointFormDialog：将 append 操作从 insert 分支拆分，提供独立 path/value 输入 UI
- rules.rs：扩展 body rules 支持，新增 append/insert/regex_replace/name_style 操作及 WildcardSlice 路径段
 2026-04-22 20:16:57 +08:00
fawney19 62153d7d36 feat(gateway): 新增 --auto-prepare-database 启动选项并在 docker-compose 默认开启 
- aether-gateway 启动时可自动执行挂起的 migration 与 backfill
- docker-compose.yml 默认开启 AETHER_GATEWAY_AUTO_PREPARE_DATABASE
- 同步更新 .env.example、README 与 deploy.sh 的部署说明
 2026-04-22 18:20:24 +08:00
fawney19 a5e6bd3b62 feat(stats): 新增聚合读路径与回填机制并重构 dashboard/usage 读取链路 
- 新增 stats_user_summary 及 user_daily_provider/api_format/cost_savings 等聚合表
- 扩展 stats_daily/hourly 有效 token 与响应时间等字段，maintenance runtime 同步写入
- 新增 backfill 模块与 --apply-backfills 命令补齐历史聚合数据
- 重写 dashboard_filters、usage_heatmap、user_rollups 查询改走聚合表
- 同步更新 baseline_v2.sql 与 migration 集，README/dev.sh 补充回填用法
 2026-04-22 17:29:39 +08:00
fawney19 063ef02306 fix(oauth): 系统导入时清理失效标记并强制刷新 refresh_token，前端徽章优先使用 account_id 
- 后端 admin 系统导入 OAuth 凭据时重置 expires_at 与失效标记，并在存在 refresh_token 时触发一次本地刷新
- 前端 OAuth 徽章改为优先展示 account_id，采用去前缀后 5 字符的紧凑格式
 2026-04-21 18:06:39 +08:00
fawney19 25a2b417be refactor: 优化调度候选排序与用量写入链路并改进 Fernet 缓存与前端批量列表 2026-04-21 16:19:07 +08:00
fawney19 c5c56ff92f feat(oauth): 允许替换已失效的活跃 OAuth 账号并同步 status_snapshot 
- 活跃但 token 已过期或刷新失败的重复账号视为可替换
- 清除失效标记、刷新配额时同步更新 status_snapshot.oauth
- oauth_invalid 清除接口同时识别 invalid_at 与 invalid_reason 两种标记
- 批量导入任务状态区分 created_count / replaced_count，前端据此展示新增/替换统计
- 补充重复替换场景的集成测试，用量测试等待超时从 10s 提升到 30s 以适应并行压力
 2026-04-20 22:59:02 +08:00
fawney19 226a6e58d5 refactor(gateway): 重构格式转换候选资格检查并优化测试基础设施 
- 将 format_conversion_disabled 的过滤提前到候选遴选阶段，替代原来的 skip_reason 标记机制
- 为测试添加 execution_runtime_sync_override 直接注入支持，避免启动额外 HTTP 服务器
- 将 submit_terminal_event 改为 async record_terminal_event 确保失败用量事件可靠入库
- 新增 test_support 模块封装可重试的 loopback 端口绑定逻辑
- 前端：poolTrace 将 skipped 从隐藏状态移除，新增 buildPoolParticipatedCandidates 统一新旧链路逻辑，并将 skipped 状态色改为 foreground
 2026-04-20 16:59:18 +08:00
fawney19 87afe4898e fix(frontend): 为配额自动刷新加入 5 分钟冷却并优化 OAuth org 徽章显示 
- 新增 quotaAutoRefreshCooldown 工具，按 provider 维度限制后台自动刷新频率，手动触发（刷新 token、变更 key）通过 ignoreCooldown 绕过
- OAuth org 徽章去除 org- 前缀后再缩略，避免 org:org-xx 的重复前缀，并缩小字号高度以适配紧凑布局
 2026-04-20 15:56:59 +08:00
fawney19 d100c934c0 fix(frontend): 优化 OAuth 身份徽章优先级并避免 Kiro 订阅标签重复 
- getOAuthOrgBadge 优先展示 organization id, 其次回落到 account_id 或 account_user_id, 不再使用 account_name 作为徽章文案
- Kiro provider 的订阅标签仅在与 OAuth plan 标签不一致时显示, 避免重复徽章
- 补充 getOAuthOrgBadge 的单元测试覆盖组织优先与回落场景
 2026-04-20 15:00:17 +08:00
fawney19 ffe5d16094 fix(oauth): 兼容 Kiro device token 的 snake_case 字段并保留 error 响应体 
- device poll 同时接受 accessToken/access_token、refreshToken/refresh_token、expiresIn/expires_in
- post_kiro_device_oidc_json 在解析失败响应时保留完整 JSON 并附加 _error 标记, 避免丢失 authorization_pending 等详细信息
- 补充 authorization_pending 时 device session 保持 pending 状态的测试
 2026-04-20 15:00:02 +08:00
fawney19 9b48a008dc fix(frontend): 合并 OAuth 状态展示并移除 Codex 积分信息 
- providerKeyStatus: 合并 snapshot 与 legacy OAuth 状态，按严重程度取优并补全失效原因
- ProviderDetailDrawer: 移除 Codex 积分摘要与相关字段显示
 2026-04-20 14:27:48 +08:00
fawney19 13bf222b8d refactor(oauth): 抽出 Kiro 刷新逻辑为共享模块并在 device-poll 复用 
- 将 batch/kiro_import 中的 Kiro refresh/IDC helpers 抽到 dispatch/kiro.rs 共享
- device-poll 新增 IDC refresh 复核、JWT 缺失时通过 usage 接口回填 email、代理节点写入 key.proxy
- 补充对应集成测试覆盖 refresh 复核与 email 回填路径
 2026-04-20 01:06:51 +08:00
fawney19 c2b7b6c231 refactor(proxy-nodes): 移除节点列表的 rollout 升级标签展示 2026-04-20 00:31:30 +08:00
fawney19 c1b9d94c84 feat(adaptive): 完善自适应 RPM 学习并将 Pool 调度状态与健康分解耦 
- orchestration 新增 AdaptiveSuccess 效果，在成功回报路径上根据利用率窗口扩张 learned_rpm_limit
- 429 路径改用 429_observation/adjustment 记录以及基于历史的置信度评估，新增 last_rpm_peak 边界字段
- Pool 调度状态不再因 health_score 低或熔断而降级/拦截，前端同步移除相关按钮与文案兜底
- 新增前端 poolTrace 工具（附测试）承接原 HorizontalRequestTimeline 内的候选合并逻辑
 2026-04-20 00:27:48 +08:00
fawney19 1f74e660de feat(transport): 暴露同格式 provider 的细分失败原因并在时间线展示 
- claude_code/kiro/vertex policy 新增 transport_unsupported_reason_with_network 变体，返回具体失败码
- planner candidate_metadata 在 request_pair 写入同格式 provider 的细分 transport 原因
- 前端请求时间线优先展示 transport_diagnostics 的细分原因而非通用 transport_unsupported
 2026-04-19 21:45:57 +08:00
fawney19 77aac74590 feat(oauth): 完善账号异常识别并在调度/展示层拦截失效 OAuth 密钥 
- 新增 aether-admin provider status 模块，统一解析账号状态（禁用/工作区停用等）
- 调度器 runtime 增加 oauth_invalid 判定，跳过刷新失败或已撤销的 OAuth 密钥（REQUEST_FAILED 保留可选）
- gateway state 在 local oauth 刷新返回 4xx 时持久化失败原因并同步状态快照
- admin pool 列表/详情回填 account 状态与 scheduling 阻塞原因（account_blocked）
- 共享 catalog 的 status_snapshot payload 附加 account 字段
 2026-04-19 20:50:31 +08:00
fawney19 d719a1329c fix(usage): cache-affinity 间隔查询将 interval_minutes 强制转为 DOUBLE PRECISION 2026-04-19 16:32:29 +08:00
fawney19 c302dfe42d fix(usage): 完善 cache-affinity 时间线的用户名回退与模型空值兜底 
- 当 auth 用户查询失败时回退到历史 username，避免时间线丢失用户信息
- SQL 投影对 usage.model 使用 COALESCE 兜底空值
- IntervalTimelineCard 在刷新间隔为 0 时跳过定时刷新
- Usage 页面关闭时间线卡片的自动轮询
 2026-04-19 16:07:01 +08:00
fawney19 41b51f10a9 perf: 并行化 admin 聚合路由并完善前端缓存预取 
- gateway: usage detail / provider summary / pool overview / users list 改为 tokio join 并行拉取依赖数据
- usage: interval timeline 支持自动刷新并按查询区间动态展示，取消服务端 120 分钟过滤并在 ScatterChart 统一封顶
- frontend: 新增管理端导航预取工具及 SidebarNav/MainLayout 触发，admin 读接口统一走 cachedRequest 的短期缓存
- dashboard: request detail 支持短 TTL 缓存并在 UsageRecordsTable mousedown 时预取
- data: migrate 测试在 wait_for_postgres 失败时清理子进程，避免遗留
 2026-04-19 15:17:25 +08:00
fawney19 97cd877ce5 style(proxy-nodes): 统一缩进并移除未使用的 confirmWarning 引用 2026-04-19 13:46:21 +08:00
fawney19 7007d7a556 refactor(proxy-nodes): 简化批量升级为直接写入 upgrade_to 目标 
- 后端移除分波 rollout/探测逻辑，改为一次性给所有合格 tunnel 节点写入升级目标，并自动取消活动中的 rollout
- 前端移除 rollout 进度、阶段筛选、重试/跳过/冲突清理等相关 UI 和交互
- 同步更新批量升级接口类型与测试用例
 2026-04-19 13:38:59 +08:00
fawney19 e6fd95453d test(proxy-nodes): 将离线隧道用例的连通性探测指向 Cloudflare 以避免环境抖动 2026-04-19 04:03:37 +08:00
fawney19 0329b7b784 feat(usage): 在 CanonicalUsage 中追加缓存 token 字段并在标准化流程透传 
- 扩展 CanonicalUsage 支持 cache_creation/cache_read 及 5m/1h 明细
- OpenAI/Claude/Gemini 解析器提取缓存 token 并计入 total
- usage_mapper 补齐 Claude 缓存字段映射
- 新增 gateway pricing 集成测试覆盖三家同步/流式缓存计费
 2026-04-19 03:55:55 +08:00
fawney19 2f487fda66 fix(usage): 修复缓存创建 token 展示并在总量中计入缓存组件 
- gateway/admin 用量载荷在 cache_creation_input_tokens 为 0 时回填 ephemeral_5m/1h 合计
- 标准化用量写入时将 cache_creation/cache_read token 计入 total_tokens
- 前端列表与轮询同步新增分类字段，修复缓存 token 列显示
 2026-04-19 02:46:28 +08:00
fawney19 e82c9c5104 fix(usage): 容错缺列投影以支持旧版和部分升级场景 
map_usage_row 中对 http_audit/routing/settlement 等新增投影列改用
row_try_get_optional，将 ColumnNotFound 视同 NULL，避免仅选取核心字段
的读取路径在列缺失时整行失败。同时补充 UPSERT 和 LIST 前缀的占位列
断言。
 2026-04-19 01:48:16 +08:00
fawney19 ab54881eb0 ci: 固定 macOS runner 版本并确保 Rust target 安装 2026-04-19 01:21:21 +08:00
fawney19 f8545c5141 chore: bump aether-proxy version to 0.3.2 2026-04-19 01:04:55 +08:00
fawney19 f2a3836877 Improve tunnel proxy diagnostics and request body spooling 2026-04-18 21:13:37 +08:00
fawney19 3363592751 Refactor usage body capture and stream terminal reporting 2026-04-18 17:48:21 +08:00
fawney19 569242d72f refactor gateway orchestration and failover effects 2026-04-18 11:35:11 +08:00
fawney19 3321bb3ccc Implement independent provider pool scheduling runtime 2026-04-17 23:05:49 +08:00
fawney19 0ce61bc91c fix(gateway): align provider restrictions with provider catalog 2026-04-17 18:59:13 +08:00
fawney19 cb647d95f9 Hide format_conversion_disabled skips when exact-format candidate shares the same key 
Also switch failover test to surface an auth failure instead of a 502 upstream error.
 2026-04-17 18:24:36 +08:00
fawney19 7eae1f90f6 Unify quota snapshots and oauth refresh handling 2026-04-17 18:22:41 +08:00
fawney19 654a41c3b0 Revert "fix(admin): force manual oauth refresh to bypass local cache" 
This reverts commit 85a630cfa9.
 2026-04-17 13:36:51 +08:00
fawney19 85a630cfa9 fix(admin): force manual oauth refresh to bypass local cache 2026-04-17 13:23:51 +08:00
fawney19 54d77598ae ci(rust): 将环境变量提升至全局，各 job 添加 toolchain 显示步骤 2026-04-17 01:58:12 +08:00
fawney19 0bcfc7d352 fix(ci): 将 rustfmt/clippy 组件安装改为独立 rustup 步骤 2026-04-17 01:53:59 +08:00
fawney19 faaaec28e1 fix(clippy): 修复冗余 into_iter、sort_by 及 match 嵌套 if 等 lint 警告 2026-04-17 01:43:45 +08:00
fawney19 dde02e6111 fix(ci): 恢复 rust-toolchain@stable，版本由 rust-toolchain.toml 控制 2026-04-17 01:17:29 +08:00
fawney19 aadc6b665c chore: 锁定 Rust 版本为 1.95.0，统一本地与 CI 环境 2026-04-17 01:15:16 +08:00
fawney19 6730e821b2 fix(clippy): 修复 collapsible_match 和 unnecessary_sort_by 警告 2026-04-17 01:12:43 +08:00
fawney19 05ab09c469 fix(data): 修复 global_models 插入时缺少 usage_count 字段导致的列数不匹配问题 2026-04-17 01:09:14 +08:00
fawney19 1e0bc61526 feat(gateway/data): 新增 usage 关键词搜索、缓存命中摘要、结算成本摘要及 dashboard 聚合查询能力 
- 新增 UsageAuditKeywordSearchQuery，支持多关键词、用户名、API Key 交叉过滤
- 新增 UsageCacheHitSummaryQuery/StoredUsageCacheHitSummary，统计请求缓存命中率
- 新增 UsageSettledCostSummaryQuery/StoredUsageSettledCostSummary，汇总结算成本
- 新增 UsageDashboardSummaryQuery、UsageBreakdownSummaryQuery 等 dashboard 聚合类型
- SQL 层实现对应查询方法，含 list_by_ids、list_usage_audits_by_keyword_search、count_usage_audits_by_keyword_search
- 将上述能力通过 GatewayDataState / AdminAppState 暴露给 handler 层
- user_me_usage 及 dashboard_filters 切换为新查询接口，移除旧的内存过滤逻辑
- 同步更新 memory 层及测试
 2026-04-17 01:00:38 +08:00
fawney19 d312c397e1 chore: bump aether-proxy version to 0.3.1 2026-04-16 20:34:02 +08:00
fawney19 0dce667019 feat(tunnel/usage): proxy writer 双优先级队列、hub 连接压力感知选择、usage 请求记录级别控制及 trace 页面 proxy timing 增强 2026-04-16 20:14:50 +08:00
fawney19 65cd9dc3e5 fix(admin): 修复 usage 观测全表扫描并下推聚合查询 
- 收紧 admin usage/stats 默认时间范围和 active 轮询查询
- 将 summary/records/aggregation/time-series/leaderboard 下推到 SQL 侧
- 统一前端时间参数并补齐 admin usage/stats 回归测试
 2026-04-16 17:46:19 +08:00
fawney19 9a41b2c0dc feat: 候选排序引入 API 格式偏好, 追踪页面展示完整格式转换信息 
- 候选排序优先同 kind (chat/cli) 再同 family, 替代原有固定顺序
- 不再隐藏 format_conversion_disabled 候选, 保留完整追踪链路
- DecisionTrace 新增 provider/endpoint/key 格式转换相关字段
- 前端追踪面板新增 Key 支持端点和转换策略展示
 2026-04-16 13:00:44 +08:00
fawney19 d805a28c9a feat: 请求候选追踪添加 proxy 元数据, 修复 usage 状态回退, 优化前端轮询 
- 在各 planner decision payload 中注入 proxy trace 信息 (node_id, node_name, url, source)
- request_candidate 报告上下文支持 proxy 字段, extra_data 合并逻辑改为 merge 而非覆盖
- SQL/内存仓库防止 usage status 从 streaming 回退到 pending
- 前端移除活跃请求完成时的全表刷新, active discovery 尊重 globalAutoRefresh 开关
 2026-04-16 11:57:42 +08:00
fawney19 ffe34120c1 tune(tunnel): 放宽 ping 间隔和超时参数, 增大出站队列容量 
- gateway ping 间隔 500ms -> 15s, 出站队列 128 -> 512
- proxy ping 间隔 1s -> 10s, 连接超时 1.5s -> 3s, stale 超时 5s -> 30s
 2026-04-16 11:05:44 +08:00
fawney19 47a11ee0b5 feat(tunnel): 添加流帧分发超时机制和结构化请求日志 
- dispatcher: 为 stream handler 的帧接收添加超时保护, 防止单个
  handler 阻塞 WebSocket 读循环; 超时后发送 StreamError 并清理流
- stream_handler: 在所有请求完成和错误路径添加结构化日志, 记录
  method/host/path/status/duration 等关键信息
- 将常规隧道连接/断开日志从 info 降级为 debug, 减少日志噪音
 2026-04-16 10:32:05 +08:00
fawney19 28a489acbe fix(tunnel): writer 退出时立即标记连接关闭, 防止后续请求堵塞 
- ws_tx.send 添加 15s 超时, 防止 TCP 背压导致 writer 无限阻塞
- writer 退出时立即 request_close(), 不等 reader 结束即从路由表摘除连接
- ws_tx.close 添加 5s 超时, 防止 close 握手阻塞
 2026-04-16 02:29:36 +08:00
fawney19 7597caa3a5 修改日志格式 2026-04-16 02:13:27 +08:00
fawney19 586d2cc42b fix(tunnel): 为 hub reader body 推送添加超时, 防止流间 head-of-line blocking 
push_body_chunk 原先使用无超时的 channel send, 当消费端慢时会阻塞
整条 proxy 连接的 reader, 导致同连接上其他 stream 的帧无法路由。
添加 5 秒超时后, 单个 stream 的背压不再影响其他 stream。
 2026-04-16 02:11:32 +08:00
fawney19 1fd1f8216d fix(gateway): 补充 example 中缺失的 idle_timeout 字段 2026-04-16 01:14:49 +08:00
fawney19 0c3f730852 fix(testkit): 补充 TunnelConnConfig 缺失的 idle_timeout 字段 2026-04-16 01:09:53 +08:00
fawney19 b678132176 fix(tunnel): 默认禁用 proxy idle timeout (设为 0) 
保留 idle timeout 机制但默认不启用，避免误断连。
 2026-04-16 00:56:24 +08:00
fawney19 e4be1d6b56 Revert "refactor(tunnel): 移除 proxy 连接 idle timeout 机制" 
This reverts commit b004551fe5.
 2026-04-16 00:53:40 +08:00
fawney19 5f0fba1807 diag(tunnel): writer/reader 帧计数诊断日志 
- writer task 记录发送帧数、Binary 帧大小、send 失败原因
- reader 记录接收帧总数，disconnect 时输出
- 用于定位 gateway→proxy 数据流是否正常
 2026-04-16 00:31:10 +08:00
fawney19 205f78b39c style: cargo fmt 2026-04-15 23:54:14 +08:00
fawney19 5aa8883865 fix(tunnel): gateway 回复 WebSocket Pong 防止 proxy stale 断连 
gateway reader 之前用 `_ => {}` 忽略了 proxy 发来的 WebSocket Ping，
导致 proxy 的 stale_timeout (5s) 持续触发断连重连循环，
所有隧道请求都因等待 response headers 超时而失败。

同时补充 hub 诊断日志和连续请求集成测试。
 2026-04-15 23:45:22 +08:00
fawney19 1e2c3fc4fc fix(tunnel): 移除 testkit 和 example 中残留的 idle_timeout 引用 2026-04-15 22:18:41 +08:00
fawney19 b004551fe5 refactor(tunnel): 移除 proxy 连接 idle timeout 机制 
idle timeout 在实际使用中容易误断活跃连接，移除该逻辑并简化 reader 循环。
 2026-04-15 22:10:30 +08:00
fawney19 704858390d feat(gateway): 流式执行支持 local tunnel 传输并改进 SSE 错误通知 
- 流式执行优先尝试 local tunnel 路径，不可用时降级到直连
- stream_pump 适配 Reqwest 和 LocalTunnel 双响应类型
- SSE passthrough 流中断时向下游发送 aether.error 终端事件
- 提取 frame 编码辅助函数消除重复代码
- 新增本地隧道流式场景的集成测试
 2026-04-15 21:10:16 +08:00
fawney19 c569081340 fix(usage): streaming 状态在首字节到达前显示为 pending 
新增 resolveDisplayRequestStatus 函数，当记录状态为 streaming 但
first_byte_time_ms 为空时回退显示为 pending，避免误导用户。
 2026-04-15 17:50:45 +08:00
fawney19 77d413d777 tune(tunnel): 调整 tunnel 超时与连接池参数，增加冗余连接下限 
- Gateway: 增大 idle timeout 至 2s、ping interval 至 500ms
- Proxy: 统一 reconnect/ping/stale 超时为常量，降低 reconnect_max 至 250ms
- 自动连接池引入 redundant floor(2)，保证低负载时也有冗余连接
 2026-04-15 16:27:42 +08:00
fawney19 43e7ad112f perf(usage): user-me usage 查询避免全量加载，默认限制 7 天范围 
- UsageAuditListQuery 新增 limit 字段，支持在 SQL 层 LIMIT
- user-me usage 端点无时间范围时默认查最近 7 天
- active usage 端点无 ids 过滤时限制查最近 1 小时
- InMemory 实现同步支持 limit truncate
 2026-04-15 16:25:57 +08:00
fawney19 fbb8249c0d fix(gateway): 改进流式传输稳定性 
- stream_pump 读取错误时记录完整错误链并输出 warn 日志
- hub body 转发从 try_send 改为 async send，支持背压避免丢帧
- tunnel_stale_timeout 默认值从 900ms 提升到 10s，减少误判过期
 2026-04-15 14:26:57 +08:00
fawney19 707d9ac274 perf(gateway): 流式处理代码层性能优化 
- 将 spawn 内 buffered_body 从 Vec<u8> 改为 VecDeque<u8>, drain 前端从 O(n) 变 O(1)
- 消除 prefetched body/chunks 的不必要 clone, 改为直接 move
- Pending/Streaming 非终态候选状态写入改为 tokio::spawn fire-and-forget
- 连接池默认 max_connections 从 30 提升到 50
 2026-04-15 11:55:45 +08:00
fawney19 026a77306c fix(schema): 移除 api_keys.concurrent_limit 的默认值 5 
之前 DEFAULT 5 导致所有新建 API Key 自动带上并发限制,
改为 NULL (不限制) 以匹配预期行为。
 2026-04-15 10:43:38 +08:00
fawney19 4087e096f2 fix(usage): 为 InMemory 仓库补充 status 过滤逻辑 2026-04-15 09:53:52 +08:00
fawney19 8827c46c33 perf(usage): 将 status 过滤下推到 SQL 查询层 
为 UsageAuditListQuery 新增 statuses 字段，支持在数据库端按状态
筛选用量记录。admin usage summary 路由不再全量拉取后内存过滤，
改为直接查询 pending/streaming 状态的记录。
 2026-04-15 09:30:42 +08:00
fawney19 adde9ff237 chore(proxy): bump version to 0.3.0 2026-04-15 08:46:19 +08:00
fawney19 cfb4f4582b perf(gateway): 限制流式响应体缓冲区大小为 256KB 
流式转发过程中 provider 和 client 的 body buffer 可能无限增长,
对长响应造成内存压力。添加 256KB 上限, 超出时截断早期数据,
并在上报日志中跳过已截断的 body 以避免输出不完整内容。
 2026-04-15 08:46:19 +08:00
fawney19 67a2ca6e31 perf(gateway): 为 dashboard 接口添加短时响应缓存 
新增 DashboardResponseCache，对 stats/daily_stats/provider_status
三个接口按用户维度缓存 15-30 秒，减少重复数据库查询。
 2026-04-15 03:03:20 +08:00
fawney19 98ad1172b0 perf(usage): heatmap 改为数据库端按天聚合查询 
将 admin 和 user heatmap 从逐条加载 usage audit 记录后在应用层聚合,
改为通过 SQL GROUP BY DATE 在数据库端直接按天汇总, 大幅减少数据传输量。

新增 UsageDailyHeatmapQuery / StoredUsageDailySummary 类型,
在 trait、SQL、内存实现中均补齐 summarize_usage_daily_heatmap 方法。

同时优化 docker-compose: postgres 增加空闲事务超时与 keepalive 参数,
gateway 增加健康检查配置。
 2026-04-15 02:11:32 +08:00
fawney19 05fbbac493 feat(proxy): 支持配置 private 目标地址放行 2026-04-15 00:31:36 +08:00