i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 01:10:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
1,546 Commits 5 Branches 174 Tags
bb229785748f5edfaece5ed6f424eb97880d0eef
Commit Graph

41 Commits

Author SHA1 Message Date
Entropy.Xu
bb22978574 Merge remote-tracking branch 'upstream/aether-rust-pioneer' into fix-management-token-oauth-jsonb 
# Conflicts:
#	crates/aether-data/src/lifecycle/bootstrap/postgres.rs
#	crates/aether-data/src/lifecycle/migrate/tests.rs
 2026-05-10 18:36:53 +08:00
fawney19
d246f6b42c fix: align user group access controls 2026-05-10 17:28:23 +08:00
Entropy.Xu
59d16ebb4b Merge remote-tracking branch 'upstream/aether-rust-pioneer' into fix-management-token-oauth-jsonb 
# Conflicts:
#	crates/aether-data/src/lifecycle/bootstrap/postgres.rs
#	crates/aether-data/src/lifecycle/migrate/tests.rs
 2026-05-10 16:21:09 +08:00
Entropy.Xu
948a173f39 fix: avoid management token migration version collision 2026-05-10 16:16:11 +08:00
Entropy.Xu
545299fc62 fix: align management token oauth permissions and jsonb schema 2026-05-10 01:47:48 +08:00
Entropy.Xu
121bdbd614 fix(data): avoid duplicate user group migration version 2026-05-09 22:26:31 +08:00
Entropy.Xu
a68c690874 Merge remote-tracking branch 'upstream/aether-rust-pioneer' into codex/user-groups-default-permissions 2026-05-09 22:04:09 +08:00
Entropy.Xu
3a814f3d1f feat: add user groups and inherited access policies 2026-05-09 21:47:33 +08:00
fawney19
209322b499 feat(gateway): unify background task runtime and storage 2026-05-09 21:19:29 +08:00
fawney19
a703acd1fe feat(proxy): record tunnel stability metrics 2026-05-08 22:03:17 +08:00
fawney19
fa22384f24 Merge remote-tracking branch 'origin/pr/399' into aether-rust-pioneer 
# Conflicts:
#	crates/aether-data/src/lifecycle/bootstrap/postgres.rs
#	crates/aether-data/src/lifecycle/migrate/tests.rs
 2026-05-08 02:52:13 +08:00
Entropy.Xu
cc5cb3475e feat: add management token permissions 2026-05-07 23:48:29 +08:00
Entropy.Xu
dd8c2ebec6 fix(admin): repair system maintenance controls 
Implement server-side searchable user filtering for usage records, including backend search parameters and a shared frontend selector with loading, empty, and pinned-selected states.

Fix announcement deletion by cascading announcement read rows through a Postgres migration and defensive repository cleanup across supported backends.

Wire admin system purge and cleanup endpoints to real data deletion/maintenance flows, improve DataManagement messages, rebuild stats after stats purge, and add runtime OAuth token refresh maintenance when enabled.

Verified with rust-ci equivalent checks: cargo fmt, split clippy, split cargo tests, SQLite/Postgres/MySQL smoke tests, plus frontend npm ci, build, pages build, type-check, and targeted usage selector tests.
 2026-05-07 21:26:40 +08:00
fawney19
fd44906bb7 fix provider pool quota status handling 2026-05-07 11:28:44 +08:00
fawney19
68216bf868 Clean up transport fingerprint configuration 
Remove legacy tls_profile handling, keep header fingerprint under transport profiles, and drop the duplicate auth_modules migration.
 2026-05-06 13:54:33 +08:00
Entropy.Xu
4baee436ba feat(image): 接入 ChatGPT Web 生图反代 2026-05-06 11:52:33 +08:00
fawney19
6219491389 chore: squash inactive mysql sqlite migrations 2026-05-06 03:09:53 +08:00
fawney19
be580c35bb chore: resolve pr 377 checks 2026-05-06 02:22:32 +08:00
fawney19
8043cca126 fix: align postgres core export schema 2026-05-06 00:20:06 +08:00
fawney19
fce7e959e5 Add multi-database data layer 
Introduce aether-data-schema and driver-specific schema generation for Postgres, MySQL, and SQLite.

Split data backends, lifecycle, repositories, and gateway runtime integration across database drivers.

Verified with cargo fmt --all --check, cargo clippy --workspace --all-targets -- -D warnings, and cargo test --workspace.
 2026-05-05 18:27:36 +08:00
mayrain
6b6d32b4a3 feat(usage): 新增输出速度统计与请求详情性能分析 
- 把 upstream_is_stream 物化到 usage 与 billing facts，避免 Provider 聚合回连 public.usage
- 统一前端标准/流式 TPS 计算与显示，流式按首字后生成耗时计算
- 新增请求详情抽屉展示单请求输出速度与 Provider 聚合 TPS
 2026-05-05 17:34:12 +08:00
fawney19
e3ea2d1451 feat: configure auth channel mismatch formats 2026-05-03 00:49:22 +08:00
fawney19
9570e5c2c1 Fix legacy Claude and Gemini auth migration 2026-04-30 18:01:58 +08:00
fawney19
e751289dfb Support per-format provider key auth 2026-04-29 15:46:50 +08:00
fawney19
07a319259b Normalize canonical API formats 2026-04-29 10:20:41 +08:00
fawney19
f695238e8a feat(billing): 引入 billing v3 settlement snapshot 及 usage_billing_facts 视图 
- 新增迁移 20260424000000：为 usage_settlement_snapshots 添加 settlement_snapshot、
  billing_dimensions、billing_input/output/cache tokens、billing_total_cost_usd 等列，
  并创建 usage_billing_facts 视图（从 settlement snapshot 覆盖原始 usage token/cost 字段）
- event_enrichment：构建结构化 settlement_snapshot（含 pricing_snapshot、billing_plan_snapshot、
  resolved_dimensions、cost_breakdown 等），写入 request_metadata
- pricing：新增 pricing_source() 方法区分 provider_override / global_default / unpriced
- sql.rs：settlement snapshot 写入新列；用量汇总查询改用 usage_billing_facts 视图
- maintenance/runtime：所有统计查询的 FROM usage 替换为 FROM usage_billing_facts
- admin observability：在 settlement 响应中暴露 settlement_snapshot / billing_dimensions，
  并从 metadata 中剥离对应字段
- request_metadata：允许 settlement_snapshot / billing_dimensions 字段传播
- stream execution：在首个数据帧到达时记录 TTFB，补全流式请求的 streaming 事件
 2026-04-24 17:52:33 +08:00
fawney19
40282c3447 chore(migrations): 合并 ephemeral cache 迁移到 20260423000000，移除冗余迁移文件并同步 baseline cutoff 2026-04-23 14:53:54 +08:00
fawney19
fa328e18a1 feat: provider api_formats 可空继承、OpenAI 图片 edit/variation 与用量配额多项补强 
- 鉴权: provider_api_keys.api_formats 改为可空，OAuth 托管 key 自动继承 provider endpoints 激活格式，相关 handler/测试同步更新
- 图片 planner: OpenAI 图片路由新增 edit/variation 操作并完善参数校验、响应合并与流式处理
- 用量: user me usage 返回区分 client_requested_stream/upstream_is_stream，前端 usage 列表筛选与展示增强
- 统计: stats_daily_model 新增 cache_creation_ephemeral_5m/1h tokens 字段与回填链路
- 配额/observability: quota repository 新增内存与 SQL 扩展，admin observability usage 字段扩充
- 其它: OAuth 导入/轮询收敛、provider 汇总与 pool admin 读写链路小修、新增 system_config 缓存与 provider template handler

Closes #318

Co-authored-by: Entropy.Xu <53283266+Entropy-Xu@users.noreply.github.com>
 2026-04-23 14:42:51 +08:00
fawney19
cf6228f525 feat(stats,rules): api_key 用量统计（total_tokens 字段 + 回填）与 body rules 新增 append/insert/regex_replace/name_style 操作 
- 新增迁移 20260422120000_add_api_key_usage_stats.sql，为 api_keys 表添加 total_tokens 列
- 新增回填 20260422120000_backfill_api_key_usage_stats.sql，按历史 usage 重建 api_key 维度汇总
- 在 UsageWriteRepository trait 中添加 rebuild_api_key_usage_stats，补齐 SQL/内存实现及上层调用链
- 内存实现中新增 apply_usage_stats_delta，支持增量更新 api_key 统计快照
- dev.sh：改进临时日志目录管理，并在网关异常退出时输出错误提示
- frontend EndpointFormDialog：将 append 操作从 insert 分支拆分，提供独立 path/value 输入 UI
- rules.rs：扩展 body rules 支持，新增 append/insert/regex_replace/name_style 操作及 WildcardSlice 路径段
 2026-04-22 20:16:57 +08:00
fawney19
a5e6bd3b62 feat(stats): 新增聚合读路径与回填机制并重构 dashboard/usage 读取链路 
- 新增 stats_user_summary 及 user_daily_provider/api_format/cost_savings 等聚合表
- 扩展 stats_daily/hourly 有效 token 与响应时间等字段，maintenance runtime 同步写入
- 新增 backfill 模块与 --apply-backfills 命令补齐历史聚合数据
- 重写 dashboard_filters、usage_heatmap、user_rollups 查询改走聚合表
- 同步更新 baseline_v2.sql 与 migration 集，README/dev.sh 补充回填用法
 2026-04-22 17:29:39 +08:00
fawney19
3363592751 Refactor usage body capture and stream terminal reporting 2026-04-18 17:48:21 +08:00
Entropy.Xu
6964729cb7 feat(payments): 增加兑换码与支付适配框架 (#299) 
* feat(payments): 增加兑换码与支付适配框架

* fix(ci): 对齐 Rust 1.95 lint 与格式要求

* fix(payments): harden redeem code wallet credits

---------

Co-authored-by: fawney19 <elky0401@gmail.com>
 2026-04-17 10:07:52 +08:00
fawney19
026a77306c fix(schema): 移除 api_keys.concurrent_limit 的默认值 5 
之前 DEFAULT 5 导致所有新建 API Key 自动带上并发限制,
改为 NULL (不限制) 以匹配预期行为。
 2026-04-15 10:43:38 +08:00
fawney19
6aa16ec792 feat(data): 废弃 usage 表 HTTP/结算列，迁移至 settlement_snapshots 与 http_audits 
- 新增迁移 20260413030000：标记 billing_status、finalized_at、request_headers 等列为 DEPRECATED
- 更新 baseline_v2.sql 同步废弃注释，BASELINE_V2_CUTOFF_VERSION 升至 20260413030000
- usage/sql.rs：inline body 阈值归零，强制所有 body 走 blob 存储；upsert 时清空 legacy header/output_price 列
- 查询层优先读 usage_settlement_snapshots 的 billing_status、finalized_at、output_price_per_1m
- runtime.rs：stale usage 处理同步写入 usage_settlement_snapshots；SELECT FOR UPDATE 改为 FOR UPDATE OF usage
- 前端：PerformanceAnalysis 页面重构为实时面板，新增 prometheus 工具函数与 monitoring API
 2026-04-13 14:53:46 +08:00
fawney19
5bb08e6aa4 feat(gateway): 重构 usage 数据层、迁移系统与系统导入 
数据库迁移:
- 引入 baseline v2 bootstrap，空库首次启动自动初始化
- 服务启动不再自动执行迁移，需显式 `--migrate` 运行
- 新增 pending migration 检测，schema 落后时拒绝启动

Usage 数据层:
- usage body 存储外部化为独立 blob 表
- 新增 HTTP audit 表拆分存储请求/响应头与 body ref
- 后台清理任务支持 legacy body ref 元数据迁移
- usage runtime 写入迁移到专用 tokio runtime（独立线程池, 8MB 栈）

系统导入/导出:
- 支持用户、API Keys、钱包数据的完整导入
- 兼容 legacy 与 v1.3+ 两种导出格式

其他改进:
- executor outcome 增加 runtime miss 诊断上下文
- 主 tokio runtime 栈大小调整为 8MB
- 前端 provider 管理支持 base URL 配置
- dev.sh 支持 --migrate 参数
 2026-04-13 14:01:22 +08:00
fawney19
a570a77cca fix(data): baseline 迁移末尾恢复 search_path 为 public，确保 sqlx 记账正常 2026-04-11 16:17:02 +08:00
fawney19
fff82de933 fix(data): baseline 迁移 search_path 改为事务级作用域，修复 sqlx 迁移表访问问题 2026-04-11 15:29:13 +08:00
fawney19
aa5761954e refactor(data): baseline 迁移改为完整幂等建库脚本，放宽 checksum 校验 
- baseline migration 从占位 SELECT 1 替换为完整的幂等 DDL，支持全新数据库从零建库
- 迁移校验从 checksum 严格报错改为 warn-only，仅按版本匹配
- 移除过时的 schema 导出文件（README/TSV）
- Dockerfile 移除 :nonroot 标签，docker-compose 移除 user 指令，统一以默认用户运行
 2026-04-11 14:31:28 +08:00
fawney19
010ab127e2 feat: 扩展 cache creation token 细分统计与 effective_input_tokens 计费逻辑 
- 新增 cache_creation_ephemeral_5m/1h_input_tokens 字段，区分不同 TTL 的缓存写入 token
- 引入 effective_input_tokens（扣除 cache read 后的有效输入 token），暴露给 usage 接口
- billing 规则生成器支持 5m/1h ephemeral cache 独立定价与分级计费
- usage_mapper 增加 Claude/Anthropic 格式映射，修复 OpenAI responses 格式字段兼容性
- 迁移逻辑增强：支持 checksum 容错、applied/pending 数量日志、逐步执行信息输出
- executor 抽离 LocalExecutionRequestOutcome 类型，统一 sync/stream 路径返回语义
- provider-transport auth 层新增 complete passthrough headers 构建逻辑
- 前端 usage 类型全面补充 effective_input_tokens、cache_creation_tokens、total_input_context 字段
 2026-04-10 17:44:55 +08:00
fawney19
5d96d6673b refactor: 大规模模块拆分与代码精简，新增 ai-pipeline/data-contracts 独立 crate 
- 新增 aether-ai-pipeline 和 aether-data-contracts crate，将 pipeline 逻辑与数据契约从 gateway 中解耦
- 重构 admin handlers：拆分单体模块为 auth/billing/endpoint/features/model/observability/provider/system 等独立子模块
- 合并 chat/cli 重复代码路径：精简 conversion、finalize、planner 中的 sync/chat/cli 分支
- 重构 scheduler/executor/data 层，引入 facade 模式降低模块间耦合
- 移除冗余的 intent 模块，将 plan_fallback/policy/stream_path/sync_path 迁移至 executor
- 前端适配：调整 admin API 调用和 provider 模型测试对话框
 2026-04-07 02:50:19 +08:00
fawney19
1d9c77522a refactor: 移除 Python 后端源码，全面迁移至 Rust gateway 架构 
- 删除全部 Python 源码 (src/) 及 Alembic 迁移脚本，归档至 _deprecated_py_src/
- 重构 Rust gateway ai_pipeline: 拆分 planner/finalize 模块，新增 contracts/adaptation 层
- 重组 handlers 模块为 admin/public/proxy/internal/shared 子模块结构
- 新增 executor 模块，引入 Rust 原生数据库迁移 (aether-data/migrations)
- 简化 CI/Docker 构建流程，移除 base image 二级构建，统一为单一 app image
- 移除 Python 相关基础设施文件 (entrypoint.sh, gunicorn_conf.py, Dockerfile.base)
 2026-04-03 16:26:16 +08:00