i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-08 20:20:19 +08:00
Code Issues Packages Projects Releases Wiki Activity
2,778 Commits 5 Branches 181 Tags
77f93c638d1f4d33c92cfab0b31367bf8a4a2e30
Commit Graph
50 Commits
Author SHA1 Message Date
fawney19 18d9004f22 fix docker app logging permissions 2026-05-24 18:50:39 +08:00
fawney19 18eac2dd7a feat: clarify deployment update strategies 2026-05-23 20:14:26 +08:00
zhiqicloud b59c3a9e3b feat: support admin online update and deploy flow 2026-05-22 15:15:17 +08:00
zhiqicloud 9562295d8b feat: 添加在线更新功能 2026-05-20 22:29:11 +08:00
fawney19 801e16c988 refactor(gateway): 统一 AETHER_GATEWAY_BIND 为 APP_PORT，新增 API Key 前缀配置和启动自举管理员 
- 绑定地址固定 0.0.0.0，仅通过 APP_PORT 控制端口，简化 CLI/Docker/systemd/dev.sh/前端代理全链路
- 新增 API_KEY_PREFIX 环境变量，抽取 handlers/shared/api_keys.rs 消除 admin/public 重复逻辑
- 新增 bootstrap_admin.rs，启动时通过 ADMIN_* 环境变量在无管理员时自动创建首个本地管理员
- 前端密码输入改用 type=password，API Key 占位符改为动态前缀
- 删除过时的 pyproject.toml/uv.lock 和旧部署文档
- 更新 .env.example/README 反映新配置项
 2026-04-11 17:39:02 +08:00
fawney19 8a4a41fcef fix(docker): 容器以 root 运行，解决日志目录写入权限问题 2026-04-11 15:07:44 +08:00
fawney19 aa5761954e refactor(data): baseline 迁移改为完整幂等建库脚本，放宽 checksum 校验 
- baseline migration 从占位 SELECT 1 替换为完整的幂等 DDL，支持全新数据库从零建库
- 迁移校验从 checksum 严格报错改为 warn-only，仅按版本匹配
- 移除过时的 schema 导出文件（README/TSV）
- Dockerfile 移除 :nonroot 标签，docker-compose 移除 user 指令，统一以默认用户运行
 2026-04-11 14:31:28 +08:00
fawney19 8cd2c4d5bd fix(gateway): 默认监听端口改为 8084 以支持非 root 运行 
- Dockerfile 及 main.rs 默认 bind 从 0.0.0.0:80 改为 0.0.0.0:8084
- docker-compose 以 UID:GID 非 root 用户启动 app 容器
- compose 端口映射与容器内监听端口保持一致，通过 AETHER_GATEWAY_BIND 注入
 2026-04-11 13:55:11 +08:00
fawney19 f68c67021c refactor(build): 切换到 musl 交叉编译 + distroless 镜像方案 
- docker-publish.yml: 改为 cross 交叉编译 amd64/arm64 musl 静态二进制,
  前端在 CI 独立构建, buildx 组装多架构镜像
- Dockerfile.app: 从 139 行容器内编译简化为 24 行纯 COPY 打包
- Dockerfile.app.local: 移除 jemalloc 动态链接 (LD_PRELOAD/libjemalloc2)
- aether-gateway: 引入 tikv-jemallocator 静态链接 jemalloc
 2026-04-11 12:21:33 +08:00
fawney19 b0b40c16ff feat: 全栈功能增强 - 扩展 provider/pool 管理、完善调度与数据层、重构前端 Pool 页面 
后端:
- 扩展 pool_admin payloads 和 provider query models，增强 endpoint key 管理
- 完善 scheduler-core 候选排序与请求候选逻辑
- 增强 usage-runtime 写入、provider-transport 网络层与 OAuth 刷新
- 改进 AI pipeline 响应转换与流式处理
- 扩展 global_models/provider_catalog 数据层查询能力
- 增强 video-tasks-core 多 provider 支持
- 新增大量集成测试覆盖 pool/keys/provider_query/frontdoor

前端:
- 重构 PoolManagement 页面，拆分状态管理/对话框逻辑到独立模块
- 新增 poolAdvancedDialog/poolSchedulingDialog/poolManagementState/poolMobilePresentation 工具函数及测试
- 改进 Dialog 组件与 provider tabs 显示

部署:
- 更新 Rust CI workflow 和 Dockerfile 构建配置

Closes #275
Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-04-09 13:51:50 +08:00
fawney19 1d9c77522a refactor: 移除 Python 后端源码，全面迁移至 Rust gateway 架构 
- 删除全部 Python 源码 (src/) 及 Alembic 迁移脚本，归档至 _deprecated_py_src/
- 重构 Rust gateway ai_pipeline: 拆分 planner/finalize 模块，新增 contracts/adaptation 层
- 重组 handlers 模块为 admin/public/proxy/internal/shared 子模块结构
- 新增 executor 模块，引入 Rust 原生数据库迁移 (aether-data/migrations)
- 简化 CI/Docker 构建流程，移除 base image 二级构建，统一为单一 app image
- 移除 Python 相关基础设施文件 (entrypoint.sh, gunicorn_conf.py, Dockerfile.base)
 2026-04-03 16:26:16 +08:00
fawney19 8f26e1a31f refactor: 移除独立 hub/proxy/executor/gateway crate，统一为 gateway tunnel 架构 
- 删除 aether-hub、aether-proxy 独立项目及其 Dockerfile/配置
- 删除 crates/aether-executor 和 crates/aether-gateway 全部模块
- 新增 apps/ 目录作为应用入口
- 将 hub 概念重构为 gateway tunnel transport
- 将 executor 重构为 execution runtime
- 新增 tunnel.rs 合约定义和 testkit tunnel/execution_runtime 模块
- 更新 Python 服务层和测试适配新架构命名
 2026-04-03 14:59:58 +08:00
fawney19 1d72a8f9c1 feat: 流式空闲超时、健康监控查询优化、限流桶内存上限与维护清理修复 
Close #233

Co-authored-by: AAEE86 <ppk0227@hotmail.com>

- cli_monitor_mixin: 引入 STREAM_IDLE_TIMEOUT_SECONDS（可通过环境变量配置），
  流传输开始后若超出空闲窗口无新 chunk 则提前取消并返回 504，避免长时间挂起
- stream_context: 新增 managed_recorded_bodies 上下文管理器，确保 chunks 在
  telemetry 完成后及时释放；stream_telemetry 使用该接口统一管理 response body 构建
- health endpoint: 将状态聚合改为 GROUP BY 直接统计，事件列表按 api_format
  单独查询，避免单次 limit 拉取大量记录导致的遗漏与性能问题；同时过滤不活跃
  provider/endpoint，与公开健康接口保持一致
- endpoint health service: 修正时间线数据按 endpoint_id 而非 key_id 聚合
- token_bucket: 引入 max_buckets/bucket_expiry 上限与定时清理，防止内存无限增长；
  修复 refill_rate=0 时 get_reset_time 除零异常；新增 _is_unlimited_rate_limit 判断
- maintenance_scheduler: 调整清理顺序（先删整行再按窗口清理），新增 newer_than
  边界参数，避免同一行在同一轮中被重复改写
- sync_execute: 新增 create_pending_usage 开关，允许已预创建记录的调用方跳过重复创建
- quota_reader / provider_ops balance: 小幅修复与健壮性提升
- Dockerfile: 添加 MALLOC_ARENA_MAX=2 环境变量以降低 gunicorn worker RSS
- 补充相关测试覆盖
 2026-03-18 23:38:26 +08:00
fawney19 d63d5eff85 fix(nginx): 统一所有 location 块的 CF 头剥离，补充 proxy_hide_header 防止响应泄露 2026-03-17 11:33:43 +08:00
fawney19 71ae1a2307 feat(hub,stability): bounded outbound queue、worker liveness 检测、事件循环 watchdog 及 DB 操作异步化 
- aether-hub: unbounded channel 改为 bounded channel (BoundedOutbound)，队列满时标记拥塞并主动关闭连接，防止内存无限增长
- aether-hub: worker idle timeout 从命令行参数改为基于心跳的 liveness 检测，默认 60 秒
- aether-hub: 新增 ConnConfig 统一管理连接配置，新增 outbound_queue_capacity 参数
- hub_transport: 新增事件循环 watchdog，检测 lag 超过阈值时临时降级暂停新流
- gunicorn_conf: 启用 faulthandler，worker abort 时自动 dump 全部线程栈用于诊断
- health/endpoint_checker/recording: 同步 DB 操作移至 asyncio.to_thread，避免阻塞事件循环
- Dockerfile: 移除 --worker-idle-timeout 0 命令行参数，改由环境变量和默认值控制
 2026-03-12 12:19:04 +08:00
fawney19 3f048d373f refactor: 将路由层同步 DB 操作移至线程池执行，统一认证工具函数 
- 管理端和用户端路由中的同步数据库操作提取为独立函数，通过 run_in_threadpool
  在线程池中执行，避免阻塞事件循环（涉及 api_keys、payments、users、wallets、
  provider_oauth、system、user_me、wallet 等模块）
- 抽取 authenticate_user_from_bearer_token 统一 token 验证逻辑，支持
  ManagementToken 和 JWT 两种认证方式，消除多处重复代码
- key_command_service 的 CRUD 操作改为线程池执行
- maintenance_scheduler 定时任务中的数据库操作改用 asyncio.to_thread
- Dockerfile 中 aether-hub 增加 --worker-idle-timeout 0 防止空闲断连
- 新增 test_api_auth_conventions 和 test_auth_utils 单元测试
 2026-03-12 09:33:24 +08:00
fawney19 95bc742057 fix(gunicorn): worker timeout 从 120s 放宽到 300s，收敛到配置文件统一管理 
- 移除 Dockerfile 命令行中硬编码的 --timeout 120，由 gunicorn_conf.py 统一管理
- timeout 默认值从 120 调整为 300，减少异步 worker 偶发心跳延迟导致的误杀
- timeout 和 graceful_timeout 均支持环境变量覆盖（GUNICORN_TIMEOUT / GUNICORN_GRACEFUL_TIMEOUT）
 2026-03-07 03:13:44 +08:00
fawney19 357c4fd61f fix(build): 构建时 GitHub API 请求支持可选 GITHUB_TOKEN 避免限流 
未认证 GitHub API 限流 60 次/小时/IP，频繁本地构建容易触发。
添加可选的 GITHUB_TOKEN 支持（认证后 5000 次/小时），不传 token 时行为不变。
 2026-03-07 03:03:55 +08:00
fawney19 2269617a9f fix(nginx): 剥离 Cloudflare 请求头，防止泄露给上游 AI 提供商 
在反向代理配置中将 CF-Connecting-IP、CF-IPCountry、CF-Ray、
CF-Visitor、CDN-Loop、True-Client-IP、CF-Worker、CF-EW-Via
等头置空，避免用户真实 IP 及 CF 元数据被透传到上游。
 2026-03-06 15:54:34 +08:00
fawney19 0564893c4f refactor: Hub二进制改为Docker构建时下载，优化部署流程与worker初始化 
- Dockerfile: 移除COPY预编译二进制，改为构建时通过HUB_TAG从GitHub Release下载
- CI: 移除artifact上传/下载步骤，通过build-args传递Hub tag
- deploy.sh: 重构参数解析，支持--hub-tag指定版本，跟踪tag变化触发重建
- build.sh: 新增--image模式支持构建并推送Hub Docker镜像
- hub.rs: worker连接时同步所有节点在线状态，避免状态不一致
- proxy_nodes: 启动时主动建立Hub worker连接，消除懒连接窗口期
- docker-compose.yml: app镜像支持APP_IMAGE环境变量配置
- README: 更新部署文档，推荐本地构建方式
 2026-03-02 11:24:14 +08:00
fawney19 c9dbe7936b fix: 补充tunnel端点nginx代理的路径前缀 2026-03-02 04:18:28 +08:00
fawney19 3f7a3d7600 fix: 修复tunnel端点nginx代理端口未替换的占位符问题 2026-03-02 04:14:48 +08:00
fawney19 5b9d9452c9 fix: 修改hub构建方式 2026-03-02 04:05:40 +08:00
fawney19 039a18c243 feat(tunnel): 引入 aether-hub 帧路由器，支持多 worker 共享 tunnel 连接 
新增 Rust 实现的 aether-hub 服务，作为 Docker 容器内部 WebSocket 帧路由器，
解决多 Gunicorn worker 进程间 tunnel 连接隔离问题。

主要改动：
- 新增 aether-hub Rust 项目，实现 proxy/worker 双向帧路由与 stream_id 重映射
- 新增 HubConnectionManager/HubTunnelTransport，worker 通过 Hub 转发 tunnel 帧
- 新增 create_tunnel_transport 工厂函数，按运行环境自动选择 Hub 或直连模式
- 新增 NODE_STATUS 广播机制，Hub 实时通知所有 worker 节点连接状态变化
- CI/CD 新增 build-hub job，Dockerfile 集成 Hub 二进制，deploy.sh 适配 Hub 构建
- 默认 GUNICORN_WORKERS 从 4 降为 2
 2026-03-02 02:43:14 +08:00
fawney19 20ed9cd123 feat(proxy): worker 退出时优雅关闭 tunnel 连接，提升 max-requests 默认值 
- TunnelManager 新增 shutdown_all 方法，drain 飞行中请求后发送 GoAway
- shutdown 期间标记 draining 拒绝新请求进入
- gunicorn max-requests 默认值从 4000 提升到 50000，减少不必要的 worker 重启
 2026-03-01 00:54:37 +08:00
fawney19 19f1be03fa feat(nginx): 添加 WebSocket 隧道端点的 nginx 代理配置 2026-02-26 03:33:53 +08:00
fawney19 4c83780b5e chore: 调整 Nginx 代理超时配置并移除废弃的 concurrency_slot_ttl 
- proxy_connect_timeout 从 600s 降至 60s
- proxy_send_timeout/proxy_read_timeout 从 600s 升至 3600s 以支持长时间流式响应
- 移除已无引用的 concurrency_slot_ttl 配置项
 2026-02-12 11:57:42 +08:00
fawney19 62c05093a0 fix(docker): 统一 max-requests 默认值为 4000 
PR #171 中 max-requests 的 fallback 默认值 (2000) 与 jitter 计算的默认值 (4000) 不一致，统一为 4000
 2026-02-11 17:26:22 +08:00
AAEE86 875ecca527 refactor(docker): 优化 Gunicorn 配置并提升代码可读性 
使 Gunicorn 的 max-requests 参数可通过环境变量 MAX_REQUESTS 配置,
并自动计算 max-requests-jitter (默认为 MAX_REQUESTS 的 1/20),
同时统一规范化 Dockerfile 中多行字符串的缩进格式
 2026-02-11 17:14:32 +08:00
fawney19 0bb17a1502 chore: Docker 基础镜像从 Python 3.14 降级到 3.13 2026-02-10 17:41:36 +08:00
fawney19 c5d1d2c21e fix: Nginx 白名单路由补充 v1beta 和 upload 路径前缀 2026-02-09 16:45:56 +08:00
fawney19 f22d2efb9d refactor: 优化 CI 缓存隔离与镜像标签策略，重构 Nginx 为白名单路由模式 
- CI: 按 scope 隔离 base/app 构建缓存，app 层使用 no-cache-filters 确保前端每次重建
- CI: 镜像标签改为 semver 优先，支持 pre/fix 预发布标签，启用 latest=auto
- Nginx: 从 try_files + @backend 回退模式改为白名单路由（api/v1/health → 后端，其余 → SPA）
 2026-02-09 16:04:54 +08:00
fawney19 16fb06ff4c perf: 使用 BuildKit 缓存加速 Docker 构建 
- 添加 # syntax=docker/dockerfile:1 启用 BuildKit 新语法
- apt-get 使用 --mount=type=cache 缓存包下载
- pip install 使用 --mount=type=cache 缓存依赖
- npm ci 使用 --mount=type=cache 缓存模块
- 添加 --no-install-recommends 减少安装包体积

缓存命中后构建时间从 ~40s 降至 ~1.5s
 2026-01-30 15:03:58 +08:00
AAEE86 24d24f6829 chore: 升级到 Python 3.14 并现代化代码 
- 升级 Docker 基础镜像从 Python 3.12 到 3.14
- 更新 pyproject.toml 支持 Python 3.13/3.14
- 移除 Python 3.8/3.9/3.10/3.11 分类器
- 更新 black 和 mypy 配置目标版本
- 将 get_event_loop() 替换为 get_running_loop() 加上 RuntimeError 处理
- 简化 compute_cost_sync 中的 asyncio.run 使用
- Dict/List/Tuple/Set → dict/list/tuple/set (PEP 585)
- Optional[T] → T | None (PEP 604)
- Union[A, B] → A | B (PEP 604)
- 移除废弃的 typing 导入
- 移除不必要的字符串引号注解
 2026-01-30 03:10:21 +08:00
AAEE86 b0b1bdf158 feat: 添加Gunicorn配置优化并改进Docker构建配置 
- 新增 gunicorn_conf.py 配置文件，实现：
  - GC冻结优化以改善Copy-on-Write内存共享
  - Worker RSS内存监控日志
  - 添加 --max-requests 和 --max-requests-jitter 防止内存泄漏

- 改进 Dockerfile 配置：
  - 修复 Nginx 静态文件目录权限问题

- 简化 docker-compose 配置：
  - 移除冗余的 PYTHONIOENCODING/LANG/LC_ALL 环境变量
 2026-01-29 22:53:42 +08:00
fawney19 ffdc9a9585 feat: 为 Provider 认证添加代理配置支持 
- 前端新增可折叠的代理配置字段组（URL/用户名/密码）
- 更新 anyrouter/cubence/new-api/yescode 模板支持代理
- 后端 provider_ops 服务验证和数据获取时支持代理
- 移除 Dockerfile 中的 ca-certificates（回退之前改动）
 2026-01-19 18:30:52 +08:00
fawney19 b6a9969aee fix: 添加 ca-certificates 解决 Docker 容器内 SSL 证书验证失败 
python:3.12-slim 镜像缺少系统级 CA 证书，导致 httpx 请求外部
HTTPS 服务时出现 CERTIFICATE_VERIFY_FAILED 错误。
 2026-01-19 18:02:04 +08:00
fawney19 6bc9cdc69d feat: 新增 Anyrouter/Cubence/YesCode 架构及余额监控增强 
- 新增三个 provider 架构：Anyrouter、Cubence、YesCode
- 前端新增对应的认证配置模板
- 余额监控增强：支持窗口限额显示（进度条+倒计时）、签到状态、错误信息展示
- 架构基类新增 prepare_verify_config 异步预处理方法
- API 返回 ops_architecture_id 字段用于前端展示
 2026-01-19 17:18:03 +08:00
fawney19 68ff828505 feat: 容器启动时自动执行数据库迁移 
- 添加 entrypoint.sh 在容器启动前执行 alembic upgrade head
- 更新 Dockerfile.app 和 Dockerfile.app.local 使用新入口脚本
- 移除手动迁移脚本 migrate.sh
- 简化 README 部署说明
 2026-01-08 01:28:36 +08:00
fawney19 59447fc12b fix: 固定容器内部端口为 8084，避免 PORT 环境变量导致端口冲突 2026-01-07 21:51:55 +08:00
fawney19 00f6fafcfc feat: 添加 API 文档路由、扩展用户列表字段、修复 CORS 配置 
- Dockerfile.app: 添加 /docs、/redoc、/openapi.json 的 nginx 代理规则
- routes.py: 管理员用户列表接口增加 allowed_providers/endpoints/models 字段
- main.py: 修复 CORS_ORIGINS=* 时 credentials 配置冲突问题
 2026-01-07 17:31:31 +08:00
fawney19 42dc64246c feat: 添加 GUNICORN_WORKERS 环境变量配置 2026-01-07 16:38:46 +08:00
fawney19 084bbc0bef refactor: 将 nginx gzip 压缩配置移至 server 块内部 2026-01-07 15:10:11 +08:00
fawney19 0061fc04b7 feat: 添加访问令牌管理功能并升级至 0.2.4 
- 新增 Management Token（访问令牌）功能，支持创建、更新、删除和管理
- 前端添加访问令牌管理页面，支持普通用户和管理员
- 后端实现完整的令牌生命周期管理 API
- 添加数据库迁移脚本创建 management_tokens 表
- Nginx 配置添加 gzip 压缩，优化响应传输
- Dialog 组件添加 persistent 属性，防止意外关闭
- 为管理后台 API 添加详细的中文文档注释
- 简化多处类型注解，统一代码风格
 2026-01-07 14:55:07 +08:00
fawney19 835be3d329 refactor: nginx 透传外层代理 IP 头并禁用审计日志页面的审计记录 
- Dockerfile.app/local: 使用 map 指令智能处理 X-Real-IP 和 X-Forwarded-For，
  有外层代理头则透传，否则使用 remote_addr
- audit.py: 查看审计日志不再产生审计记录，避免刷新页面时产生大量无意义日志
 2026-01-06 17:23:08 +08:00
fawney19 75d7e89cbb perf: 添加 gunicorn --preload 参数优化内存占用 
Worker 进程共享只读内存（代码、常量），可减少约 30-40% 内存占用

Closes #44
 2025-12-24 18:10:42 +08:00
fawney19 6aa1876955 feat: add Dockerfile.app.local for China mirror support 2025-12-19 16:20:02 +08:00
fawney19 7f07122aea refactor: separate frontend build from base image for faster incremental builds 2025-12-19 16:02:38 +08:00
fawney19 c2ddc6bd3c refactor: optimize Docker build with multi-stage and slim runtime base image 2025-12-19 15:51:21 +08:00
fawney19 f784106826 Initial commit 2025-12-10 20:52:44 +08:00