i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-09 20:50:20 +08:00
Code Issues Packages Projects Releases Wiki Activity
2,869 Commits 5 Branches 182 Tags
af712ebdbfd042867578a589e16143750fc34028
Commit Graph
51 Commits
Author SHA1 Message Date
elky 579f2c7cc1 feat(security): harden gateway boundaries and usage policies 
Consolidate subscription usage policy enforcement, privacy-safe persistence, and gateway security hardening into one reviewable change.

Includes bounded HTTP and execution envelopes, header and protocol guards, DNS and relay validation, authentication and secret projection hardening, secure backup/install paths, and regression coverage.
 2026-09-04 03:45:52 +08:00
fawney19 18d9004f22 fix docker app logging permissions 2026-05-24 18:50:39 +08:00
fawney19 18eac2dd7a feat: clarify deployment update strategies 2026-05-23 20:14:26 +08:00
zhiqicloud b59c3a9e3b feat: support admin online update and deploy flow 2026-05-22 15:15:17 +08:00
zhiqicloud 9562295d8b feat: 添加在线更新功能 2026-05-20 22:29:11 +08:00
fawney19 801e16c988 refactor(gateway): 统一 AETHER_GATEWAY_BIND 为 APP_PORT，新增 API Key 前缀配置和启动自举管理员 
- 绑定地址固定 0.0.0.0，仅通过 APP_PORT 控制端口，简化 CLI/Docker/systemd/dev.sh/前端代理全链路
- 新增 API_KEY_PREFIX 环境变量，抽取 handlers/shared/api_keys.rs 消除 admin/public 重复逻辑
- 新增 bootstrap_admin.rs，启动时通过 ADMIN_* 环境变量在无管理员时自动创建首个本地管理员
- 前端密码输入改用 type=password，API Key 占位符改为动态前缀
- 删除过时的 pyproject.toml/uv.lock 和旧部署文档
- 更新 .env.example/README 反映新配置项
 2026-04-11 17:39:02 +08:00
fawney19 8a4a41fcef fix(docker): 容器以 root 运行，解决日志目录写入权限问题 2026-04-11 15:07:44 +08:00
fawney19 aa5761954e refactor(data): baseline 迁移改为完整幂等建库脚本，放宽 checksum 校验 
- baseline migration 从占位 SELECT 1 替换为完整的幂等 DDL，支持全新数据库从零建库
- 迁移校验从 checksum 严格报错改为 warn-only，仅按版本匹配
- 移除过时的 schema 导出文件（README/TSV）
- Dockerfile 移除 :nonroot 标签，docker-compose 移除 user 指令，统一以默认用户运行
 2026-04-11 14:31:28 +08:00
fawney19 8cd2c4d5bd fix(gateway): 默认监听端口改为 8084 以支持非 root 运行 
- Dockerfile 及 main.rs 默认 bind 从 0.0.0.0:80 改为 0.0.0.0:8084
- docker-compose 以 UID:GID 非 root 用户启动 app 容器
- compose 端口映射与容器内监听端口保持一致，通过 AETHER_GATEWAY_BIND 注入
 2026-04-11 13:55:11 +08:00
fawney19 f68c67021c refactor(build): 切换到 musl 交叉编译 + distroless 镜像方案 
- docker-publish.yml: 改为 cross 交叉编译 amd64/arm64 musl 静态二进制,
  前端在 CI 独立构建, buildx 组装多架构镜像
- Dockerfile.app: 从 139 行容器内编译简化为 24 行纯 COPY 打包
- Dockerfile.app.local: 移除 jemalloc 动态链接 (LD_PRELOAD/libjemalloc2)
- aether-gateway: 引入 tikv-jemallocator 静态链接 jemalloc
 2026-04-11 12:21:33 +08:00
fawney19 b0b40c16ff feat: 全栈功能增强 - 扩展 provider/pool 管理、完善调度与数据层、重构前端 Pool 页面 
后端:
- 扩展 pool_admin payloads 和 provider query models，增强 endpoint key 管理
- 完善 scheduler-core 候选排序与请求候选逻辑
- 增强 usage-runtime 写入、provider-transport 网络层与 OAuth 刷新
- 改进 AI pipeline 响应转换与流式处理
- 扩展 global_models/provider_catalog 数据层查询能力
- 增强 video-tasks-core 多 provider 支持
- 新增大量集成测试覆盖 pool/keys/provider_query/frontdoor

前端:
- 重构 PoolManagement 页面，拆分状态管理/对话框逻辑到独立模块
- 新增 poolAdvancedDialog/poolSchedulingDialog/poolManagementState/poolMobilePresentation 工具函数及测试
- 改进 Dialog 组件与 provider tabs 显示

部署:
- 更新 Rust CI workflow 和 Dockerfile 构建配置

Closes #275
Co-authored-by: AAEE86 <ppk0227@hotmail.com>
 2026-04-09 13:51:50 +08:00
fawney19 1d9c77522a refactor: 移除 Python 后端源码，全面迁移至 Rust gateway 架构 
- 删除全部 Python 源码 (src/) 及 Alembic 迁移脚本，归档至 _deprecated_py_src/
- 重构 Rust gateway ai_pipeline: 拆分 planner/finalize 模块，新增 contracts/adaptation 层
- 重组 handlers 模块为 admin/public/proxy/internal/shared 子模块结构
- 新增 executor 模块，引入 Rust 原生数据库迁移 (aether-data/migrations)
- 简化 CI/Docker 构建流程，移除 base image 二级构建，统一为单一 app image
- 移除 Python 相关基础设施文件 (entrypoint.sh, gunicorn_conf.py, Dockerfile.base)
 2026-04-03 16:26:16 +08:00
fawney19 8f26e1a31f refactor: 移除独立 hub/proxy/executor/gateway crate，统一为 gateway tunnel 架构 
- 删除 aether-hub、aether-proxy 独立项目及其 Dockerfile/配置
- 删除 crates/aether-executor 和 crates/aether-gateway 全部模块
- 新增 apps/ 目录作为应用入口
- 将 hub 概念重构为 gateway tunnel transport
- 将 executor 重构为 execution runtime
- 新增 tunnel.rs 合约定义和 testkit tunnel/execution_runtime 模块
- 更新 Python 服务层和测试适配新架构命名
 2026-04-03 14:59:58 +08:00
fawney19 1d72a8f9c1 feat: 流式空闲超时、健康监控查询优化、限流桶内存上限与维护清理修复 
Close #233

Co-authored-by: AAEE86 <ppk0227@hotmail.com>

- cli_monitor_mixin: 引入 STREAM_IDLE_TIMEOUT_SECONDS（可通过环境变量配置），
  流传输开始后若超出空闲窗口无新 chunk 则提前取消并返回 504，避免长时间挂起
- stream_context: 新增 managed_recorded_bodies 上下文管理器，确保 chunks 在
  telemetry 完成后及时释放；stream_telemetry 使用该接口统一管理 response body 构建
- health endpoint: 将状态聚合改为 GROUP BY 直接统计，事件列表按 api_format
  单独查询，避免单次 limit 拉取大量记录导致的遗漏与性能问题；同时过滤不活跃
  provider/endpoint，与公开健康接口保持一致
- endpoint health service: 修正时间线数据按 endpoint_id 而非 key_id 聚合
- token_bucket: 引入 max_buckets/bucket_expiry 上限与定时清理，防止内存无限增长；
  修复 refill_rate=0 时 get_reset_time 除零异常；新增 _is_unlimited_rate_limit 判断
- maintenance_scheduler: 调整清理顺序（先删整行再按窗口清理），新增 newer_than
  边界参数，避免同一行在同一轮中被重复改写
- sync_execute: 新增 create_pending_usage 开关，允许已预创建记录的调用方跳过重复创建
- quota_reader / provider_ops balance: 小幅修复与健壮性提升
- Dockerfile: 添加 MALLOC_ARENA_MAX=2 环境变量以降低 gunicorn worker RSS
- 补充相关测试覆盖
 2026-03-18 23:38:26 +08:00
fawney19 d63d5eff85 fix(nginx): 统一所有 location 块的 CF 头剥离，补充 proxy_hide_header 防止响应泄露 2026-03-17 11:33:43 +08:00
fawney19 71ae1a2307 feat(hub,stability): bounded outbound queue、worker liveness 检测、事件循环 watchdog 及 DB 操作异步化 
- aether-hub: unbounded channel 改为 bounded channel (BoundedOutbound)，队列满时标记拥塞并主动关闭连接，防止内存无限增长
- aether-hub: worker idle timeout 从命令行参数改为基于心跳的 liveness 检测，默认 60 秒
- aether-hub: 新增 ConnConfig 统一管理连接配置，新增 outbound_queue_capacity 参数
- hub_transport: 新增事件循环 watchdog，检测 lag 超过阈值时临时降级暂停新流
- gunicorn_conf: 启用 faulthandler，worker abort 时自动 dump 全部线程栈用于诊断
- health/endpoint_checker/recording: 同步 DB 操作移至 asyncio.to_thread，避免阻塞事件循环
- Dockerfile: 移除 --worker-idle-timeout 0 命令行参数，改由环境变量和默认值控制
 2026-03-12 12:19:04 +08:00
fawney19 3f048d373f refactor: 将路由层同步 DB 操作移至线程池执行，统一认证工具函数 
- 管理端和用户端路由中的同步数据库操作提取为独立函数，通过 run_in_threadpool
  在线程池中执行，避免阻塞事件循环（涉及 api_keys、payments、users、wallets、
  provider_oauth、system、user_me、wallet 等模块）
- 抽取 authenticate_user_from_bearer_token 统一 token 验证逻辑，支持
  ManagementToken 和 JWT 两种认证方式，消除多处重复代码
- key_command_service 的 CRUD 操作改为线程池执行
- maintenance_scheduler 定时任务中的数据库操作改用 asyncio.to_thread
- Dockerfile 中 aether-hub 增加 --worker-idle-timeout 0 防止空闲断连
- 新增 test_api_auth_conventions 和 test_auth_utils 单元测试
 2026-03-12 09:33:24 +08:00
fawney19 95bc742057 fix(gunicorn): worker timeout 从 120s 放宽到 300s，收敛到配置文件统一管理 
- 移除 Dockerfile 命令行中硬编码的 --timeout 120，由 gunicorn_conf.py 统一管理
- timeout 默认值从 120 调整为 300，减少异步 worker 偶发心跳延迟导致的误杀
- timeout 和 graceful_timeout 均支持环境变量覆盖（GUNICORN_TIMEOUT / GUNICORN_GRACEFUL_TIMEOUT）
 2026-03-07 03:13:44 +08:00
fawney19 357c4fd61f fix(build): 构建时 GitHub API 请求支持可选 GITHUB_TOKEN 避免限流 
未认证 GitHub API 限流 60 次/小时/IP，频繁本地构建容易触发。
添加可选的 GITHUB_TOKEN 支持（认证后 5000 次/小时），不传 token 时行为不变。
 2026-03-07 03:03:55 +08:00
fawney19 2269617a9f fix(nginx): 剥离 Cloudflare 请求头，防止泄露给上游 AI 提供商 
在反向代理配置中将 CF-Connecting-IP、CF-IPCountry、CF-Ray、
CF-Visitor、CDN-Loop、True-Client-IP、CF-Worker、CF-EW-Via
等头置空，避免用户真实 IP 及 CF 元数据被透传到上游。
 2026-03-06 15:54:34 +08:00
fawney19 0564893c4f refactor: Hub二进制改为Docker构建时下载，优化部署流程与worker初始化 
- Dockerfile: 移除COPY预编译二进制，改为构建时通过HUB_TAG从GitHub Release下载
- CI: 移除artifact上传/下载步骤，通过build-args传递Hub tag
- deploy.sh: 重构参数解析，支持--hub-tag指定版本，跟踪tag变化触发重建
- build.sh: 新增--image模式支持构建并推送Hub Docker镜像
- hub.rs: worker连接时同步所有节点在线状态，避免状态不一致
- proxy_nodes: 启动时主动建立Hub worker连接，消除懒连接窗口期
- docker-compose.yml: app镜像支持APP_IMAGE环境变量配置
- README: 更新部署文档，推荐本地构建方式
 2026-03-02 11:24:14 +08:00
fawney19 c9dbe7936b fix: 补充tunnel端点nginx代理的路径前缀 2026-03-02 04:18:28 +08:00
fawney19 3f7a3d7600 fix: 修复tunnel端点nginx代理端口未替换的占位符问题 2026-03-02 04:14:48 +08:00
fawney19 5b9d9452c9 fix: 修改hub构建方式 2026-03-02 04:05:40 +08:00
fawney19 039a18c243 feat(tunnel): 引入 aether-hub 帧路由器，支持多 worker 共享 tunnel 连接 
新增 Rust 实现的 aether-hub 服务，作为 Docker 容器内部 WebSocket 帧路由器，
解决多 Gunicorn worker 进程间 tunnel 连接隔离问题。

主要改动：
- 新增 aether-hub Rust 项目，实现 proxy/worker 双向帧路由与 stream_id 重映射
- 新增 HubConnectionManager/HubTunnelTransport，worker 通过 Hub 转发 tunnel 帧
- 新增 create_tunnel_transport 工厂函数，按运行环境自动选择 Hub 或直连模式
- 新增 NODE_STATUS 广播机制，Hub 实时通知所有 worker 节点连接状态变化
- CI/CD 新增 build-hub job，Dockerfile 集成 Hub 二进制，deploy.sh 适配 Hub 构建
- 默认 GUNICORN_WORKERS 从 4 降为 2
 2026-03-02 02:43:14 +08:00
fawney19 20ed9cd123 feat(proxy): worker 退出时优雅关闭 tunnel 连接，提升 max-requests 默认值 
- TunnelManager 新增 shutdown_all 方法，drain 飞行中请求后发送 GoAway
- shutdown 期间标记 draining 拒绝新请求进入
- gunicorn max-requests 默认值从 4000 提升到 50000，减少不必要的 worker 重启
 2026-03-01 00:54:37 +08:00
fawney19 19f1be03fa feat(nginx): 添加 WebSocket 隧道端点的 nginx 代理配置 2026-02-26 03:33:53 +08:00
fawney19 4c83780b5e chore: 调整 Nginx 代理超时配置并移除废弃的 concurrency_slot_ttl 
- proxy_connect_timeout 从 600s 降至 60s
- proxy_send_timeout/proxy_read_timeout 从 600s 升至 3600s 以支持长时间流式响应
- 移除已无引用的 concurrency_slot_ttl 配置项
 2026-02-12 11:57:42 +08:00
fawney19 62c05093a0 fix(docker): 统一 max-requests 默认值为 4000 
PR #171 中 max-requests 的 fallback 默认值 (2000) 与 jitter 计算的默认值 (4000) 不一致，统一为 4000
 2026-02-11 17:26:22 +08:00
AAEE86 875ecca527 refactor(docker): 优化 Gunicorn 配置并提升代码可读性 
使 Gunicorn 的 max-requests 参数可通过环境变量 MAX_REQUESTS 配置,
并自动计算 max-requests-jitter (默认为 MAX_REQUESTS 的 1/20),
同时统一规范化 Dockerfile 中多行字符串的缩进格式
 2026-02-11 17:14:32 +08:00
fawney19 0bb17a1502 chore: Docker 基础镜像从 Python 3.14 降级到 3.13 2026-02-10 17:41:36 +08:00
fawney19 c5d1d2c21e fix: Nginx 白名单路由补充 v1beta 和 upload 路径前缀 2026-02-09 16:45:56 +08:00
fawney19 f22d2efb9d refactor: 优化 CI 缓存隔离与镜像标签策略，重构 Nginx 为白名单路由模式 
- CI: 按 scope 隔离 base/app 构建缓存，app 层使用 no-cache-filters 确保前端每次重建
- CI: 镜像标签改为 semver 优先，支持 pre/fix 预发布标签，启用 latest=auto
- Nginx: 从 try_files + @backend 回退模式改为白名单路由（api/v1/health → 后端，其余 → SPA）
 2026-02-09 16:04:54 +08:00
fawney19 16fb06ff4c perf: 使用 BuildKit 缓存加速 Docker 构建 
- 添加 # syntax=docker/dockerfile:1 启用 BuildKit 新语法
- apt-get 使用 --mount=type=cache 缓存包下载
- pip install 使用 --mount=type=cache 缓存依赖
- npm ci 使用 --mount=type=cache 缓存模块
- 添加 --no-install-recommends 减少安装包体积

缓存命中后构建时间从 ~40s 降至 ~1.5s
 2026-01-30 15:03:58 +08:00
AAEE86 24d24f6829 chore: 升级到 Python 3.14 并现代化代码 
- 升级 Docker 基础镜像从 Python 3.12 到 3.14
- 更新 pyproject.toml 支持 Python 3.13/3.14
- 移除 Python 3.8/3.9/3.10/3.11 分类器
- 更新 black 和 mypy 配置目标版本
- 将 get_event_loop() 替换为 get_running_loop() 加上 RuntimeError 处理
- 简化 compute_cost_sync 中的 asyncio.run 使用
- Dict/List/Tuple/Set → dict/list/tuple/set (PEP 585)
- Optional[T] → T | None (PEP 604)
- Union[A, B] → A | B (PEP 604)
- 移除废弃的 typing 导入
- 移除不必要的字符串引号注解
 2026-01-30 03:10:21 +08:00
AAEE86 b0b1bdf158 feat: 添加Gunicorn配置优化并改进Docker构建配置 
- 新增 gunicorn_conf.py 配置文件，实现：
  - GC冻结优化以改善Copy-on-Write内存共享
  - Worker RSS内存监控日志
  - 添加 --max-requests 和 --max-requests-jitter 防止内存泄漏

- 改进 Dockerfile 配置：
  - 修复 Nginx 静态文件目录权限问题

- 简化 docker-compose 配置：
  - 移除冗余的 PYTHONIOENCODING/LANG/LC_ALL 环境变量
 2026-01-29 22:53:42 +08:00
fawney19 ffdc9a9585 feat: 为 Provider 认证添加代理配置支持 
- 前端新增可折叠的代理配置字段组（URL/用户名/密码）
- 更新 anyrouter/cubence/new-api/yescode 模板支持代理
- 后端 provider_ops 服务验证和数据获取时支持代理
- 移除 Dockerfile 中的 ca-certificates（回退之前改动）
 2026-01-19 18:30:52 +08:00
fawney19 b6a9969aee fix: 添加 ca-certificates 解决 Docker 容器内 SSL 证书验证失败 
python:3.12-slim 镜像缺少系统级 CA 证书，导致 httpx 请求外部
HTTPS 服务时出现 CERTIFICATE_VERIFY_FAILED 错误。
 2026-01-19 18:02:04 +08:00
fawney19 6bc9cdc69d feat: 新增 Anyrouter/Cubence/YesCode 架构及余额监控增强 
- 新增三个 provider 架构：Anyrouter、Cubence、YesCode
- 前端新增对应的认证配置模板
- 余额监控增强：支持窗口限额显示（进度条+倒计时）、签到状态、错误信息展示
- 架构基类新增 prepare_verify_config 异步预处理方法
- API 返回 ops_architecture_id 字段用于前端展示
 2026-01-19 17:18:03 +08:00
fawney19 68ff828505 feat: 容器启动时自动执行数据库迁移 
- 添加 entrypoint.sh 在容器启动前执行 alembic upgrade head
- 更新 Dockerfile.app 和 Dockerfile.app.local 使用新入口脚本
- 移除手动迁移脚本 migrate.sh
- 简化 README 部署说明
 2026-01-08 01:28:36 +08:00
fawney19 59447fc12b fix: 固定容器内部端口为 8084，避免 PORT 环境变量导致端口冲突 2026-01-07 21:51:55 +08:00
fawney19 00f6fafcfc feat: 添加 API 文档路由、扩展用户列表字段、修复 CORS 配置 
- Dockerfile.app: 添加 /docs、/redoc、/openapi.json 的 nginx 代理规则
- routes.py: 管理员用户列表接口增加 allowed_providers/endpoints/models 字段
- main.py: 修复 CORS_ORIGINS=* 时 credentials 配置冲突问题
 2026-01-07 17:31:31 +08:00
fawney19 42dc64246c feat: 添加 GUNICORN_WORKERS 环境变量配置 2026-01-07 16:38:46 +08:00
fawney19 084bbc0bef refactor: 将 nginx gzip 压缩配置移至 server 块内部 2026-01-07 15:10:11 +08:00
fawney19 0061fc04b7 feat: 添加访问令牌管理功能并升级至 0.2.4 
- 新增 Management Token（访问令牌）功能，支持创建、更新、删除和管理
- 前端添加访问令牌管理页面，支持普通用户和管理员
- 后端实现完整的令牌生命周期管理 API
- 添加数据库迁移脚本创建 management_tokens 表
- Nginx 配置添加 gzip 压缩，优化响应传输
- Dialog 组件添加 persistent 属性，防止意外关闭
- 为管理后台 API 添加详细的中文文档注释
- 简化多处类型注解，统一代码风格
 2026-01-07 14:55:07 +08:00
fawney19 835be3d329 refactor: nginx 透传外层代理 IP 头并禁用审计日志页面的审计记录 
- Dockerfile.app/local: 使用 map 指令智能处理 X-Real-IP 和 X-Forwarded-For，
  有外层代理头则透传，否则使用 remote_addr
- audit.py: 查看审计日志不再产生审计记录，避免刷新页面时产生大量无意义日志
 2026-01-06 17:23:08 +08:00
fawney19 75d7e89cbb perf: 添加 gunicorn --preload 参数优化内存占用 
Worker 进程共享只读内存（代码、常量），可减少约 30-40% 内存占用

Closes #44
 2025-12-24 18:10:42 +08:00
fawney19 6aa1876955 feat: add Dockerfile.app.local for China mirror support 2025-12-19 16:20:02 +08:00
fawney19 7f07122aea refactor: separate frontend build from base image for faster incremental builds 2025-12-19 16:02:38 +08:00
fawney19 c2ddc6bd3c refactor: optimize Docker build with multi-stage and slim runtime base image 2025-12-19 15:51:21 +08:00