i/Aether
1
0
Fork 0
mirror of https://github.com/fawney19/Aether.git synced 2026-09-02 01:10:23 +08:00
Code Issues Packages Projects Releases Wiki Activity
771 Commits 5 Branches 174 Tags
f2dc51434da90420b07e4e68275fe9ab7a3e6522
Commit Graph

37 Commits

Author SHA1 Message Date
fawney19
4fdebfc78e perf(usage): 优化 admin usage records 查询性能 
- count 查询按需 JOIN，避免不必要的表关联
- 前端 onMounted 将 stats/heatmap/records/users 全部并行加载
- 调整缓存 TTL（聚合 30s->60s，列表 10s->15s）
- 为 request_candidates 添加复合索引优化 fallback/retry 查询
 2026-02-28 15:09:21 +08:00
fawney19
fd9040b9aa refactor(proxy): 将 aether-proxy 从 HMAC 正向代理迁移到 WebSocket 隧道模式 
移除 HMAC 认证、TLS 自签名证书、HTTP CONNECT 代理和代发(delegate)模式，
改为 aether-proxy 主动通过 WebSocket 连接 Aether 服务端建立隧道。

Aether 服务端新增:
- WebSocket 隧道端点 (proxy_tunnel.py)
- TunnelManager 管理隧道连接和请求分发
- TunnelTransport 作为 httpx 自定义 transport 层
- 基于二进制帧的隧道协议 (tunnel_protocol.py)

aether-proxy (Rust) 重构:
- 新增 tunnel 模块 (client/dispatcher/stream_handler/protocol)
- 支持多 Aether 服务端连接 ([[servers]] 配置)
- 移除 proxy/auth/delegate 模块和 hyper 依赖
- 改用 tokio-tungstenite 实现 WebSocket 客户端

同时:
- 添加浏览器指纹 Headers 绕过 Cloudflare 防护
- 删除节点时自动清理 Provider/Endpoint 的代理引用
- 数据库迁移: 新增 tunnel_mode/tunnel_connected/tunnel_connected_at 字段
 2026-02-25 21:59:29 +08:00
fawney19
63870931af refactor: 调度器迁移至独立模块，消除 services->api 反向依赖 
- 将调度器相关模块从 src/services/cache/ 迁移到 src/services/scheduling/
- 下沉类型定义到 core 层: AccessRestrictions, ProviderAuthInfo, ParsedChunk/StreamStats, 视频工具函数
- 提取 thinking_cache 签名缓存到 core/api_format/conversion/
- 提取 provider 认证逻辑到 services/provider/auth
- 提取遥测记录到 services/usage/telemetry
- 提取 models 列表缓存到 services/cache/model_list_cache
- 更新所有引用方的 import 路径及相关测试
 2026-02-16 11:00:48 +08:00
fawney19
4c83780b5e chore: 调整 Nginx 代理超时配置并移除废弃的 concurrency_slot_ttl 
- proxy_connect_timeout 从 600s 降至 60s
- proxy_send_timeout/proxy_read_timeout 从 600s 升至 3600s 以支持长时间流式响应
- 移除已无引用的 concurrency_slot_ttl 配置项
 2026-02-12 11:57:42 +08:00
fawney19
4276e7835c refactor: 自适应 RPM 从边界记忆改为多次观察确认 + 置信度衰减 
将自适应 RPM 限制算法从"单次 429 即设限"重构为基于置信度的学习机制：

- 收到 429 时仅记录观察（本地 RPM + 上游 header 限制值），不立即设限
- 有 header 的观察需 2 次一致确认，无 header 需 3 次一致确认
- confidence 随时间自然衰减，确保限制永远不会固化
- confidence 低于阈值时停止本地 RPM 限制，429 直接透传客户端
- 统一 get_effective_limit 入口，消除多处重复的限制获取逻辑
- Admin API 增加置信度、观察数量等诊断字段
 2026-02-10 14:58:15 +08:00
fawney19
1180634269 feat: ProxyNode 代理节点管理系统与 OpenAI Responses API 解析增强 
ProxyNode 系统：新增 aether-proxy（Rust）海外 VPS 代理组件，后端实现节点注册/心跳/
HMAC 认证/健康检测调度器/模块化集成，前端新增代理节点管理页面。ProxyConfig 支持
node_id 模式，http_client 支持 HMAC 签名代理 URL 构建与 TTL 缓存。

OpenAI CLI 解析器：适配 Responses API 格式，支持 input_tokens/output_tokens 提取、
output[].content[].text 文本解析、response.completed 流式事件 usage 嵌套结构。
 2026-02-07 12:52:25 +08:00
fawney19
ed2ff5c1d7 feat: 性能监控基础设施、解密缓存及计费简化 
- 新增 PerfRecorder 性能记录工具，支持采样率与慢请求日志
- 在请求管道中埋点：auth、body_read、json_parse、context_build、authorize、handle
- 流处理器增加 parse/conversion 耗时追踪与 perf_metrics 落库
- 解密服务添加 LRU 缓存，降低高频解密 CPU 开销
- 格式转换分层开关设计：全局 OFF 时回退到端点配置，而非一刀切拒绝
- 移除 shadow billing 模块，统一使用新计费引擎
- 新增 Codex 网关请求适配器（store=false、role 映射、include 补齐）
- endpoint 创建接口支持 body_rules 参数
 2026-02-05 14:22:11 +08:00
fawney19
f3e2f84b38 feat: 统计数据优化 - 支持细粒度时间范围和多维度分析 
- 新增 StatsHourly/StatsDaily 预聚合表，支持任意时区的精确统计
- 实现 UTC datetime 范围查询策略，边界数据实时聚合
- 新增统计 API：用户/API Key 维度、成本分析、性能百分位、错误分类
- 新增前端页面：成本分析、性能分析、用户统计
- 新增 TimeRangePicker 组件和统计可视化组件
- 优化 Dashboard 和 Usage 页面支持时间范围筛选

Close #135
 2026-02-04 02:04:54 +08:00
fawney19
00442c41fa feat: 视频计费增强与影子计费系统 2026-02-03 18:48:39 +08:00
fawney19
97b15afe7c feat: 添加多维度计费系统和视频任务管理功能 
计费系统:
- 新增 BillingRule 和 DimensionCollector 数据模型
- 实现 FormulaEngine 安全表达式求值引擎 (AST 白名单)
- 支持 dimension/matrix/tiered/constant 多种维度映射
- BillingRuleService 支持 Provider Model -> GlobalModel 规则回退
- CLI task_type 在计费域自动映射为 chat

视频任务增强:
- 添加 request_metadata 字段记录候选 key 和计费规则快照
- 后台轮询支持并发控制 (Semaphore + 独立 session)
- 任务终态自动写入 Usage 记录并计算成本
- 新增视频任务管理 API 和前端界面

其他改进:
- UsageService 新增 record_usage_with_custom_cost 方法
- StandardizedUsage 支持 dimensions 字段 (兼容 extra)
- 配置新增 BILLING_REQUIRE_RULE 和 BILLING_STRICT_MODE
 2026-01-31 19:11:25 +08:00
fawney19
5603c72f40 fix: 修复 mypy 类型检查错误并升级到 Python 3.14 
主要变更：
- 修复 1483 个 mypy 类型检查错误
- 添加缺失的类型注解 (Any, Callable, Session 等)
- 修复隐式 Optional 类型 (param: Type = None -> param: Type | None = None)
- 修复 __new__ 单例模式返回类型
- 添加 type: ignore 注释处理第三方库类型问题
- 更新 pyproject.toml 依赖到 Python 3.14 兼容版本
- 更新 mypy/black 配置为 Python 3.14
 2026-01-30 14:30:57 +08:00
fawney19
bae278a0c1 feat: 添加提供商格式转换优先级保持配置 
- 新增 Provider.keep_priority_on_conversion 字段，控制格式转换时是否保持优先级
- 新增全局配置 KEEP_PRIORITY_ON_CONVERSION，可全局启用优先级保持
- 调度器根据配置决定是否降级需要格式转换的候选
- 前端 Provider 表单添加"保持优先级"开关
- 调整 HTTP 读写超时默认值为 3600 秒
 2026-01-28 15:53:33 +08:00
fawney19
865be3a6bf feat: 添加异步使用量记录队列系统 
- 新增 QueueTelemetryWriter 支持通过内存队列异步记录使用量
- 新增 UsageQueueConsumer 消费者，支持批量处理和流式消费
- 重构 StreamTelemetryRecorder 支持队列写入模式
- UsageService 新增 record_usage_batch 批量记录方法
- 新增 USAGE_QUEUE_ENABLED 和 USAGE_QUEUE_INCLUDE_BODIES 配置项
- 状态值新增 cancelled 类型支持
 2026-01-28 09:54:18 +08:00
fawney19
af0daa91ad refactor: 将格式转换全局开关迁移到环境变量配置 
- 新增 FORMAT_CONVERSION_ENABLED 环境变量（默认开启）
- 移除数据库中的 format_conversion_enabled 系统配置
- 移除前端系统设置页面的格式转换开关 UI
- 统一同族格式转换（OPENAI/OPENAI_CLI）逻辑，也需检查全局开关和端点配置
- 流生成器使用 ctx.needs_conversion 替代 _needs_format_conversion 方法调用
- 更新测试用例适配新逻辑
- 清理 .env.example 中过时的超时和连接池配置注释
 2026-01-28 01:22:39 +08:00
fawney19
af1828dd32 feat: 新增 Thinking 整流器处理跨 Provider 签名错误 (#115) 
当 Provider A 生成的 thinking 块被发送到 Provider B 时，签名验证会失败。
本次更新实现了自动整流机制，在遇到签名错误时自动清洗 thinking 块后重试。

主要更改：
- 新增 ThinkingRectifier 整流器，移除 thinking 块和 signature 字段
- 新增 ThinkingSignatureException 异常类型
- ErrorClassifier 新增 Thinking 错误模式检测
- FallbackOrchestrator 支持整流后在当前候选重试
- Handler 层传递 request_body_ref 容器支持请求体动态修改
- Usage API 新增 has_rectified 字段标识整流过的请求
- 新增 THINKING_RECTIFIER_ENABLED 配置项控制功能开关

其他改进：
- CacheAwareScheduler 支持 exact/convertible 候选分组排序
- StreamProcessor 预读阶段新增格式转换试验
- ProviderAPIKey.api_formats 改为可空（None 表示支持所有格式）
- Dockerfile 修复 entrypoint.sh 换行符问题

Closes #115
Co-Authored-By: FredericMN <FredericMN@users.noreply.github.com>
 2026-01-22 14:23:33 +08:00
fawney19
cc5db20c58 feat: 实现跨 API 格式自动转换功能 
- 新增端点级 format_acceptance_config 配置，控制是否接受跨格式请求
- 重构 EndpointFormDialog 为卡片式布局，支持内联编辑和格式转换开关
- StreamProcessor 实现流式响应的跨格式转换，支持 OpenAI/Claude/Gemini 互转
- CacheAwareScheduler 按端点格式筛选候选，同格式优先于跨格式
- 健康度/熔断按 Provider 端点格式分桶，而非客户端请求格式
- 新增 format_conversion_total 和 format_conversion_duration_seconds 指标
- 新增全局配置 format_conversion_enabled 控制总开关
- Input 组件新增 size="sm" 尺寸选项
 2026-01-22 01:48:56 +08:00
fawney19
50343d5459 refactor: 移除 Provider/Endpoint 级别的 timeout 配置，改用全局环境变量 
- 废弃 Provider.timeout 和 ProviderEndpoint.timeout 字段（保留数据库列以兼容）
- 非流式请求超时由 HTTP_REQUEST_TIMEOUT 环境变量控制（默认 300 秒）
- 流式请求首字节超时由 STREAM_FIRST_BYTE_TIMEOUT 环境变量控制（默认 30 秒）
- 移除前端表单中的超时配置输入框
- 简化 settings.py 中的 TTFB 超时解析逻辑
- 更新 API 请求/响应模型，移除 timeout 字段
- 更新导入导出功能，不再包含 timeout 配置
 2026-01-16 13:08:39 +08:00
fawney19
514bf7e3ed feat(usage): 改进请求追踪与缓存预热 
- 区分请求重试与故障转移：新增 has_retry 标识亲和缓存重试
- 修正候选 TTFB 计算：记录候选自身的首字节时间而非全局时间
- Streaming 状态同步 rate_multiplier，支持按 API 格式配置
- 新增缓存预热服务：启动时预热仪表盘统计、热力图、每日统计
- 优化缓存 TTL 配置：仪表盘统计 2 分钟、热力图和每日统计 10 分钟
- 自动刷新间隔从 10 秒调整为 5 秒
 2026-01-15 11:45:46 +08:00
fawney19
0ed053b02f fix(model-resolution): 修复模型解析优先级和别名匹配范围 
- 调整 ModelCacheService 解析优先级：优先直接匹配 GlobalModel.name，
  避免被 provider_model_name 误导到错误的 GlobalModel
- 为 check_model_allowed_with_aliases 新增 candidate_models 参数，
  限制别名匹配只能落到 Provider 实际配置的模型名上
- 对 allowed_set 排序以确保别名匹配结果的确定性
- 调整 HTTP_READ_TIMEOUT 默认值从 300s 改为 60s
- 优化 ModelMappingTab 组件布局，将正则表达式提取到 Key 级别展示
- 补充 .env.example 超时配置文档
 2026-01-14 17:29:04 +08:00
fawney19
09e0f594ff refactor: 重构限流系统和健康监控，支持按 API 格式区分 
- 将 adaptive_concurrency 重命名为 adaptive_rpm，从并发控制改为 RPM 控制
- 健康监控器支持按 API 格式独立管理健康度和熔断器状态
- 新增 model_permissions 模块，支持按格式配置允许的模型
- 重构前端提供商相关表单组件，新增 Collapsible UI 组件
- 新增数据库迁移脚本支持新的数据结构
 2026-01-10 18:48:35 +08:00
fawney19
d378630b38 perf: 添加多层缓存优化减少数据库查询 
- 新增 ProviderCacheService 缓存 Provider 和 ProviderAPIKey 数据
- SystemConfigService 添加进程内缓存（TTL 60秒）
- API Key last_used_at 更新添加节流策略（60秒间隔）
- HTTP 连接池配置改为可配置，支持根据 Worker 数量自动计算
- 前端优先级管理改用 health_score 显示健康度
 2026-01-08 02:34:59 +08:00
fawney19
0061fc04b7 feat: 添加访问令牌管理功能并升级至 0.2.4 
- 新增 Management Token（访问令牌）功能，支持创建、更新、删除和管理
- 前端添加访问令牌管理页面，支持普通用户和管理员
- 后端实现完整的令牌生命周期管理 API
- 添加数据库迁移脚本创建 management_tokens 表
- Nginx 配置添加 gzip 压缩，优化响应传输
- Dialog 组件添加 persistent 属性，防止意外关闭
- 为管理后台 API 添加详细的中文文档注释
- 简化多处类型注解，统一代码风格
 2026-01-07 14:55:07 +08:00
fawney19
2395093394 refactor: 简化 IP 获取逻辑并将请求体超时配置化 
- 移除 TRUSTED_PROXY_COUNT 配置，改为优先使用 X-Real-IP 头
- 添加 REQUEST_BODY_TIMEOUT 环境变量，默认 60 秒
- 统一 get_client_ip 逻辑，优先级：X-Real-IP > X-Forwarded-For > 直连 IP
 2026-01-06 16:29:03 +08:00
fawney19
e5f12fddd9 feat: 流式预读增强与自适应并发算法优化 
流式预读增强：
- 新增预读字节上限（64KB），防止无换行响应导致内存增长
- 预读结束后检测非 SSE 格式的错误响应（HTML 页面、纯 JSON 错误）
- 抽取 check_html_response 和 check_prefetched_response_error 到 utils.py

自适应并发算法优化（边界记忆 + 渐进探测）：
- 缩容策略：从乘性减少改为边界 -1，一次 429 即可收敛到真实限制附近
- 扩容策略：普通扩容不超过已知边界，探测性扩容可谨慎突破（每次 +1）
- 仅在并发限制 429 时记录边界，避免 RPM/UNKNOWN 类型覆盖
 2026-01-05 12:17:45 +08:00
fawney19
a2f33a6c35 perf: 拆分热力图为独立接口并添加 Redis 缓存 
- 新增独立热力图 API 端点 (/api/admin/usage/heatmap, /api/users/me/usage/heatmap)
- 添加 Redis 缓存层 (5分钟 TTL)，减少数据库查询
- 用户角色变更时清除热力图缓存
- 前端并行加载统计数据和热力图，添加加载/错误状态显示
- 修复 cache_decorator 缺少 JSON 解析错误处理的问题
- 更新 docker-compose 启动命令提示
 2026-01-04 22:42:58 +08:00
fawney19
cddc22d2b3 refactor: 重构邮箱验证模块并修复代码审查问题 
- 重构: 将 verification 模块重命名为 email，目录结构更清晰
- 新增: 独立的邮件配置管理页面 (EmailSettings.vue)
- 新增: 邮件模板管理功能（支持自定义 HTML 模板和预览）
- 新增: 查询验证状态 API，支持页面刷新后恢复验证流程
- 新增: 注册邮箱后缀白名单/黑名单限制功能
- 修复: 统一密码最小长度为 6 位（前后端一致）
- 修复: SMTP 连接添加 30 秒超时配置，防止 worker 挂起
- 修复: 邮件模板变量添加 HTML 转义，防止 XSS
- 修复: 验证状态清除改为 db.commit 后执行，避免竞态条件
- 优化: RegisterDialog 重写验证码输入组件，提升用户体验
- 优化: Input 组件支持 disableAutofill 属性
 2026-01-01 02:10:19 +08:00
fawney19
b89a4af0cf refactor: 统一 HTTP 客户端超时配置 
将 HTTPClientPool 中硬编码的超时参数改为使用可配置的环境变量，提高系统的灵活性和可维护性。

- 添加 HTTP_READ_TIMEOUT 环境变量配置（默认 300 秒）
- 统一所有 HTTP 客户端创建逻辑使用配置化超时
- 改进变量命名清晰性（config -> default_config 或 client_config）
 2025-12-30 15:06:55 +08:00
fawney19
d7384e69d9 fix: improve code quality and add type safety for Key updates 
- Replace f-string logging with lazy formatting in keys.py (lines 256, 265)
- Add EndpointAPIKeyUpdate type interface for frontend type safety
- Use typed EndpointAPIKeyUpdate instead of any in KeyFormDialog.vue
 2025-12-23 00:11:10 +08:00
fawney19
1d5c378343 feat: add TTFB timeout detection and improve stream handling 
- Add stream first byte timeout (TTFB) detection to trigger failover
  when provider responds too slowly (configurable via STREAM_FIRST_BYTE_TIMEOUT)
- Add rate limit fail-open/fail-close strategy configuration
- Improve exception handling in stream prefetch with proper error classification
- Refactor UsageService with shared _prepare_usage_record method
- Add batch deletion for old usage records to avoid long transaction locks
- Update CLI adapters to use proper User-Agent headers for each CLI client
- Add composite indexes migration for usage table query optimization
- Fix streaming status display in frontend to show TTFB during streaming
- Remove sensitive JWT secret logging in auth service
 2025-12-22 23:44:42 +08:00
fawney19
df9f9a9f4f feat: add internal model list query interface with configurable User-Agent headers 2025-12-19 23:40:42 +08:00
fawney19
c69a0a8506 refactor: remove stream smoothing config from system settings and improve base image caching 
- Remove stream_smoothing configuration from SystemConfigService (moved to handler default)
- Remove stream smoothing UI controls from admin settings page
- Add AdminClearSingleAffinityAdapter for targeted cache invalidation
- Add clearSingleAffinity API endpoint to clear specific affinity cache entries
- Include global_model_id in affinity list response for UI deletion support
- Improve CI/CD workflow with hash-based base image change detection
- Add hash label to base image for reliable cache invalidation detection
- Use remote image inspection to determine if base image rebuild is needed
- Include Dockerfile.base in hash calculation for proper dependency tracking
 2025-12-19 13:09:56 +08:00
fawney19
85fafeacb8 feat: add stream smoothing feature for improved user experience 
- Implement StreamSmoother class to split large content chunks into smaller pieces with delay
- Support OpenAI, Claude, and Gemini API response formats for smooth playback
- Add stream smoothing configuration to system settings (enable, chunk size, delay)
- Create streamlined API for stream smoothing with StreamSmoothingConfig dataclass
- Add admin UI controls for configuring stream smoothing parameters
- Use batch configuration loading to minimize database queries
- Enable typing effect simulation for better user experience in streaming responses
 2025-12-19 03:15:19 +08:00
fawney19
7b932d7afb refactor: optimize middleware with pure ASGI implementation and enhance security measures 
- Replace BaseHTTPMiddleware with pure ASGI implementation in plugin middleware for better streaming response handling
- Add trusted proxy count configuration for client IP extraction in reverse proxy environments
- Implement audit log cleanup scheduler with configurable retention period
- Replace plaintext token logging with SHA256 hash fingerprints for security
- Fix database session lifecycle management in middleware
- Improve request tracing and error logging throughout the system
- Add comprehensive tests for pipeline architecture
 2025-12-18 19:07:20 +08:00
fawney19
21587449c8 fix: improve error classification and logging system 
- Enhance error classifier to properly handle API key failures with fallback support
- Add error reason/code parsing for better AWS and multi-provider compatibility
- Improve error message structure detection for non-standard formats
- Refactor file logging with size-based rotation (100MB) instead of daily
- Optimize production logging by disabling backtrace and diagnose
- Clean up model validation and remove redundant configurations
 2025-12-18 10:57:31 +08:00
fawney19
88e37594cf refactor(backend): update handlers, utilities and core modules after models restructure 2025-12-15 14:30:53 +08:00
fawney19
53bf74429e refactor: 重构流式处理模块，提取 StreamContext/Processor/Telemetry 
- 将 chat_handler_base.py 中的流式处理逻辑拆分为三个独立模块：
  - StreamContext: 类型安全的流式上下文数据类，替代原有的 ctx dict
  - StreamProcessor: SSE 解析、预读、嵌套错误检测
  - StreamTelemetryRecorder: 统计记录（Usage/Audit/Candidate）
- 将硬编码配置外置到 settings.py，支持环境变量覆盖：
  - HTTP 超时配置（connect/write/pool）
  - 流式处理配置（预读行数、统计延迟）
  - 并发控制配置（槽位 TTL、缓存预留比例）
 2025-12-12 15:42:45 +08:00
fawney19
f784106826 Initial commit 2025-12-10 20:52:44 +08:00