fawney19
|
1d72a8f9c1
|
feat: 流式空闲超时、健康监控查询优化、限流桶内存上限与维护清理修复
Close #233
Co-authored-by: AAEE86 <ppk0227@hotmail.com>
- cli_monitor_mixin: 引入 STREAM_IDLE_TIMEOUT_SECONDS（可通过环境变量配置），
流传输开始后若超出空闲窗口无新 chunk 则提前取消并返回 504，避免长时间挂起
- stream_context: 新增 managed_recorded_bodies 上下文管理器，确保 chunks 在
telemetry 完成后及时释放；stream_telemetry 使用该接口统一管理 response body 构建
- health endpoint: 将状态聚合改为 GROUP BY 直接统计，事件列表按 api_format
单独查询，避免单次 limit 拉取大量记录导致的遗漏与性能问题；同时过滤不活跃
provider/endpoint，与公开健康接口保持一致
- endpoint health service: 修正时间线数据按 endpoint_id 而非 key_id 聚合
- token_bucket: 引入 max_buckets/bucket_expiry 上限与定时清理，防止内存无限增长；
修复 refill_rate=0 时 get_reset_time 除零异常；新增 _is_unlimited_rate_limit 判断
- maintenance_scheduler: 调整清理顺序（先删整行再按窗口清理），新增 newer_than
边界参数，避免同一行在同一轮中被重复改写
- sync_execute: 新增 create_pending_usage 开关，允许已预创建记录的调用方跳过重复创建
- quota_reader / provider_ops balance: 小幅修复与健壮性提升
- Dockerfile: 添加 MALLOC_ARENA_MAX=2 环境变量以降低 gunicorn worker RSS
- 补充相关测试覆盖
|
2026-03-18 23:38:26 +08:00 |
|
fawney19
|
438f16094f
|
refactor(stream): 将不完整流 token 估算逻辑收敛到 StreamContext
- 新增 has_partial_response / ensure_estimated_output_tokens / should_estimate_incomplete_tokens 方法
- CancelledError 路径在归因前即补充 output_tokens，确保日志包含估算值
- CLI Handler 和 Chat Handler 的兜底估算统一使用 should_estimate_incomplete_tokens
- 移除 cli_monitor_mixin 和 stream_telemetry 中重复的条件判断
- 新增对应单元测试
|
2026-03-17 03:37:06 +08:00 |
|
fawney19
|
a66fa9792d
|
fix(stream): 修复流式请求超时和取消归因问题
- 流式请求 timeout 改为 None，避免 provider.request_timeout 作为整条流总时长超时导致长响应被硬切断
- 重构 CancelledError 断连归因逻辑：提取探测方法并支持多次重试确认，降低误判率
- 新增 cancelled_unknown 状态处理断连检测不确定的场景，避免错误归因为 server_cancelled
- 在 upstream_response 中记录取消详情，便于排查
- 新增断连归因逻辑的单元测试
|
2026-03-01 13:02:26 +08:00 |
|