3履约任务13 分钟

原生 Chat API 调优与参数深度剖析

temperature、max_tokens、penalty 等参数的场景化配置,以及统一 llm_client 封装设计。

Chat API参数调优FastAPIhttpx
进度保存在本机浏览器;验收通过后再点更稳妥
本课任务 · AI 履约学法

实现 Provider Adapter + profile 参数预设 + timeout/retry。

推荐:复制 Prompt → 在 AI大模型/AI编程工具 改项目 → 跑验收 → 再展开下方概念卡。不必先对着仓库读代码。

Prompt
你在 codehub-llm-core 中实现 LLM 客户端工程化。

本课目标:
1. services/llm/:抽象 LLMClient + OpenAICompatibleClient + factory
2. profile:extract(temperature=0.1) / chat(0.7) / code(0.2)
3. timeout=60s,最多 3 次指数退避重试
4. 映射 Timeout / 429 到业务错误码

约束:
- 禁止在 Router 里写重试逻辑
- 日志记录 model、latency_ms(有 usage 则记 tokens)

验收:curl 分别用 profile=extract 与 profile=chat,观察输出差异。
验收标准npm run verify:llm-03
  • profile 参数生效
  • 模拟超时返回业务错误码而非裸 500
  • Provider 可通过 env 切换 base_url

卡关对照:Gitee tag phase-1-llm-api(验收通过后再看,或路径 C 直接 checkout)