Chat Completions

POST /v1/chat/completions 适合既有 OpenAI SDK、聊天应用和需要 messages 数组的服务。

from openai import OpenAI

client = OpenAI(
    api_key="sk-...",
    base_url="https://ai.tavonilo.com/v1",
)

completion = client.chat.completions.create(
    model="<MODEL_ID>",
    messages=[
        {"role": "system", "content": "回答应简洁准确。"},
        {"role": "user", "content": "什么是指数退避？"},
    ],
)
print(completion.choices[0].message.content)

流式聊天

{
  "model": "<MODEL_ID>",
  "messages": [{"role": "user", "content": "给我一个 TypeScript 类型守卫示例"}],
  "stream": true
}

逐个读取增量 choices[].delta 并等待结束标记。应用必须容忍空增量、工具调用增量和网络中断；用户取消连接不保证上游已停止生成，也不应把取消当作可安全重放的请求。

选择协议

优先使用与你的 SDK 和目标模型明确兼容的路由。网关可能为兼容上游在协议间转换请求，但转换不会让任意参数或工具能力自动可用；遇到 400/422 时删去不被目标模型接受的可选字段后重试。