GPT-3.5 Turbo 微调现已推出，GPT-4 微调将于今年秋季推出。此更新使开发人员能够自定义运行自定义模型，使其在用例中表现更好。早期的测试表明，GPT-3.5 Turbo 微调版本在某些专项任务上甚至超越 GPT-4 的基础功能。从微调 API 发送和发送的数据归客户所有，OpenAI 或任何其他组织都不会使用这些数据来训练其他模型。

微调用例
自 GPT-3.5 Turbo 发布以来，开发人员和企业都要求能够自定义模型，为用户创造独特和差异化的体验。通过此次发布，开发人员现在可以微调，以使该模型在其用例中表现更好。

在私人测试版中，微调已经能够在常见用例中提高模型性能，例如：
• 可操纵性的改进：微调使模型更好地遵循指令，例如：输出简洁或始终以给定的语言响应。开发人员可以使用微调来确保模型在被提示使用德语时，总是以德语响应。

• 输出格式更加可靠：微调提高了模型格式化响应的能力，这对于需要特定响应格式的应用程序，如：代码完成或编写API调用来说是一个至关重要的功能。开发人员可以使用微调将用户提示转换为可以在自己的系统中使用的高质量JSON片段。

• 自定义格调：微调是调整模型输出指定格调的好方法，因此更适合企业品牌的风格。

除了提高性能外，微调还能够缩短提示词。GPT-3.5-Turbo 微调可以处理 4K 令牌-是之前微调模型的两倍。早期的测试人员通过微调模型本身的指令，将提示词大小减少了90%，加快了每个API调用并降低了成本。

当与其他技术，如：即时工程、信息检索和函数调用，结合使用时，微调的功能最为强大。查看我们的微调指南[2]以了解更多信息。对函数调用和 gpt-3.5-turbo-16k 微调的支持将在今年秋季晚些时候推出。

微调步骤
第一步：准备数据

{
  "messages": [
    { "role": "system", "content": "You are an assistant that occasionally misspells words" },
    { "role": "user", "content": "Tell me a story." },
    { "role": "assistant", "content": "One day a student went to schoool." }
  ]
}

第二步：上传文件

curl https://api.openai.com/v1/files \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "purpose=fine-tune" \
  -F "file=@path_to_your_file" 

第三步：创建微调作业

curl https://api.openai.com/v1/fine_tuning/jobs \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "training_file": "TRAINING_FILE_ID",
  "model": "gpt-3.5-turbo-0613"
}'

一旦模型完成微调过程，可以立即用于生产，并具有与基础模型相同的共享速率。

第四步：使用微调模型

# 堆代码 duidaima.com
curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "model": "ft:gpt-3.5-turbo:org_id",
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that occasionally misspells words"
    },
    {
      "role": "user",
      "content": "Hello! What is fine-tuning?"
    }
  ]
}'

将在不久的将来推出一个微调UI，给予开发人员更容易访问正在进行的微调工作，模型快照等信息。

安全性
微调过程保留了默认模型的安全功能，微调训练数据通过 Moderation API 和 GPT-4 支持的 Moderation 系统传递，以检测与安全标准冲突的不安全训练数据。

定价
微调成本分为两部分：初始培训成本和使用成本。从使用的价格上来看，微调后的 GPT-3.5 是原始版本的8倍。
• 培训：$0.008 /1K Token
• 使用输入：$0.012 /1K Token
• 使用输出：$0.016 /1K Token

例如，具有 100，000 个令牌的训练文件 gpt-3.5-turbo 微调作业被训练了 3 个 Epoch，预期成本为 2.40 美元。