LLMOps 包括用于操作管理生产环境中的大语言模型的实践、技术和工具。

最新的大语言模型（LLM）进展，例如 OpenAI 的 GPT、Google 的 Bard 和 Databricks 的 Dolly，推动了构建和部署 LLM 的企业快速增长。构建如何操作这些模型的最佳实践迫在眉睫。LLMOps 允许有效地部署、监控和维护大语言模型。与传统的机器学习运维 （MLOps） 一样，LLMOps 需要数据科学家、DevOps 工程师和 IT 专业人员的合作。

LLM 是一种新类型的自然语言处理 （NLP） 模型，从开放性问题回答到总结再到遵循几乎任意指示，都远远超越了之前的最先进水平。MLOps 的操作要求通常也适用于 LLMOps，但训练和部署 LLM 的挑战需要对 LLMOps 采取独特的方法。

一.LLMOps 与 MLOps 有什么不同？
为了调整 MLOps 实践，我们需要考虑与 LLM 相关的机器学习 （ML） 工作流程和要求的变化。关键考虑因素包括：

计算资源：通常情况下，训练和微调 LLM 涉及对大数据集执行数量级更多的计算。为了加速这个过程，使用专用硬件，例如 GPU，以实现更快的数据并行操作。对于训练和部署大型语言模型而言，访问这些专用计算资源变得至关重要。推理的成本也可能使模型压缩和蒸馏技术变得重要。

迁移学习：与许多传统 ML 模型不同，许多 LLM 从基础模型开始，并使用新数据进行微调，以提高特定领域的性能。微调允许使用更少的数据和计算资源获得特定应用的最先进性能。

人类反馈：通过人类反馈的强化学习（RLHF）是训练 LLM 的主要改进之一。更通用的说法是，由于 LLM 任务通常非常开放，因此应用程序最终用户的人类反馈通常对评估 LLM 性能至关重要。将这个反馈循环集成到 LLMOps 流水线中既简化了评估，又为将来对 LLM 进行微调提供了数据。

超参数调优：在传统 ML 中，超参数调优通常集中在提高准确性或其他指标上。对于 LLM，调优也变得重要，以减少训练和推理的成本和计算能力需求。例如，调整批次大小和学习速率可以显著改变训练的速度和成本。因此，传统 ML 模型和 LLM 都会受益于跟踪和优化调优过程，但重点不同。

性能指标：传统 ML 模型具有非常清晰的性能指标，例如准确性、AUC、F1 分数等。这些指标相对简单易计算。然而，评估 LLM 时，需要应用一整套不同的标准指标和评分，例如双语评估杂志 （BLEU） 和面向摘要的召回率学生评估 （ROUGE），这在实施时需要一些额外的考虑。

提示工程：遵循指示的模型可以接受复杂的提示或指令集。构建这些提示模板对于获得 LLM 的准确、可靠反馈至关重要。提示工程可以减少模型产生幻觉和提示黑客攻击的风险，包括提示注入、泄露敏感数据和越狱。

构建 LLM 链或流水线：使用 LangChain 或 LlamaIndex 等工具构建的 LLM 流水线可以将多个 LLM 调用和 / 或外部系统调用（例如向量数据库或网络搜索）串联在一起。这些流水线允许 LLM 用于诸如基于一组文档回答用户问题的复杂任务。LLM 应用程序开发通常侧重于构建这些流水线，而不是构建新的 LLM。

二.我们为什么需要 LLMOps？
尽管在原型设计中使用 LLM 相对简单，但在商业产品中使用 LLM 仍然面临挑战。LLM 的开发生命周期包括很多复杂的组件，比如数据采集、数据准备、提示工程、模型微调、模型部署、模型监控等。

此外，它还需要数据工程、数据科学和机器学习工程团队之间的协作和交接。它需要严格的操作规范来确保所有这些过程同步并协同工作。LLMOps 包括 LLM 开发生命周期的实验、迭代、部署和持续改进。

三.LLMOps 有什么优势？
LLMOps 的主要优势是提高效率、可扩展性和降低风险。
效率：LLMOps 可以让数据团队更快地开发模型和流水线，交付更高质量的模型，并更快地部署到生产环境。
可扩展性：LLMOps 还可以实现大规模的可扩展性和管理，可以监督、控制、管理和监控数千个模型，以实现持续集成、持续交付和持续部署。具体而言，LLMOps 可以实现 LLM 流水线的可重复性，加强数据团队之间的紧密协作，减少与 DevOps 和 IT 的冲突，加速发布速度。
风险降低：LLM 通常需要接受监管审查，LLMOps 可以提高透明度，更快地响应这些请求，确保更好地遵守组织或行业的政策。

四.LLMOps 由什么组成？
LLMOps 在机器学习项目中的应用范围可以根据项目的需求而变得更加集中或广泛。在某些情况下，LLMOps 可能包括从数据准备到流水线生产的所有内容，而其他项目可能只需要实现模型部署过程。

五.LLMOps 的最佳实践是什么？
LLMOps 的最佳实践可以根据应用 LLMOps 原则的阶段来划分。
探索性数据分析（EDA）：通过创建可复制、可编辑和可分享的数据集、表格和可视化，迭代地探索、分享和准备数据，以适应机器学习的生命周期。

数据准备和提示工程：迭代地转换、聚合和去重数据，并使数据在数据团队之间可见和可分享。迭代地开发用于 LLM 的结构化、可靠查询的提示。

模型微调：使用流行的开源库，如 Hugging Face Transformers、DeepSpeed、PyTorch、TensorFlow 和 JAX 来微调和提高模型性能。

模型审查和治理：跟踪模型和流水线的溯源和版本，管理这些工件及其生命周期的过渡。使用开源 MLOps 平台，如 MLflow，在 ML 模型之间发现、分享和协作。

模型推理和服务：在测试和质量保证中，管理模型刷新的频率、推断请求次数和类似的生产细节。使用 CI/CD 工具，如代码仓库和编排器（借鉴 DevOps 原则），以自动化预生产流水线。启用带有 GPU 加速的 REST API 模型端点。

模型监控和人类反馈：创建模型和数据监控流水线，并为模型偏移和恶意用户行为设置警报。

六.LLMOps 有什么用？

LLMOps 平台为数据科学家和软件工程师提供一个协作环境，该环境促进了迭代的数据探索、实时的共同工作能力，用于实验跟踪、提示工程、模型和流水线管理，以及受控的模型转换、部署和监控 LLM。LLMOps 自动化了机器学习生命周期的操作、同步和监控方面。