您听说过大型语言模型操作 (LLMOps) 吗？LLMOps 引入了可帮助您管理 LLM 和 LLM 支持的应用程序的生命周期的工具和最佳实践。 

在这篇文章中，我将解释 LLMOps 与 MLOps 的区别以及 LLM 将如何影响生成式 AI 的采用。

组织如何使用大型语言模型 (LLM)？

培训基础法学硕士（例如 GPT、Claude、Titan 和 LLaMa）可能是一项巨大的财务任务。大多数组织缺乏充足的预算、先进的基础设施和经验丰富的机器学习专业知识来培训基础模型并使其可用于构建生成式 AI 驱动的系统。 

许多企业并不培训基础模型，而是探索更经济的替代方案，将 LLM 纳入其运营。然而，每种选择仍然需要明确定义的流程和正确的工具来促进开发、部署和维护。 

及时工程

提示工程涉及巧妙创建文本输入（称为提示），以引导 LLM 产生预期的输出。诸如小样本和思路链 (CoT) 提示之类的技术可提高模型的准确性和响应质量。 

这种方法非常简单，允许企业通过 API 调用或 ChatGPT 网络界面等用户友好平台与 LLM 进行交互。

微调

这种方法类似于迁移学习。微调意味着通过在特定领域的数据上进行训练，使预先训练的 LLM 适应特定用例。 

微调可以增强模型的输出，并最大限度地减少幻觉（答案听起来合乎逻辑，但实际上并不准确）。虽然微调的初始成本可能比快速工程更昂贵，但其优势在推理过程中会变得明显。 

通过使用组织的专有数据对模型进行微调，推理过程中产生的提示会更简洁，需要的令牌更少。这可以提高模型效率、加快 API 响应速度并降低后端成本。 

ChatGPT 是微调的一个例子。GPT 是基础模型，而 ChatGPT 是经过微调的模型，适用于以对话风格生成文本。

检索增强生成 (RAG)

RAG 通常被称为知识或提示增强，它以提示工程为基础，通过从外部来源（例如矢量数据库或 API）补充提示信息。这些数据在提交给 LLM 之前被纳入提示中。 

RAG 是一种更经济的方法，无需进行大量的模型微调即可提高模型的事实可靠性。 

什么是大型语言模型操作 (LLMOps)？

在快速发展的人工智能 (AI) 领域，像 ChatGPT 这样的 LLM 已经成为了突破性的工具。但任何使用 LLM 研究过 AI 系统的人都知道，从本地 Jupyter Notebook 中的概念验证过渡到成熟的生产系统面临着巨大的挑战。 

LLM 在开发、部署和维护方面带来了独特的障碍。随着这些语言模型的复杂性和规模不断增长，高效、精简的操作变得越来越重要。 

这就是 LLMOps 的作用所在。作为 MLOps 的一个分支，LLMOps 致力于使用创新工具和方法监督 LLM 从培训到维护的整个生命周期。通过大规模实施技术，LLMOps 旨在让采用生成式 AI 的道路更加轻松。

LLMOps 如何管理大型语言模型的生命周期？

LLMOps 为开发人员提供了管理 LLM 开发生命周期所需的基本工具和最佳实践。虽然 LLMOps 的许多方面与 MLOps 相似，但基础模型需要新的方法、指南和工具。 

让我们探索 LLM 生命周期并重点进行微调，因为组织很少从头开始培训 LLM。

在微调过程中，您从已训练的基础模型开始。然后在更具体、更小的数据集上对其进行训练，以创建自定义模型。 

部署此自定义模型后，会发送提示，并返回相应的完成。监控和重新训练模型以确保其性能保持一致至关重要，尤其是对于由 LLM 驱动的 AI 系统而言。 

LLMOps 通过结合传统 MLOps 中通常没有的提示管理、LLM 链接、监控和可观察性技术，促进了 LLM 的实际应用。

及时管理 

提示是人们与 LLM 互动的主要方式。任何编写过提示的人都知道，完善提示是一项重复性任务，需要多次尝试才能获得满意的结果。 

LLMOps 中的工具通常提供跟踪和版本控制提示及其输出的功能。这样可以更轻松地衡量模型的整体效果。某些平台和工具还可以跨多个 LLM 进行提示评估，以便您可以快速找到最适合您的提示的 LLM。

LLM 链式

LLM 链式连接多个 LLM 调用，以提供独特的应用程序功能。在此工作流程中，一个 LLM 调用的输出作为后续 LLM 调用的输入，最终形成最终结果。这种设计方法为 AI 应用程序设计引入了一种创新方法，并将复杂的任务分解为更小的步骤。 

例如，您可以将提示分解为针对特定主题的较短提示，而不是使用单个广泛的提示来撰写短篇故事，这样可以获得更准确的结果。 

链接可以克服 LLM 一次可以处理的最大标记数的固有限制。LLMOps 降低了管理链接所涉及的复杂性，并将链接与其他文档检索技术（如访问矢量数据库）相结合。 

监控和可观察性

LLM 可观测系统在模型部署后收集实时数据点，以检测模型性能的潜在下降。实时监控可以及时识别、干预和纠正性能问题，以免影响最终用户。 

LLM 可观测系统捕获了多个数据点：

• 提示

• 提示标记/长度

• 完工情况

• 完成标记/长度

• 对话的唯一标识符

• 延迟 

• 进入法学硕士 (LLM) 链

• 自定义元数据

结构良好的可观察性系统可以持续跟踪提示完成对，并可以精确定位诸如重新训练或转移基础模型等修改何时开始影响性能。 

监控模型的漂移和偏差也至关重要。虽然漂移是传统机器学习模型中普遍存在的问题，但由于 LLM 依赖于基础模型，因此监控 LLM 就显得更为重要。 

偏见可能来自基础模型训练的初始数据集、微调中使用的专有数据集，甚至是评估快速完成情况的人工评估人员。为了有效解决偏见问题，全面的评估和监控系统至关重要。

LLMOps 和 MLOps 之间有什么区别？

如果您已经读到这里，那么很明显，LLMOps 相当于 LLM 的 MLOps。现在，您已经了解了 LLMOps 对于管理 LLM 至关重要，尤其是您培训过的经过精细调整的 LLM。 

虽然 LLMOps 与 MLOps 有许多相似之处，但通过查看机器学习生命周期中的典型任务来比较它们的差异是有益的。

LLM 和 LLMOps 的未来如何？

LLMOps 工具和框架的快速发展使得预测该技术一个月后的发展轨迹都变得十分困难，更不用说一年后了。不过，有一点是明确的：LLMOps 为企业采用 LLM 铺平了道路。 

LLM 正在改变我们构建 AI 系统的方式，并扩大机器学习的可访问性，将 AI 变成一个简单的提示或 API 请求。随着生成式 AI 的不断发展，我们才刚刚开始发掘 LLM 在解决业务挑战和简化运营方面的潜力。 

LLMOps 是监控和提高 LLM 长期性能的最佳方式，可以更快地解决性能问题并提高客户满意度。我迫不及待地想见证 LLMOps 在未来几个月的发展，看看它是会持续下去还是会转变成完全不同的东西！ 

如果您刚开始攻读法学硕士学位，那么深入研究快速工程是一个很好的起点。请查看我的课程“快速工程以提高绩效”，以掌握快速工程的高级技术！