我以前已经说过了，我现在再次说一次，大语言模型（LLM）周围的工具生态系统仍然处于起步阶段。由于 LLM 的特性和内在动态性，传统的软件工具通常无法直接处理这些模型。接下来介绍一下 LangChain 和 LangSmith。在这篇文章中，我们将探讨由 LangChain 团队最新推出的产品 LangSmith，看看它希望解决 LLM 堆栈中的哪些新问题。

如果你是 LLM 开发的新手，首先应该从 LangChain 入手。我写了一份详细的介绍，详细说明了它可以解决的问题：
https://logankilpatrick.medium.com/what-is-langchain-and-why-should-i-care-as-a-developer-b2d952c42b28

LangSmith 是什么？
当最初创建 LangChain 时，其目标是降低构建原型的门槛。尽管有人对 LangChain 作为工具的可行性提出了一些异议，但我认为它在很大程度上实现了这个目标。在原型之后需要解决的下一个问题领域是帮助将这些应用程序投入生产并确保以可靠和可维护的方式实现。简单的思维模式是：
LangChain = 原型
LangSmith = 生产
但在原型阶段不太相关的生产挑战是什么？
可靠性 —— 构建对于简单受限的示例来说似乎很容易，但实际上，如今要构建具有大多数公司所期望的一致性的 LLM 应用程序仍然相当困难。
为了解决这个问题，LangSmith 提供了围绕五个核心支柱的新功能：
.调试
.测试
.评估
.监控

.使用指标

LangSmith 的重要价值之一是能够通过简单而直观的用户界面执行所有这些任务，这显著降低了那些没有软件背景的人的准入门槛。

LLM 有许多方面，从数字的角度看并不直观，因此能够通过用户界面进行可视化呈现将非常有用（例如，温度如何影响模型输出分布等）。我个人认为，具备精致的用户界面实际上可以加速我的原型制作和工作，因为仅使用代码进行所有操作通常会变得繁琐。

此外，能够可视化 LLM 系统正在进行的过程以及一系列复杂的命令对于理解为什么会得到特定输出非常有用。随着构建更复杂的工作流程，要准确理解不同流程中正在执行的查询可能会变得困难，因此一个简单的用户界面来展示这些信息并记录历史数据将从一开始就提供价值。

与 LangSmith 竞争的是谁？
尽管迄今为止还没有直接的竞争对手，但对于像 Vercel（拥有 AI SDK 的组织）这样的机构来说，构建类似功能并将其纳入其平台是有道理的，因为他们希望成为 AI 构建者的首选平台。我想象，在未来的 3-6 个月内，其他平台也会构建类似的工具，因为这些工具在市场上有很大的潜力。

目前，Vercel 仍然更专注于 LLM 的部署和服务方面，因为这更符合其核心产品的历史走向，但随着时间的推移，将 AI SDK 扩展到执行更多任务是合情合理的。

尽管 LangSmith 似乎尚未深入研究 Embedding，但似乎存在许多自然的交叉点，与许多内置嵌入提供商之间存在巨大的潜在联系。像 LlamaIndex 这样的生态系统将从这种产品开发中受益，但目前尚不清楚它们是否能够在时间的推移中保持差异化，因为问题领域似乎非常相似。

尽管如此，看到 LangSmith 仍然希望与尽可能多的工具进行连接是一件好事。在官方发布博客文章中，他们提到了与 OpenAI 评估以及多个微调提供商的集成，这些类型的集成似乎不仅将有助于建立开发者的善意，而且随着时间的推移，实际上会成为一条轻量级的护城河（连接事物并不总是容易）。

我想从 LangSmith 得到什么？
我对 LangSmith 的主要期望是可扩展性。我真的认为，如果 LangSmith 的核心功能可以构建到其他应用程序和服务中，那么它可能会产生更大的影响。例如，允许开发人员使用他们的 LangChain 帐户登录，并在一个地方监视他们在 Vercel 上的 LLM，同时获得 AI SDK 和部署信息，这将非常有价值。

我对 LangSmith 感到非常兴奋，因此花时间写下这篇文章。我认为它解决了开发人员和构建者在尝试投入生产时遇到的一系列实际问题。真正的长期问题仍然是：“是否有足够的内容来建立一个长期具有竞争力的业务”。

我没有未卜先知的能力，但我目前想法是，LangSmith 当前的许多功能对于开发人员来说都是基本的要求。随着时间的推移，大多数 LLM 提供商都希望将类似的功能集成到其平台中。但这并不意味着 LangSmith 不能成功。只需看看 HashiCorp 的 Terraform，它作为云服务提供商之间的粘合剂，解决了足够大的问题，以成为一家上市公司。但要与多个提供商和其他工具生态系统竞争，LangSmith 需要不断扩展其范围。