麦肯锡，这家有近百年悠久历史的企业，是世界上最大的咨询公司之一，今年早些时候因迅速采纳生成式 AI 工具而备受瞩目。他们在六月份表示，其 30,000 名员工中有近一半已经在使用这个技术。

现在，这家公司推出了自己的生成式 AI 工具：Lilli。这是一款新的为员工设计的聊天应用，由麦肯锡的 “ClienTech” 团队在 CTO Jacky Wright 的领导下开发的。这款工具根据超过 100,000 份的文件和访谈记录为员工提供信息、见解、数据、计划，并推荐最合适的内部专家为咨询项目提供服务。

麦肯锡高级合伙人 Erik Roth 说：“如果你可以问麦肯锡的所有知识一个问题，而 AI 可以回答，那么这对公司意味着什么？这就是 Lilli 所做的。”

Lilli 这个名字是为了纪念 Lillian Dombrowski，她是 1945 年麦肯锡聘请的第一位女性专业服务人员。Lilli 从 2023 年 6 月开始进行测试，并计划今年秋天在整个麦肯锡公司内部推广使用。

Roth 和他在麦肯锡的合作伙伴表示，Lilli 作为 “最小可行产品”（MVP）已经被约 7，000 名员工使用，大大缩短了研究和规划工作的时间，从几周减少到几小时，而在某些情况下，从几小时减少到几分钟。Roth 表示：“在过去的两周内，Lilli 已经回答了 50,000 个问题。66% 的用户每周多次使用它。”

如何使用 Lilli AI
对于那些使用过 OpenAI 的 ChatGPT 和 Anthropic 的 Claude 2 等公开的基于文本的生成式 AI 工具的用户来说，Lilli 的界面会显得很熟悉。Lilli 在主界面底部提供了一个文本输入框，允许用户键入问题、搜索或提示，并在上方按照对话的时间顺序呈现其回复，依次展示用户的输入和 Lilli 的反馈。

不过，Lilli 具有几个明显的附加实用功能：其界面还设有一个可扩展的左侧边栏，其中存储了已保存的提示。用户可以复制、粘贴并根据个人喜好调整这些提示。Roth 表示，这些提示的分类功能也即将上线。

GenAI Chat 和 Client Capabilities 功能
该界面为用户提供了两个可以切换的标签：一个名为 “GenAI Chat”，它从一个更通用的大语言模型（LLM）后端获取数据；另一个名为 “Client Capabilities”，它从从麦肯锡的超过 100,000 份文档、访谈记录和演示文稿中获取回应。Roth 在一封电子邮件中说：“我们有意创建这两种体验，目的是学习并比较我们内部的资源与外部公开的资源之间的差异。”

另一个区别是信息来源：虽然很多 LLM 在生成回应时并不直接引用或链接其答案的来源 ——OpenAI GPT-4 支持的 Microsoft Bing Chat 是一个值得注意的例外 —— 但 Lilli 在每个答案下方都提供了一个单独的 “来源” 部分，还有链接，甚至有模型从中提取答案的特定页面的页码。

Roth 表示：“我们坚持完整的引用。与我交谈过的客户对此感到非常兴奋。”

Lilli 可以用来做什么
考虑到 Lilli 可以使用的大量信息，麦肯锡的新 Lilli AI 最适合完成哪些任务？Roth 表示，他设想麦肯锡的顾问在与客户合作的每个阶段都会使用 Lilli，从初步搜集客户行业及其竞争对手或类似公司的信息，到为客户制定实施特定项目的计划。

Lilli 的示范展示了其广泛的适应性：Lilli 可以列出麦肯锡内部能够讨论大型电子商务零售商的资深专家名单，也能预测未来十年美国清洁能源的发展趋势，以及在十周内建设新能源工厂的计划。

在所有这些反馈中，这款 AI 都在底部明确标明了其引用的资料来源。虽然答案有时比领先的商业 LLM 慢几秒钟，但 Roth 表示，麦肯锡正在不断更新速度，而且也更注重信息质量而不是速度。

此外，Roth 表示，公司正在尝试开发一个功能，允许在麦肯锡的服务器上安全、私密地上传客户的信息和文档，但他说这个功能仍在开发中，直到完善才会部署。

Roth 补充说：“Lilli 有能力在一个非常安全的环境中上传客户数据。在未来，我们可能会考虑结合我们和客户的数据，或者仅在同一平台上使用客户数据来进行更加深入的整合和研究。我们上传到 Lilli 的所有数据，包括我们自己的数据，都会经过严格的合规性风险评估。”

技术背后的原理
Lilli 采用了现有的 LLM，包括麦肯锡合作伙伴 Cohere 和在 Microsoft Azure 平台上的 OpenAI 开发的 LLM，来增强其 GenAI Chat 和自然语言处理（NLP）功能。但这款应用是由麦肯锡构建的，它充当用户与底层数据之间的安全层。

Roth 说：“我们认为 Lilli 是一个独特的技术体系。它位于语料库和 LLM 之间。它拥有深度学习的功能和可训练的模块，它实际上是多种技术的结合。”Roth 强调，麦肯锡对 LLM 持开放态度，并持续探索新的 LLM 和 AI 模型，以确定哪些最有用，包括那些仍在维护的旧版本。

尽管该公司计划将其扩展至所有员工使用，但 Roth 也表示，麦肯锡并未排除为 Lilli 提供白标服务，或将其转变为面向麦肯锡客户或完全由其他公司使用的外部产品。Roth 补充道：“目前，所有选项都在考虑之中。我个人认为每家公司都需要一个 Lilli 的版本。”