有许多不同的方法可以使用LLM进行构建，包括从头开始训练模型、微调开源模型或使用托管API。我们在这里展示的堆栈是基于上下文学习的，这是我们看到的大多数开发人员一开始的设计模式（现在只有基础模型才有可能）。
下一节将简要解释这种模式；有经验的LLM开发人员可以跳过本节。

设计模式：情境学习
上下文学习的核心思想是使用现成的LLM（即，没有任何微调），然后通过对私人“上下文”数据的巧妙提示和条件调节来控制他们的行为。

例如，假设你正在构建一个聊天机器人来回答有关一组法律文件的问题。采取一种天真的方法，您可以将所有文档粘贴到ChatGPT或GPT-4提示中，然后在最后询问有关它们的问题。这可能适用于非常小的数据集，但不会扩展。最大的GPT-4模型只能处理大约50页的输入文本，当你接近这个极限时，性能（通过推理时间和准确性来衡量）会严重下降，这被称为上下文窗口。
上下文学习用一个聪明的技巧解决了这个问题：它不是在每个LLM提示下发送所有文档，而是只发送少数最相关的文档。最相关的文件是在…的帮助下确定的。你猜对了。LLM。
在非常高的级别上，工作流可以分为三个阶段：

数据预处理/嵌入：这个阶段涉及存储私人数据（在我们的例子中是法律文件），以便稍后检索。通常，文档被分解成块，通过嵌入模型传递，然后存储在一个称为向量数据库的专门数据库中。
提示构造/检索：当用户提交查询（在这种情况下是法律问题）时，应用程序构造一系列提示以提交到语言模型。编译后的提示通常结合了由开发人员硬编码的提示模板；有效输出的示例称为少镜头示例；从外部API检索到的任何必要信息；以及从矢量数据库检索到的一组相关文档。

即时执行/推理：一旦编译了提示，它们就会提交给预先训练的LLM进行推理——包括专有模型API和开源或自训练模型。一些开发人员还在这个阶段添加了日志记录、缓存和验证等操作系统。
这看起来工作量很大，但通常比其他选择更容易：培训或微调LLM本身。你不需要一个专门的ML工程师团队来进行上下文学习。您也不需要托管自己的基础设施，也不需要从OpenAI购买昂贵的专用实例。这种模式有效地将人工智能问题简化为大多数初创公司和大公司已经知道如何解决的数据工程问题。对于相对较小的数据集，它也往往优于微调——因为一条特定的信息需要在训练集中出现至少约10次，LLM才能通过微调记住它——并且可以近乎实时地合并新数据。

上下文学习中最大的问题之一是：如果我们只是改变底层模型以增加上下文窗口，会发生什么？这确实是可能的，而且是一个活跃的研究领域（例如，请参阅Hyena的论文或这篇最近的帖子）。但这需要进行一些权衡——主要是推理的成本和时间与提示的长度成二次方。如今，对于许多应用来说，即使是线性缩放（最佳理论结果）也会导致成本过高。按照目前API的价格，一个超过10000页的GPT-4查询将花费数百美元。因此，我们不希望基于扩展的上下文窗口对堆栈进行大规模更改，但我们将在文章正文中对此进行更多评论。

两个指数的故事
利用摩尔对抗
今天的电脑在同样的价格下，功能大约是十年前的1000倍。它们的威力大约是二十年前的一百万倍。从20世纪70年代到今天，这一戏剧性的增长时期已经导致软件吞噬了世界。科技之所以强大，是因为它遵循摩尔定律——这是科技行业几十年来指数级降低成本和提高能力的能力。

相比之下，药物设计和医疗保健服务遵循Eroom定律，该定律是从“摩尔”的反面创造的。这些行业经历了长达数十年的成本增长，成本增长达到了如此极端的水平，以至于医疗保健成本达到了美国GDP的约四分之一（并且还在上升）。在不断上涨的劳动力成本、临床试验成本、管理成本、越来越敌对的支付-提供者关系等方面，治疗和医疗成本正在走错曲线。

将服务转化为计算
考虑到一个呈指数级递减，另一个呈呈指数级递增，显而易见的目标是从埃罗姆定律过渡到摩尔定律。但这怎么可能呢？人们必须将人类驱动的服务（即提供护理服务）转变为计算（即通过技术将服务商品化）。这正是我们在人工智能中看到的。

这种转变始于不那么复杂的一次性模型（通常被称为机器学习），以完成可以容忍错误的简单任务；例如，Netflix使用人工智能推荐节目。

随着人工智能变得越来越复杂，我们越来越多地进入新的可能性类别。生成型人工智能方法现在可以生成文本和图像，也可以完成复杂的任务，尽管会出现错误（又称幻觉）。例如，chatGPT可以生成问题的英文答案，但偶尔会在某些问题上出现惊人的失败，“产生幻觉”。
随着时间的推移，这一进展为生命科学和医疗保健领域的人工智能驱动的联合试点带来了潜力，这些试点大大扩大了熟练劳动力的规模，或使不太熟练的劳动力增加了两倍。例如，人工智能可以提出答案或想法，让受过训练的人类选择最好的答案，控制结果，跳过任何错误的答案。这种方法将人工智能自然地集成到现有的工作流程中。

随着时间的推移，人工工作的比例会降低，最终接近完全自动化，即使在需要人工专家的领域——也就是说，小错误可能会产生灾难性影响——但很可能没有人参与，尤其是在诊断、药物处方或医疗程序等对错误特别不宽容的领域。开发能够成功完成这些专业任务且不受关键错误影响的人工智能是未来人工智能发展的一个突出领域，也是未来人工智能进步最终对生命科学和医疗保健产生最大影响的自然领域。

人工智能的时代已经到来，男孩们都吓坏了。
幸运的是，我在这里带来了一个好消息：人工智能不会摧毁世界，事实上可能会拯救它。
首先，简单描述一下人工智能是什么：应用数学和软件代码来教计算机如何理解、综合和生成知识，其方式与人们的方式类似。人工智能是一个与其他任何程序一样的计算机程序，它运行、接受输入、处理并生成输出。人工智能的输出在广泛的领域都很有用，从编码到医学，从法律到创意艺术。它和其他任何技术一样，是由人拥有和控制的。
对人工智能不是什么的简短描述：杀手软件和机器人会复活，并决定谋杀人类或以其他方式毁灭一切，就像你在电影中看到的那样。
对人工智能的简短描述：一种让我们关心的一切变得更好的方式。

为什么人工智能可以让我们关心的一切变得更好
在几十年和数千项研究中，社会科学最有效的核心结论是，人类的智慧使广泛的生活结果变得更好。聪明的人几乎在每一个活动领域都有更好的结果：学习成绩、工作表现、职业状况、收入、创造力、身体健康、寿命、学习新技能、管理复杂任务、领导力、创业成功、冲突解决、阅读理解、财务决策、理解他人观点、创造性艺术，养育子女的结果和生活满意度。

此外，人类的智慧是我们几千年来用来创造我们今天生活的世界的杠杆：科学、技术、数学、物理、化学、医学、能源、建筑、交通、通信、艺术、音乐、文化、哲学、伦理、道德。如果没有智能在所有这些领域的应用，我们仍然生活在泥屋里，勉强维持生计。相反，在过去的4000年里，我们利用自己的智慧将生活水平提高了10000倍。
人工智能为我们提供了一个机会，可以深刻地增强人类的智力，使智力的所有这些成果——以及其他许多成果，从新药的创造到解决气候变化的方法，再到到达星星的技术——从现在开始变得更好。

人工智能对人类智能的增强已经开始——人工智能已经以多种计算机控制系统的形式存在于我们身边，现在随着像ChatGPT这样的人工智能大型语言模型的出现而迅速升级，如果我们允许的话，它将从现在起迅速加速。