我们之前的博客文章中，我们讨论了大语言模型（LLM）在各个行业中广受欢迎的一些最强大的应用。但是，如果你想知道LLM如何实现其预期性能以适应不同的行业和使用案例，那么你来对地方了。

在这个博客中，我们将引导您了解大型语言模型如何通过不同的阶段进行训练，展示它们如何进化以生成具有高度准确性的类人类响应。我们还将阐明大型语言模型在训练的每个阶段所面临的关键挑战以及如何解决这些问题以优化这些模型。

随着处理能力的激增、海量数据集的建立以及内存容量的扩大，大语言模型（LLMs）经历了显著的变革。与几年前的前代模型相比，今天的模型已经从预测单个单词跃升到生成整个句子、编写完整长度的报告，甚至可以在几秒钟内总结这些报告，仿佛这是一件微不足道的事情。

但我们是如何走到这一步的呢？这一切都归结于一个严格、多阶段的训练过程，这个过程 fine-tunes LLM 理解和生成文本的能力。

训练 LLM 的四个关键阶段

通常，训练大型语言模型的过程可以仔细分为4个阶段。

现在，让我们更深入地探讨LLM开发的每个阶段，并探索它如何提升模型的性能和理解。

阶段 1：数据准备

如你所知，大型语言模型是在大量数据集上进行训练的，这些数据集来源多样，例如网站、书籍、GitHub仓库、内部数据库等。这样做是为了帮助模型学习不同的主题、写作风格、语言模式以及观察中的变化，简而言之，就是为了让模型生成上下文相关且连贯的文本。

然而，训练中使用的数据集类型在塑造LLM的准确性、一致性以及预测能力方面起着至关重要的作用。

假设你在训练你的AI来撰写引人入胜的产品描述。与其手动教授它一些规则，比如“使用有说服力的语言”或“先理解用户意图”，不如直接输入成千上万写得很好的广告、博客文章和营销文案。随着时间的推移，AI会分析并学习这些模式，理解如何创建引人入胜的句子，哪些词组合可以激发行动，以及语气的变化如何影响用户的购买意愿。

但是这里有陷阱！你不能只是将所有可用的数据输入到模型中，而没有适当的过滤和结构化，并期望它按预期工作。

LLMs需要使用高质量的训练语料库进行训练，这些语料库应与模型的相应领域相一致。这个过程称为数据预处理，是数据准备中的一个关键步骤，其中原始文本数据通过诸如以下步骤进行精炼：

数据预处理

数据概要

数据清理

数据丰富

数据集成

标记化和向量化

特征工程

数据验证

数据转换

为什么数据预处理很重要

没有适当的预处理数据，模型可能会遭受：

过拟合 – 当模型记住训练数据而不是总结模式时。这就像一个记住答案而不是真正理解学科的学生。模型对训练数据变得过于熟悉，对于任何新的东西都难以应对，导致在面对未见过的输入时结果极度不准确。

欠拟合 – 与之相反的问题，当模型缺乏足够的学习能力以进行有意义的预测。

离群值和噪声 – 当无关、不一致或极端的值扭曲了模型的学习过程时，会导致输出不准确和不可靠。

一旦数据处理完成，它会经历训练大型语言模型的三个关键阶段：

关键阶段

自监督学习

监督学习

强化学习

这带我们进入模型预训练的下一阶段。

第二阶段：通过自监督学习对模型进行预训练

在这一阶段，模型使用自监督学习算法进行预训练，使用大约70-80%在第一阶段准备的数据。这种方法使模型能够在大量未标记数据上进行训练，从而减少对昂贵的人工标注数据集的过度依赖。

最终，随着训练的推进，模型学会通过预测缺失的单词或重建被破坏的输入来生成自己的目标标签。换句话说，模型通过利用周围文本另一部分的上下文信息，来识别输入数据中的隐藏模式。这种方法增强了其在没有直接人类监督的情况下理解语言中的细微差别、依赖关系和关系的能力。

窥探LLM架构

从外面看，LLMs似乎相当简单。你提出一个问题，它们在几秒钟内就给出回答。但在内部，却要复杂得多，有多层隐藏的连接节点，类似于我们大脑中的神经元，形成了深度神经网络（DNN）。

这种深度学习架构由变压器驱动，这是当今语言模型背后的真正变革者。

一些最著名的基于变压器的模型包括：

GPT（生成式预训练变换器）来自OpenAI

谷歌人工智能的 BERT（基于变压器的双向编码表示）

T5（文本到文本转换变压器）来自谷歌

LLaMA（大型语言模型元人工智能）来自Meta（Facebook）

这些变压器通过分析语言中的广泛依赖、模式和关系，推动了理解、处理和生成文本的整个过程。

通常，基于DNN的大语言模型（LLM）包括以下关键层：

输入层：模型从用户那里接收原始文本输入，这些输入首先被转换为数值表示（输入嵌入）。然后对这些嵌入进行位置编码，以确保模型在将它们传递到深层之前理解句子中单词的顺序。

隐藏层：输入数据经过多个隐藏层处理，模型在这些层中学习复杂的语言模式和抽象的数据表示。每一层都会对来自前一层的信息进行优化，将原始文本转换为更高级别的表示。

在训练过程中，模型通过预测序列中前一个单词的下一个单词来学习模式匹配技术，这个过程经过多次迭代（即轮次）的优化。

损失函数衡量预测输出与实际结果之间的差异，帮助调整模型参数以提高准确性。

输出层：在经过隐藏层处理后，模型根据给定的输入生成输出序列。输出嵌入在被解码成人可读文本之前会进行位置编码。

在这个阶段，我们已经有我们的基础模型或预训练的大语言模型，它已经在大量的数据上进行了训练。它已经能够以相当高的准确度执行诸如翻译、文本生成、摘要和情感分析等任务。然而，尽管它可以处理各种各样的功能，但它可能尚未针对其最初设计的特定任务进行优化。

这就需要进行微调。通过使用领域特定数据和有针对性的训练来优化模型，可以增强其满足特定下游任务的能力，并提高其整体性能。

考虑到这一点，我们现在进入下一阶段：监督微调（SFT），在这个阶段，模型进一步训练以符合专业目标。

第三阶段：监督微调（SFT）

有监督微调是LLM训练的下一阶段，模型从一个训练有素的通用专家变成一个特定领域的专家。在这个阶段，模型会进行另一轮训练，但这次训练是基于特定任务的数据集，这些数据集是通过人类专家标注和验证的特定知识库。

这意味着模型将得到明确的指示和结构化的示例，使其能够超越基本预测，并且真正擅长执行其构建任务。

随着训练的进行，模型变得更加适应未见过的数据，适应特定领域，并从标记数据中学习总结模式和细微差别。这使它在理解用户意图、生成相关响应和处理复杂查询方面表现得更好。

监督微调并不是一种通用的过程。有几种微调技术可以使模型更精确、更高效。一些最常使用的SFT技术包括：

迁移学习 – 利用预训练知识来构建模型已知的内容。

超参数调整 – 调整超参数设置以获得更好的性能。

多任务学习 – 一次对多个相关任务进行训练。

任务特定微调 – 为特定用途定制模型。

少样本学习 – 教授模型在最少示例的情况下表现良好

这些都能以一种使模型能够提供更智能、更准确和更具上下文意识的响应的方式微调模型。

许多企业今天正在利用预训练的大语言模型（LLM）并根据其特定的业务需求进行微调。与从头开始开发一个大语言模型相比，这种方式在准确性、计算资源和成本效益方面显著更高效。微调使企业能够在法律、医疗、客户服务和金融等专业领域增强模型的性能，确保为特定行业任务提供更好的预测和更相关的输出。

现在，您的大型语言模型几乎准备好了。然而，当面对超出其预训练和监督微调所学内容的输入时，它可能难以做出准确的预测。因此，为了优化其响应并提高适应性，最后一个关键阶段是RLHF，我们将在接下来的内容中讨论它。

第4阶段：从人类反馈中强化学习（RLHF）

从人类反馈中强化学习（RLHF）是LLM训练的最终阶段，模型对特定查询或提示的响应会根据人类评估者的实时反馈不断进行评估和优化。这使得模型能够学习和模仿人类思考和应对某些情况的方式，使其能够适应人类推理，并在不断学习专家见解的同时进行调整。

RLHF中使用的关键技术之一是奖励建模。在这种方法中，训练一个单独的奖励模型来评估和排序LLM响应的质量。模型会因其高质量、准确的输出而得到奖励，对其错误、无关或无意义的输出则会受到惩罚。

例如，如果你正在为医疗行业微调一个客户支持的大语言模型，你希望它能以同理心回应– 一种传统算法难以量化的质量。通过RLHF，人工审查员可以根据回应中传达的同理心程度来评分模型的回应。随着时间的推移，奖励模型会学习优化这个因素，从而高效地引导大语言模型提供符合人类期望的回应，而不是仅仅依赖于训练数据。

为了进一步完善LLM的决策能力，奖励模型使用了近端策略优化（PPO）。这是一种强化学习技术，帮助LLM在生成响应之前调整其行为。这使得模型能够优化以获得更好的奖励，最终使其答案更加真实、有用，并且符合上下文。

在RLHF中另一个重要的方法是比较排序，当多个人工评估者提供反馈时使用该方法。与其为响应分配绝对分数，此技术比较不同的输出并根据偏好对它们进行排序。这种方法确保模型根据集体的人类判断而不是单个审稿人的主观评分进行改进。

基本上，RLHF 是一个持续改进的过程，模型生成响应，接受对其质量的评估，从反馈中学习，并微调自身以进行改进。这个循环会不断重复，直到模型更好地与人类价值观和偏好保持一致，同时确保安全和负责任的互动。

然而，RLHF也面临自身的挑战。由于它主要依赖于循环改进的方法来优化输出，总是存在引入人类偏见的风险，这可能会无意中塑造模型的响应并导致AI偏见。此外，这个过程需要大量的资源，要求持续的人类评估和反馈，这使得其在有效扩展时既费时又昂贵。

总结

在本文中，我们探讨了训练LLM的关键阶段以及它如何发展以准确高效地执行其预期任务。

但需要指出的是，LLM的世界在不断演变，受到人类好奇心和计算突破的推动。我们输入的每一个数据集、调整的每一个参数以及我们发明的每一个微调方法，都是为了推进能够做什么和实现什么的界限，以满足人类的需求。即使今天有效的技术和策略，明天可能就已经过时。而这正是它的美丽所在。