How Large Language Models Work: From Tokenization to Generation

摘要

本书深入解析大语言模型的工作原理,从分词机制到文本生成的完整技术链路,揭示ChatGPT等生成式AI背后的核心技术架构。

阅读原文或https://t.zsxq.com/Pz0vA获取200页原文和中文解析pdf

一、引言:生成式AI的技术革命

在人工智能领域,以ChatGPT为代表的大型语言模型(Large Language Models, LLMs)正在引发一场技术革命。从OpenAI的GPT系列,到Google的Gemini、微软的Copilot、Meta的Llama、Anthropic的Claude,以及新兴的DeepSeek,生成式AI产品如雨后春笋般涌现。这些技术的核心是GPT(Generative Pretrained Transformer,生成式预训练变换器),它代表了当前AI技术的最高水平。

生成式AI的本质是能够基于观察到的历史数据创造或生成各种媒体内容(如文本、图像、音频和视频)的软件系统。例如,当ChatGPT收到"写一首关于松树落雪的俳句"的提示时,它会利用训练数据中关于俳句、雪、松树和其他诗歌形式的所有信息来生成一首全新的俳句。这些系统本质上是能够生成新输出的机器学习模型,因此"生成式AI"是一个恰当的描述。

从更深层次来看,ChatGPT处理的是人类文本,因此它也可以被称为语言模型(language model)——这是自然语言处理(Natural Language Processing, NLP)领域的核心概念。NLP领域横跨计算机科学和语言学,探索帮助计算机理解、操作和创造人类语言的技术。该领域最早的努力可以追溯到20世纪40年代,当时研究人员希望构建能够在不同语言之间自动翻译的机器。

那么,是什么让新一代生成式AI工具与众不同?最显著的差异在于ChatGPT和类似算法的规模远超历史上人们构建的模型,并且它们是在更大量的数据上训练的。正因如此,"大型语言模型"(Large Language Models, LLMs)这个名称变得非常流行,用于描述GPT和类似类型的机器学习模型。

二、大语言模型的技术架构概览

2.1 从输入到输出的完整流程

大语言模型的工作流程可以分解为七个关键步骤,如图1所示:

1. 文本到分词的映射
   :将输入文本转换为token(词元)
2. 词嵌入
   :将token映射到嵌入空间
3. 位置编码
   :为每个嵌入添加位置信息,捕捉token在输入文本中的位置
4. Transformer层处理
   :数据通过Transformer层(重复L次)
5. 反嵌入层
   :应用反嵌入层获取可能的响应token
6. 采样生成
   :从可能的token列表中采样生成单个响应
7. 解码
   :将响应中的token解码为实际文本

这个流程揭示了大语言模型的核心工作机制:通过多层神经网络处理,将输入文本转换为数值表示,经过复杂的计算后,再将结果转换回人类可读的文本。

2.2 技术层次关系

ChatGPT、Copilot、Claude和Gemini等产品都是基于LLMs构建的,通过文本进行操作。LLMs使用来自AI和NLP的技术。LLM的主要组成部分是Transformer,这是一种特殊的神经网络架构。

这些关系可以概括为:

• 产品层
  :ChatGPT、Copilot、Claude、Gemini等AI聊天机器人
• 技术层
  :大型语言模型(LLMs)
• 算法层
  :Transformer架构、神经网络
• 基础层
  :自然语言处理(NLP)、人工智能(AI)

三、分词机制:大语言模型如何"看见"世界

3.1 Token:语言的最小单元

在AI领域,经常使用类比人类学习的方式来解释机器如何"学习"。人类阅读和理解句子是一个复杂的过程,随着年龄增长而变化,涉及多个顺序和并发的认知过程。然而,大语言模型使用的过程比人类认知过程简单得多。它们采用基于神经网络的算法来捕捉大量数据中单词之间的关系,然后使用这些关系信息来解释和生成句子。

LLMs必须将文本句子转换为数值表示才能进行处理,因为神经网络算法从根本上使用数字来完成工作。如图2所示,LLMs使用的算法必须在处理之前将人类文本转换为数值表示。Token(词元)是LLMs用来将文本分解为可编码为数字的片段的表示。

你可以将token视为LLM处理的最小文本单元——如果用类比来说,就是"原子",所有其他事物都由此构建的最小部分。那么,文本的原子是什么?有两个自然的答案:字母和单词。虽然很容易将字母定义为原子(因为单词由字母组成),但在实际阅读过程中,大多数人并不会有意识地阅读每个单词中的每个字母。人们会关注更显著的单词和单词部分。

3.2 子词表示的优势

GPT-3(最初为ChatGPT提供动力的LLM)拥有50,257个token的词汇表。这些token不是完整的单词,而是称为子词(subwords)的单词部分,这种表示介于单词和字母之间。直观地说,token捕捉了语言的最小有意义的语义单元。

例如:

• 单词"schoolhouse"(校舍)通常会被分解为两个token:"school"(学校)和"house"(房子)
• 单词"thoughtful"(深思熟虑的)被分解为"thought"(思考)和"ful"(表示充满...的后缀)

这种方法对于识别常见单词和拥有子词来解释我们以前从未见过的新单词非常有用。人们经常使用类似的技术,称为语义分解,来理解他们以前从未见过的单词。我们直观地将新单词分解为组成部分,以便根据我们已经理解的单词来掌握它们的含义。

3.3 分词过程的关键步骤

特征工程(Feature Engineering)是将数据转换为更适合算法和要解决的任务的形式的过程。分词是LLMs的特征工程;它至关重要,因为token是模型交互的唯一信息。Token被视为独立的、抽象的事物,它们之间没有固有的联系。这些关系是通过对数据的观察来学习的。

例如,表示"Dis"的token和表示"dis"的token是相关的,唯一的区别是一个以大写字母"D"开头。然而,模型为"Dis"分配标识符4944,为"dis"分配标识符834。也就是说,模型本身看不到表示"Dis"和"dis"的token之间的任何联系,即使我们作为人类看到了明显的联系。模型甚至看不到"Dis"或"dis"。为了让LLM处理token,我们必须将这些token转换为数字,这样模型将看到数字4944和834。

Token是从子词到唯一数值表示的映射。反过来,分词(tokenization)是将完整文本字符串转换为token序列的过程。如果你以前使用过机器学习库(特别是任何自然语言处理工具),你可能熟悉一些更简单的分词形式。例如,一个简单的分词过程通过基于空格拆分文本来将文本分解为token。然而,这种方法限制了我们创建子词或处理不使用空格分隔单词的语言(如中文)的能力。

四、人类与机器的语言表示差异

4.1 语言表示的本质

语言表示意味着什么?我们人类在出生后不久就开始通过与他人和周围世界的互动隐式地学习如何表示语言。我们通过正规教育来发展对组成部分、底层结构和支配语言及其使用的规则的理解。我们对语言的内部表示已经被广泛研究。虽然一些语言规律已被发现,但许多仍在争论中。ChatGPT的内部语言表示基于这些知识的一部分。

它是使用人工神经网络(artificial neural networks)的概念实现的,也称为深度学习。这些是数据结构和算法的组合,其模式松散地模仿人类大脑结构。然而,我们对大脑工作方式的理解是不完整的。虽然支持LLMs的神经网络只是人类大脑结构的简化,但它们的力量在于能够以有用的方式捕获和编码语言,以生成语言并与人们互动。

4.2 静态学习与动态交互的区别

这里需要理解的关键细节是,作为人类,你对语言有与生俱来的理解,这是你随着时间学习的。你对语言的学习和使用是交互式的。通过进化,我们似乎都有相对一致的学习和相互交流的方式。(要了解更多关于这个概念,可以研究语言学家诺姆·乔姆斯基提出的普遍语法理论。)

与人类不同,LLMs的语言表示是通过静态过程学习的。当你与Claude或ChatGPT进行对话时,它机械地参与与你的对话,尽管它以前从未参与过对话。LLM学习的语言表示可以是高质量的,但它不是无错误的。它是可操纵的,我们可以以特定方式改变LLMs的行为,以限制它们所意识到的或它们产生的内容。

理解LLMs使用从示例中推断的关系来表示语言,有助于我们保持现实的期望。如果你要使用LLM,如果它错了有多危险?你如何利用语言表示来构建产品或避免不良结果?这些是我们将在整个讨论中涉及的一些高级关注点。

五、大语言模型的核心技术优势

5.1 神经网络的应用价值

大脑结构的抽象已被证明在许多领域都很有用。神经网络在语言、视觉、学习和模式识别方面展示了令人难以置信的进步。神经机器学习算法的进步、数字数据的极度扩散以及计算机硬件(如GPU)的爆炸式增长的融合,导致了今天使ChatGPT成为可能的进步。

5.2 规模化的力量

与历史上的语言模型相比,现代LLMs的最显著特征是它们的规模。它们在更大量的数据上训练,拥有更多的参数,能够捕捉更复杂的语言模式和关系。这种规模化不仅提高了模型的性能,也使其能够处理更广泛的任务和领域。

5.3 生成能力的多样性

生成式AI可以处理多种输入和输出组合,如图所示:

可能的输入类型:

• 图像
• 蛋白质序列
• 问题(如"非洲燕子的空速是多少?")
• 基因序列
• 数学表达式
• 文章

可能的输出类型:

• 答案(如"24英里/小时或11米/秒")
• 文章扩展(如"《巨蟒与圣杯》是一部电影杰作,以其...而闻名")
• 图像生成
• 数据分析结果

任何输入或输出选项的组合都是可能的,输出的性质取决于算法的训练目标。它可以是添加细节、将某些内容改写得更短、推断缺失部分等。

六、应用前景与实际价值

6.1 企业知识管理

大语言模型为企业构建智能知识管理系统提供了强大工具。通过理解和生成自然语言,LLMs能够帮助企业更好地组织、检索和利用内部知识资源,提高工作效率。

6.2 智能对话系统

从客户服务到虚拟助手,LLMs正在重塑人机交互的方式。这些系统能够理解复杂的用户意图,提供准确、个性化的响应,显著提升用户体验。

6.3 内容创作与编辑

在内容创作领域,LLMs能够辅助写作、编辑、翻译等任务,帮助创作者提高生产力,同时保持内容质量。

6.4 代码生成与开发辅助

LLMs在软件开发领域的应用也日益广泛,从代码自动补全到bug修复,再到技术文档生成,都展现出巨大潜力。

七、技术局限性与使用建议

7.1 理解模型的边界

尽管LLMs功能强大,但重要的是要认识到它们的局限性。模型的语言表示质量可能很高,但并非无错误。它基于从示例中推断的关系,这意味着在某些情况下可能会产生不准确或不恰当的输出。

7.2 风险评估与控制

在使用LLM时,需要考虑:如果模型出错有多危险?如何利用语言表示来构建产品或避免不良结果?这些高级关注点对于负责任地使用这项技术至关重要。

7.3 持续学习与优化

随着技术的不断发展,从业者需要持续关注最新的研究进展,了解模型的改进方向,以便更好地应用这项技术。

八、未来展望

大语言模型技术正处于快速发展阶段。从更大规模的模型训练,到更高效的推理算法,再到多模态能力的增强,未来的LLMs将更加强大、高效和可靠。同时,关于AI安全、伦理和监管的讨论也将持续深入,确保这项技术的健康发展。

理解LLMs的工作原理不仅有助于我们更好地使用这项技术,也为我们提供了批判性思考其应用场景和潜在影响的基础。无论是作为用户、软件开发人员,还是商业决策者,掌握这些核心知识都将使我们成为更有效的技术消费者和创新者。

欢迎加入「知识图谱增强大模型产学研」知识星球，获取最新产学研相关"知识图谱+大模型"相关论文、政府企业落地案例、避坑指南、电子书、文章等，行业重点是医疗护理、医药大健康、工业能源制造领域，也会跟踪AI4S科学研究相关内容，以及Palantir、OpenAI、微软、Writer、Glean、OpenEvidence等相关公司进展。