从感知机到生成式 AI[文末有精美电子书]

把现代人工智能层层拆开，一个神经元接收输入，用权重调整每个输入的重要性，再把结果相加并输出。大量这样的单元连接起来，经过训练后，可以识别图像、续写文字，可以从噪声中生成视频。

从感知机到大语言模型，人工智能的发展可以沿着九个关键节点展开：感知机、梯度下降、反向传播、深度、AlexNet、缩放律、可解释性、注意力与扩散

Rosenblatt 提出了感知机学习规则,早期感知机是一台可以真实搭建的机器：左侧的开关负责输入图案，中间的旋钮代表可学习的权重，右侧的电流表显示输出结果。

假设机器需要区分 T 和 J 两种图案。训练开始时，所有旋钮都处于初始位置；每当机器判断错误，学习规则就会调整相应旋钮。经过多轮修正，权重逐渐稳定，机器也获得了区分两种图案的能力。

把旋钮的变化画在平面上，可以看到一条决策边界不断转动，最终将两类数据分开。

现代大模型仍然保留着相似的基本结构，只是规模发生了巨大变化。按照对 GPT-3 结构的一种粗略换算，一个注意力模块约包含 4.9 万个神经元，一个多层感知机模块约包含 6.1 万个；96 层堆叠后，总量约为 1061 万。

感知机的能力也有明确边界：单个感知机只能处理线性可分问题。T 和 J 可以被一条直线分开，XOR 却不能。要突破这层限制，神经元必须组成多层网络。

02 梯度下降：训练就是沿着误差下山

神经网络产生预测后，需要衡量预测与正确答案之间的差距。这个差距由损失函数表示。

如果把不同参数对应的损失画成地形，较高的位置代表较大的误差，低谷代表更好的参数组合。训练的目标，就是从某个随机起点出发，一步步走向更低的位置。

梯度给出了当前位置上升最快的方向，沿着梯度的反方向移动，就能让损失下降。这就是梯度下降。

早期研究者担心，梯度下降会被困在局部极小值，因此无法训练复杂网络。这个判断在低维地形中很容易观测，但现代神经网络拥有数十亿以及更多参数，高维空间的几何性质与二维山谷不相同。

在实际训练中，更常见的问题包括鞍点、平坦区域、学习率不合适以及梯度不稳定。局部极小值并没有像早期想象的那样成为深度学习无法跨越的障碍。

03 反向传播：把错误传回每一个参数

梯度下降回答了参数应该往哪个方向调整，反向传播则回答了怎样高效算出这个方向。

一个深度网络可能包含数十亿个参数。如果逐个修改参数并重新运行模型，算力成本太高。反向传播利用链式法则，从输出层开始，把误差对每一层的影响逐层向前传递。

这一过程可以分成三步：

1. 1. 输入经过网络，产生预测结果；
2. 2. 损失函数计算预测误差；
3. 3. 误差从输出端反向传播，得到每个参数对应的梯度。

然后，优化器根据梯度更新权重。一次完整的前向计算与反向传播，就完成了一轮学习。

在 20 世纪 70 年代初讨论这套方法时，它可以与牛顿定律的重要性相提并论。两者的共同点在于：规则本身并不复杂，却能够扩展到极其庞大的系统。

04 深度学习：把输入空间反复折叠

深度不只是网络层数增加，它还改变了数据空间的几何形状。

假设模型需要判断地图上的一个点属于比利时还是荷兰。第一层神经元可以理解为沿着不同方向折叠地图；第二层继续缩放、组合这些结果。经过多次变换，原本无法用直线分开的区域，就有可能在新的表示空间中被清楚分开。

1989 年，George Cybenko 证明了万能近似定理：在满足一定条件时，只要隐藏层拥有足够多的神经元，网络就能以任意精度逼近连续函数。

这个定理说明了神经网络可以表示什么，但没有保证网络一定能够被顺利训练，也没有说明需要多少数据和计算量。深度学习真正的优势，在于多层结构能够复用简单特征，用较少的单元组合出更复杂的边界。

从几何角度看，深度网络所做的事情，就是不断折叠、拉伸和重组输入空间。

05 AlexNet：规模让模型内部产生了畸变

2012 年，AlexNet 在 ImageNet 竞赛中显著降低图像识别错误率。它证明了一件影响深远的事：已有的神经网络方法在数据、算力和模型规模同时增加后，效果可能出现飞跃。

规模带来能力，也带来理解上的困难。

我们可以把视觉网络某一层的高维激活压缩到二维，再观察不同区域偏好的图像特征。Activation Atlas 就像一张模型内部的概念地图：相邻位置通常对应相近模式，不同区域分别响应纹理、形状、物体部件或完整对象。

语言模型的运行过程同样可以被压缩成一条清晰链路：

1. 1. 输入文本被切分成 token；
2. 2. token 被转换为向量并排成矩阵；
3. 3. 矩阵依次通过多个 Transformer 模块；
4. 4. 最后一层输出下一个 token 的概率分布；
5. 5. 选出的 token 被接回输入，模型再次运行。

人们看到的是连续文字，模型内部处理的是被反复变换的矩阵。

06 神经缩放律：增加投入为什么持续有效

当模型参数量、训练数据和计算量不断增加时，模型损失往往会按照相对平滑的幂律下降。

把不同规模模型的训练结果画在双对数坐标中，多条曲线会共同逼近一条计算最优前沿，也就是 compute-optimal frontier。在给定计算预算下，参数量和数据量需要保持合适比例，才能得到更高的训练效率。

2020 年，OpenAI 在训练 GPT-3 前先研究了这种趋势。随后，1750 亿参数的 GPT-3 仍大体沿着预测曲线前进，并未明显进入收益完全停滞的平台期。

缩放律因此改变了行业策略：提升能力不再只依赖偶然的算法突破，也可以通过扩大数据、参数和算力进行相对可靠的规划来实现。

缩放律说的是经验趋势，不是定律。高质量数据是否耗尽、推理成本能否承担、现有架构是否存在上限，决定这条曲线还能延伸多远。

07 机械可解释性：观察模型里的概念

模型给出一个回答，并不代表其内部机制已经被理解。

语言模型有时会忘记了上下文中的某个词，但只要这个词还在输入窗口中，它就没有在机制层面真正删除那段信息。这类现象说明，自然语言解释未必等同于模型真实的计算过程。

机械可解释性直接观察模型内部：哪些神经元或特征被激活，它们如何组合，又怎样影响最终输出。

稀疏自编码器是其中一种方法。它可以把密集、混合的激活分解为相对稀疏的特征。部分特征能够与人类可理解的概念对应，例如代码模式、地点、语气或内部冲突。研究者还可以增强某个特征，观察模型行为如何变化。

已被识别的特征可能只是模型概念空间中最显眼的一部分。大量内部表征还是像暗物质一样，只能通过输出和干预间接推测。

可解释性的核心问题是人类能否找到导致结果的真实计算路径。

08 注意力：让 token 彼此读取信息

注意力机制决定了一个 token 在更新自身表示时，应该从前文哪些 token 中读取信息。

在因果语言模型中，后面的 token 可以关注前面的 token，前面的 token 不能看到未来。把注意力权重画成热力图，便能观察不同注意力头正在追踪什么：有的关注相邻词，有的寻找句法关系，有的连接重复出现的实体。

GPT-2 small 拥有 12 层、每层 12 个注意力头，一共可以得到 144 张注意力图。

模型规模继续扩大后，注意力的主要瓶颈之一变成 KV cache。生成每个新 token 时，模型需要保存并读取此前 token 的键和值；上下文越长、模型越大，显存和带宽压力就越高。

DeepSeek R1 使用的 Multi-Head Latent Attention 会先把键和值压缩到潜在表示，再用于后续注意力计算。在特定实现下，它可以大幅压缩 KV cache，并显著提高生成吞吐量。

这类改进说明，Transformer 并不是不可改变的固定模板。对注意力核心机制的压缩，会直接影响长上下文、推理模型和在线服务的实际成本。

09 扩散模型：把布朗运动倒着播放

许多图像和视频生成模型都从噪声开始。

正向扩散会反复向真实数据加入少量随机噪声。经过足够多步后，原始图像几乎完全变成高斯噪声。生成过程学习的则是相反方向：模型预测每一步应该去掉哪些噪声，使随机信号逐渐恢复出结构。

这个过程类似于把布朗运动倒着播放。

同一句月面宇航员骑马，加入国旗、笔记本或会议等条件后，生成画面会随提示变化；即使提示为空，模型也可能生成常见人脸或场景，因为训练数据形成的先验仍然存在。

纯噪声经过多轮预测、更新后，轮廓、人物和纹理逐步出现。

Stable Diffusion、Wan 等模型通常不会直接在完整像素空间中完成全部扩散。图像或视频会先被压缩到更小的潜空间，扩散模型在潜空间中去噪，再由 VAE 解码回像素。

因此，中间步骤里的噪声压缩表示中的随机结构。

再理解 AI

现代人工智能看起来非常复杂,包括大量模型名称、产品和术语，但底层主线相对稳定：

• • 感知机用权重建立最小的学习单元；
• • 梯度下降沿着损失下降的方向更新参数；
• • 反向传播高效计算每个参数的责任；
• • 深度网络通过分层变换重组输入空间；
• • 缩放律描述数据、参数与算力之间的经验关系；
• • 机械可解释性尝试定位模型内部的真实机制；
• • 注意力让 token 有选择地读取上下文；
• • 扩散模型把随机噪声逐步还原为图像和视频。

简单计算单元被大规模复制，误差被逐层传递，空间被反复变换，最终形成超出直觉范围的复杂能力。

电子书

如需获取本文配套数据、静态图片、高清动图及学习资料，请关注公众号并回复：

AI指南