用途
这是一篇视觉解释文章，旨在向普通读者说明ChatGPT、Bard等AI聊天机器人所依赖的大型语言模型（LLMs）如何工作。文章通过可视化图示，逐步展示从用户输入问题到模型生成回答的处理过程。
主要内容
文章首先指出，大型语言模型是ChatGPT、Bard等聊天机器人的基础架构。当用户在ChatGPT中输入一个问题（如“法国的首都是什么”），LLM需要处理该问题才能产生回答（如“法国的首都是巴黎”）。
基本结构
LLMs受人类大脑工作方式的启发，但并非复制。模型的基本结构由节点和连接组成。节点本质上代表单词，模型的基本任务是映射单词之间的“距离”，输出“最可能出现的下一个词”。
词元与向量
单词或单词的一部分（如复数标记“s”或前缀“un-”）在模型中以词元（token）形式存储。每个词元不是以字母序列表示，而是以向量（vector）——即数字序列——表示。向量类似于地图坐标，例如巴黎可以用[2.34337,48.85663]表示。向量不仅表示位置，还编码了词元之间的“接近程度”。但与二维或三维地图不同，LLM中的向量有数百个维度。我们不知道每个维度具体编码什么，但可能包括“可替换性”等属性——在该维度上，“happy”可能接近“sad”，尽管在其他维度上它们可能相距很远。
预测与Transformer
LLM本质上仍然只是判断下一个最可能出现的词或词序列。它比短信应用中的预测文本表现更好，原因有两个：Transformer和注意力机制。
Transformer是一种数学过程，为每个词元重新计算向量，即基于上下文为每对词元分配新的距离。例如，问“What is a tidy thing to eat pasta with?”和“What is a nice thing to eat pasta with?”，LLM会根据问题中其他词元重新加权关联。在第一个问题中，“tidy”可能与“utility”和“tools”关系密切；在第二个问题中，“nice”可能与“taste”和“flavour”相关。单词“with”本身也会根据前面的词重新加权，分别更接近“using”或“accompanied by”。
注意力机制
这种基于前文文本的显著性重新评估权重的原则被称为“注意力”（attention）。LLM对对话的每个部分应用这些步骤。例如，问“What is the capital of France?”，模型在获得“France”的额外输入后，会重新评估“capital”可能指“城市”而非“金融资源”。随后问“How many people live there?”，模型已经对“Paris (city)”赋予足够显著性，从而推断“there”指代“Paris”。
训练
注意力被广泛认为是自然语言AI的突破性发展，但仅靠它并不能造就成功的模型。每个模型随后都要经过大量训练，部分是为了掌握问答格式，通常也是为了剔除训练语料中不加批判地采纳而可能产生的不当回答（有时是性别歧视或种族歧视）。
适用场景
适合对AI聊天机器人工作原理感兴趣的普通读者，尤其是希望通过可视化方式理解大型语言模型基础概念（如词元、向量、Transformer、注意力）的人群。
限制
文章为视觉解释，不提供具体产品的使用步骤、功能列表、收费信息或平台详情。部分可视化是说明性的，但参考了行业专家对话和公开可用的LLM。文中“happy”的向量来自BERT语言模型，使用transformers Python包。
