导读序 奇事·奇人·奇书
📌 众多业界专家也被它征服：原本不看好它甚至在2019年微软投资OpenAI的决策中投了反对票的盖茨，现在将ChatGPT与PC、互联网等相提并论；英伟达CEO黄仁勋称它带来了AI的“iPhone时刻”；OpenAI的山姆·阿尔特曼(Sam Altman)将它比作印刷机；谷歌CEO孙达尔·皮柴(Sundar Pichai)说它是“火和电”……这些说法都与腾讯创始人马化腾认为ChatGPT“几百年不遇”的观点不谋而合，总之都是说它开启了新时代。阿里巴巴CEO张勇的看法是：“所有行业、应用、软件、服务，都值得基于大模型能力重做一遍。”以马斯克为代表的很多专家更是因为ChatGPT的突破性能力可能对人类产生威胁，呼吁应该暂停强大AI模型的开发。
- ⏱ 2024-01-20 00:35:48
📌 2015年，30岁的山姆·阿尔特曼和28岁的格雷格·布罗克曼(Greg Brockman)与马斯克联手，召集了30岁的苏茨克维等多位AI顶级人才，共同创立OpenAI，希望在谷歌、Facebook等诸多巨头之外，建立中立的AI前沿科研阵地，并且雄心勃勃地把构建与人类水平相当的人工智能作为自己的目标。那时候，媒体报道基本上都以马斯克支持成立了一家非营利AI机构为标题，并没有多少人看好OpenAI。甚至连苏茨克维这样的灵魂人物，在加入前也经历了一番思想斗争。
- ⏱ 2024-01-20 00:37:37
📌 前三年，他们在强化学习、机器人、多智能体、AI安全等方面多线出击，的确没有取得特别有说服力的成果。以至于主要赞助人马斯克对进展不满意，动了要来直接管理的念头。在被理事会拒绝后，他选择了离开。
- ⏱ 2024-01-20 00:38:11
📌 在科研方面，2014年，富兰克林·欧林工程学院本科毕业两年的亚历克·拉德福德(Alec Radford)加入OpenAI，开始发力。作为主要作者，他在苏茨克维等的指导下，连续完成了PPO(2017)、GPT-1(2018)、GPT-2(2019)、Jukebox(2020)、ImageGPT(2020)、CLIP(2021)和Whisper(2022)等多项开创性工作。尤其是2017年关于情感神经元的工作，开创了“预测下一个字符”的极简架构结合大模型、大算力、大数据的技术路线，对后续的GPT产生了关键影响。
- ⏱ 2024-01-20 00:38:51
📌 2020年底，OpenAI的两位副总达里奥·阿莫迪(Dario Amodei)和丹妮拉·阿莫迪(Daniela Amodei)（同时也是兄妹）带领GPT-3和安全团队的多位同事离开，创办了Anthropic。
- ⏱ 2024-01-20 00:42:22
📌 当年11月中旬，本来一直在研发GPT-4的OpenAI员工收到管理层的指令：所有工作暂停，全力推出一款聊天工具，原因是有竞争。两周后，ChatGPT诞生。这之后的事情已经载入史册。
业界推测，OpenAI管理层应该是得知了Anthropic Claude的进展，意识到这一产品的巨大潜力，决定先下手为强。这展现出核心人员超强的战略判断力。要知道，即使是ChatGPT的核心研发人员也不知道为什么该产品推出后会这么火（“我爸妈终于知道我在干什么了”），他们在自己试用时完全没有惊艳的感觉。- ⏱ 2024-01-20 00:42:17
📌 2023年3月，在长达半年的“评估、对抗性测试和对模型及系统级缓解措施的迭代改进”之后，GPT-4发布。微软研究院对其内部版本（能力超出公开发布的线上版本）研究的结论是：“在所有这些任务中，GPT-4的表现与人类水平接近得惊人……鉴于GPT-4的广度和深度，我们认为它可以合理地被视为AGI系统早期（但仍然不完整）的版本。”
- ⏱ 2024-01-20 00:43:03
📌 在综合能力上，OpenAI仍然一骑绝尘，唯一可以与之抗衡的，是Anthropic。
- ⏱ 2024-01-20 00:43:22
奇人
📌 为了更方便地做与元胞自动机相关的计算机实验，他开发了数学软件Mathematica（这个名字是他的好友乔布斯取的），进而创办了软件公司Wolfram Research，转身成为一名成功的企业家。Mathematica软件的强大，可以从本书后面对ChatGPT解读时高度抽象和清晰的语法中直观地感受到。
- ⏱ 2024-01-20 00:45:48
📌 沃尔弗拉姆经常为好莱坞的科幻电影做技术支持，用Mathematica和Wolfram编程语言生成一些逼真的效果，比较著名的包括《星际穿越》里的黑洞引力透镜效应，以及《降临》里掌握以后就能够超越时空的神奇外星语言，非常富有想象力。
- ⏱ 2024-01-20 00:46:32
奇书
- 📌 语言是严肃思考、决策和沟通的工具。从孩子的成长过程来看，相比感知、行动，语言应该是智能中更难的任务。但ChatGPT很可能已经攻破了其中的密码，正如Wolfram说的“它也在某种意义上‘钻研’到了，不必考虑可能的不同措辞，就能‘以语义上有意义的方式组织语言’的地步”。这确实预示着未来我们通过计算语言或者其他表示方式，有可能进一步大幅提升整体的智能水平。
- ⏱ 2024-01-20 00:48:06
第一篇 ChatGPT在做什么？它为何能做到这些？
📌 首先需要解释，ChatGPT从根本上始终要做的是，针对它得到的任何文本产生“合理的延续”。这里所说的“合理”是指，“人们在看到诸如数十亿个网页上的内容后，可能期待别人会这样写”。
- ⏱ 2024-01-20 00:50:50
📌 值得注意的是，当ChatGPT做一些事情，比如写一篇文章时，它实质上只是在一遍又一遍地询问“根据目前的文本，下一个词应该是什么”，并且每次都添加一个词。［正如我将要解释的那样，更准确地说，它是每次都添加一个“标记”(token)，而标记可能只是词的一部分。这就是它有时可以“造词”的原因。］
- ⏱ 2024-01-20 00:51:49
📌 好吧，它在每一步都会得到一个带概率的词列表。但它应该选择将哪一个词添加到正在写作的文章中呢？有人可能认为应该选择“排名最高”的词，即分配了最高“概率”的词。然而，这里出现了一点儿玄学的意味。出于某种原因—也许有一天能用科学解释—如果我们总是选择排名最高的词，通常会得到一篇非常“平淡”的文章，完全显示不出任何“创造力”（有时甚至会一字不差地重复前文。但是，如果有时（随机）选择排名较低的词，就会得到一篇“更有趣”的文章。
- ⏱ 2024-01-20 00:52:27
📌 这里存在随机性意味着，如果我们多次使用相同的提示(prompt)，每次都有可能得到不同的文章。而且，符合玄学思想的是，有一个所谓的“温度”参数来确定低排名词的使用频率。对于文章生成来说，“温度”为0.8似乎最好。（值得强调的是，这里没有使用任何“理论”，“温度”参数只是在实践中被发现有效的一种方法。例如，之所以采用“温度”的概念，是因为碰巧使用了在统计物理学中很常见的某种指数分布，但它与物理学之间并没有任何实际联系，至少就我们目前所知是这样的。）
- ⏱ 2024-01-20 00:52:52
概率从何而来
📌 举例来说，我们知道，如果句子中有一个字母q，那么紧随其后的下一个字母几乎一定是u。
- ⏱ 2024-01-20 00:56:18
📌 在网络爬取结果中可能有几千亿个词，在电子书中可能还有另外几百亿个词。但是，即使只有4万个常用词，可能的二元词的数量也已经达到了16亿，而可能的三元词的数量则达到了60万亿。因此，我们无法根据已有的文本估计所有这些三元词的概率。当涉及包含20个词的“文章片段”时，可能的20元词的数量会大于宇宙中的粒子数量，所以从某种意义上说，永远无法把它们全部写下来。
我们能做些什么呢？最佳思路是建立一个模型，让我们能够估计序列出现的概率—即使我们从未在已有的文本语料库中明确看到过这些序列。ChatGPT的核心正是所谓的“大语言模型”，后者已经被构建得能够很好地估计这些概率了。- ⏱ 2024-01-20 00:57:57
什么是模型
- 📌 假设你想（像16世纪末的伽利略一样）知道从比萨斜塔各层掉落的炮弹分别需要多长时间才能落地。当然，你可以在每种情况下进行测量并将结果制作成表格。不过，你还可以运用理论科学的本质：建立一个模型，用它提供某种计算答案的程序，而不仅仅是在每种情况下测量和记录。
- ⏱ 2024-01-20 00:58:56
类人任务(human-like task)的模型
📌 要确定输入的图像是否对应于特定的数字，可以逐像素地将其与已有的样本进行比较。但是作为人类，我们似乎肯定做得更好：因为即使数字是手写的，有各种涂抹和扭曲，我们也仍然能够识别它们。
- ⏱ 2024-01-20 01:00:25
📌 面对一个模糊的图像，并且不知道其来源，人类会用什么方式来识别它？
如果函数给出的结果总是与人类的意见相符，那么我们就有了一个“好模型”- ⏱ 2024-01-20 01:01:58
📌 能“用数学证明”这些函数有效吗？不能。因为要做到这一点，我们必须拥有一个关于人类所做的事情的数学理论。如果改变2的图像中的一些像素，我们可能会觉得，仍应该认为这是数字2。但是随着更多像素发生改变，我们又应该能坚持多久呢？这是一个关于人类视觉感知的问题。没错，对于蜜蜂或章鱼的图像，答案无疑会有所不同，而对于虚构的外星人的图像，答案则可能会完全不同。
- ⏱ 2024-01-20 01:02:55
神经网络训练的实践和学问
- 📌 ChatGPT的基本任务是弄清楚如何续写一段给定的文本。因此，要获得“训练样例”，要做的就是取一段文本，并将结尾遮盖起来，然后将其用作“训练的输入”，而“输出”则是未被遮盖的完整文本。
- ⏱ 2024-01-20 22:29:31
“足够大的神经网络当然无所不能！”
- 📌 过去，我们认为计算机完成很多任务（包括写文章）在“本质上太难了”。现在我们看到像ChatGPT这样的系统能够完成这些任务，会倾向于突然认为计算机一定变得更加强大了，特别是在它们已经基本能够完成的事情（比如逐步计算元胞自动机等计算系统的行为）上实现了超越。
但这并不是正确的结论。计算不可约过程仍然是计算不可约的，对于计算机来说仍然很困难，即使计算机可以轻松计算其中的每一步。我们应该得出的结论是，（像写文章这样）人类可以做到但认为计算机无法做到的任务，在某种意义上计算起来实际上比我们想象的更容易。
换句话说，神经网络能够在写文章的任务中获得成功的原因是，写文章实际上是一个“计算深度较浅”的问题，比我们想象的简单。从某种意义上讲，这使我们距离对于人类如何处理类似于写文章的事情（处理语言）“拥有一种理论”更近了一步。- ⏱ 2024-01-20 22:31:36
ChatGPT的内部原理
📌 我们终于准备好讨论ChatGPT的内部原理了。从根本上说，ChatGPT是一个庞大的神经网络— GPT-3拥有1750亿个权重。它在许多方面非常像我们讨论过的其他神经网络，只不过是一个特别为处理语言而设置的神经网络。它最显著的特点是一个称为Transformer的神经网络架构。
- ⏱ 2024-01-23 21:34:43
📌 ChatGPT（或者说它基于的GPT-3网络）到底是在做什么呢？它的总体目标是，根据所接受的训练（查看来自互联网的数十亿页文本，等等），以“合理”的方式续写文本。所以在任意给定时刻，它都有一定量的文本，而目标是为要添加的下一个标记做出适当的选择。
- ⏱ 2024-01-23 21:34:59
📌 它的操作分为三个基本阶段。第一阶段，它获取与目前的文本相对应的标记序列，并找到表示这些标记的一个嵌入（即由数组成的数组）。第二阶段，它以“标准的神经网络的方式”对此嵌入进行操作，值“像涟漪一样依次通过”网络中的各层，从而产生一个新的嵌入（即一个新的数组）。第三阶段，它获取此数组的最后一部分，并据此生成包含约50000个值的数组，这些值就成了各个可能的下一个标记的概率。（没错，使用的标记数量恰好与英语常用词的数量相当，尽管其中只有约3000个标记是完整的词，其余的则是片段。）
关键是，这条流水线的每个部分都由一个神经网络实现，其权重是通过对神经网络进行端到端的训练确定的。换句话说，除了整体架构，实际上没有任何细节是有“明确设计”的，一切都是从训练数据中“学习”来的。- ⏱ 2024-01-23 21:35:22
真正让ChatGPT发挥作用的是什么
- 📌 人类语言，及其生成所涉及的思维过程，一直被视为复杂性的巅峰。人类大脑“仅”有约1000亿个神经元（及约100万亿个连接），却能够做到这一切，确实令人惊叹。人们可能会认为，大脑中不只有神经元网络，还有某种具有尚未发现的物理特性的新层。但是有了ChatGPT之后，我们得到了一条重要的新信息：一个连接数与大脑神经元数量相当的纯粹的人工神经网络，就能够出色地生成人类语言。
- ⏱ 2024-01-23 21:38:50
语义语法和计算语言的力量
- 📌 人类语言是不精确的，这主要是因为它没有与特定的计算实现相“结合”，其意义基本上只由其使用者之间的“社会契约”定义。但是，计算语言在本质上具有一定的精确性，因为它指定的内容最终总是可以“在计算机上毫无歧义地执行”。人类语言有一定的模糊性通常无伤大雅。（当我们说“行星”时，是否包括外行星呢？等等。）但在计算语言中，我们必须对所做的所有区别进行精确和清晰的说明。
在计算语言中，利用普通的人类语言来创造名称通常很方便。但是这些名称在计算语言中的含义必须是精确的，可能涵盖也可能不涵盖典型人类语言用法中的某些特定内涵。
如何确定适用于一般符号话语语言的“本体论”(ontology)呢？这并不容易。也许这就是自亚里士多德2000多年前对本体论做出原始论述以来，在这些方面几乎没有什么进展的原因。但现在，我们已经知道了有关如何以计算的方式来思考世界的许多知识，这确实很有帮助（从我们的Physics Project和ruliad思想中得到“基本的形而上学”也无妨）。- ⏱ 2024-01-23 21:41:54
那么，ChatGPT到底在做什么？它为什么能做到这些？
- 📌 ChatGPT的基本概念在某种程度上相当简单：首先从互联网、书籍等获取人类创造的海量文本样本，然后训练一个神经网络来生成“与之类似”的文本。特别是，它能够从“提示”开始，继续生成“与其训练数据相似的文本”。
- ⏱ 2024-01-23 21:42:36
再举几个例子
📌 ChatGPT像人类一样，经常在数学领域遇到困难。
- ⏱ 2024-01-23 21:52:57
📌 因此，使用（不能咨询Wolfram|Alpha的）ChatGPT做数学作业可能不是一个好主意。它可以给你一个看似非常可信的答案。

但是如果ChatGPT没有“真正理解数学”，就基本上不可能可靠地得出正确答案。所以，答案又是错误的。

ChatGPT甚至可以为“它得出答案的方式”（尽管并不是它所“做”的真正方式）编造一个非常像样的解释。此外，迷人（和有趣）的是，它给出的解释里存在不理解数学的人类可能会犯的错误。
- ⏱ 2024-01-23 21:54:16
📌 在各种各样的情况下，“不理解事物的含义”都可能会引起麻烦。
- ⏱ 2024-01-23 21:45:13
📌 是的，可以找到一种方法来“修复这个特定的bug”。但问题在于，像ChatGPT这样基于生成语言的AI系统的基本思想并不适用于需要执行结构化计算任务的情况。换句话说，需要“修复”几乎无穷多的“bug”，才能追赶上Wolfram|Alpha以其结构化方式所能实现的几乎无穷小的成就。
- ⏱ 2024-01-23 21:45:34
前方的路
📌 但结果从来不是“完美”的。也许有的东西能够在95% 的时间内运作良好。但是不论怎样努力，它的表现在剩下的5% 时间内仍然难以捉摸。对于某些情况来说，这可能被视为失败。但关键在于，在各种重要的用例中，95% 往往就“足够好了”。原因也许是输出是一种没有“正确答案”的东西，也许是人们只是在试图挖掘一些可能性供人类（或系统算法）选择或改进。
- ⏱ 2024-01-23 21:46:30
📌 Wolfram语言的总体概念就是对我们人类的所思所想进行计算上的表示和处理。普通的编程语言旨在确切地告诉计算机要做什么，而作为一门全面的计算语言，Wolfram语言涉及的范围远远超出了这一点。实际上，它旨在成为一门既能让人类也能让计算机“用计算思维思考”的语言。
许多世纪以前，当数学符号被发明时，人类第一次有了“用数学思维思考”事物的一种精简媒介。它的发明很快导致了代数、微积分和最终所有数学科学的出现。Wolfram语言的目标则是为计算思维做类似的事情，不仅是为了人类，而且是要让计算范式能够开启的所有“计算XX学”领域成为可能。- ⏱ 2024-01-23 21:47:58
