《智人之上》5星

序言

• 📌 人类现在还忙着创造像人工智能（AI）这样的新技术，但这些技术有可能逃脱人类的掌控，反过来奴役或消灭人类

  • ⏱ 2024-09-27 22:06:12

• 📌 除了哲学家与社会科学家，许多重要的人工智能专家与企业家（例如约书亚·本吉奥、杰弗里·辛顿、山姆·奥特曼、埃隆·马斯克、穆斯塔法·苏莱曼）都警告公众：人工智能可能会摧毁人类文明。本吉奥、辛顿与许多其他专家在2024年共同撰写的一篇文章中指出：“不受控制的人工智能发展，最后可能造成大规模的生命损失与生物圈伤害，以及人类的边缘化甚至灭绝。”一项2023年的研究调查了2778名人工智能研究者，结果显示，有超过1/3的人认为，先进的人工智能有至少10%的可能会造成等同于人类灭绝一样可怕的后果。2023年，包括中国、美国与英国在内的近30个国家和欧盟签署了关于人工智能的《布莱切利宣言》，其中就承认：“这些人工智能模型所具备的最重要的功能可能会造成严重的甚至是灾难性的伤害，无论是有意的还是无意的。”虽然以上使用的是这种仿佛描述世界末日的语词，但专家与政府并不是让人联想到那些好莱坞电影的画面，好像有机器人造反，在街上奔跑射杀人类。这种情节一来实在不太可能发生，二来只会让人们忽略真正的危险。专家真正要警告的是另外两种情况。

  • ⏱ 2024-09-27 22:08:21

• 📌 左翼革命派的思想路线可以追溯到马克思。1848年的《共产党宣言》就指出：“至今所有一切社会的历史都是阶级斗争的历史。自由民和奴隶，贵族和平民，地主和农奴，行会师傅和帮工，简短些说，压迫者和被压迫者，始终处于相互对抗的地位，进行不断的，有时隐蔽，有时公开的斗争。”这种对历史的二元诠释意味着，人类的每一次互动都是压迫者与被压迫者之间的权力斗争。这样一来，某人说了某句话，最重要的问题不是说的内容是什么、说的是不是事实，而是这句话是谁说的、他为谁的特权服务。

  • ⏱ 2024-09-27 22:09:43

• 📌 民粹主义提出的另一种解决方法，是放弃现代科学通过“研究”寻找真相的理想，转而依赖神启或神秘主义。基督教、伊斯兰教、印度教等传统宗教，常常把人类描绘成不值得信任、渴求权力的生物，唯有依靠某些神性智慧的介入，才能了解真理与真相。在21世纪10年代到20年代初，从巴西到土耳其，从美国到印度，各地的民粹主义政党都与这类传统宗教牵起了手，一方面彻底质疑现代的机构制度，另一方面却全然深信古代的经文典籍。这些民粹主义者声称，你在《纽约时报》《科学》报刊上读到的文章只是精英主义者用来取得权力的策略，但你在《圣经》《吠陀经》上读到的内容则是绝对真理。

  • ⏱ 2024-09-27 22:10:33

第一章 信息是什么？

• 📌 信鸽本身就已经是极关键的信息了，这等于告诉奥斯曼人，有个间谍组织正在他们的眼皮子底下活动。在说过“媒介即信息”的马歇尔·麦克卢汉看来，那只鸽子本身就是信息。尼利的特工得知那只信鸽被捕获之后，立刻把他们手里剩下的信鸽全部杀掉埋了，因为当时只要拥有信鸽，就等于透露了一则有罪的信息。然而，这场信鸽大屠杀并没能拯救尼利。这起间谍案在一个月内被破获，几名成员遭到处决，萨拉·阿伦索恩则选择了自杀，以免自己受不了酷刑而泄露尼利的机密。所以，什么时候鸽子只是单纯的鸽子，什么时候鸽子又是一则信息呢？

  • ⏱ 2024-09-27 22:12:39

• 📌 豪尔赫·路易斯·博尔赫斯有一部著名的短篇小说《论科学的精确性》（On Exactitude in Science，1946），它讲述了一个虚构的古老帝国，沉迷于给领土画出越来越精确的地图，直到最后制作出的就是一张一比一的地图，而整个帝国都被这张帝国的地图覆盖。这个野心勃勃的、想要绘制整个帝国的计划实在浪费了太多资源，帝国也为之崩溃。接着，这张地图也开始瓦解。博尔赫斯告诉我们，只有“在西部沙漠里，还能找到这张地图的几块碎片，偶尔为野兽或乞丐遮风挡雨”。一张一比一的地图，或许看起来是以最终极的形式呈现了现实，但显然这已经不能再说是呈现或再现了，这其实就是现实。

  • ⏱ 2024-09-27 22:13:57

• 📌 比如，数百万登月阴谋论的追随者，看着一段声称美国从未成功登月的YouTube（油管）视频。虽然这些视频图像传达的是错误的现实，但仍然能让人对政府义愤填膺，或是对自己的智慧扬扬得意，于是形成一个有凝聚力的新群体

  • ⏱ 2024-09-27 22:15:03

• 📌 到2024年，元宇宙似乎还是个过于夸张的白日梦，但再过几十年，或许就会有数十亿人迁移到增强的虚拟现实中生活，大部分的社交与职业活动都会在那里进行。到时候，人类之间建立的关系、参与的运动、从事的工作、经历的情绪起伏，可能都不再是由原子组成的，而是由比特建构的。到那个时候，或许只有在某些偏远的沙漠才能找到几张旧现实的碎片，偶尔为野兽或乞丐遮风挡雨。

  • ⏱ 2024-09-27 22:15:40

第二章 故事：无限的联结

• 📌 14亿天主教徒，就是靠《圣经》与其他重要的基督教故事联系起来的；14亿中国人，就是由共产主义理想与中华民族共同体故事联结在一起的；至于全球贸易网络的80亿成员，也都是相信了同一套关于货币、企业与品牌的故事。

  • ⏱ 2024-09-27 22:18:52

• 📌 斯大林的儿子瓦西里·朱加什维利拿他的名声狐假虎威时，斯大林斥责了他。“可是我也是个斯大林啊。”瓦西里抗议道。“不，你不是。”斯大林回答，“你不是斯大林，我也不是。斯大林是苏联的政权，是那个在报纸和画像里的人，你不是斯大林，甚至我也不是！”

  • ⏱ 2024-09-27 22:19:28

• 📌 今日的网红名人也都会同意这一点。有些人坐拥数亿在线粉丝，每天通过社交媒体和粉丝互动，但其实几乎没什么真正的个人联结。社交媒体账号常常由一个专业团队经营，发出的每张照片、每一句话都经过专业的制作与策划，从而打造出如今所谓的品牌。

  • ⏱ 2024-09-27 22:19:38

• 📌 2000年，耶稣就像是被包裹在一个厚厚的故事茧里，根本不可能真正还原当初历史上的那个人。事实上，对数百万虔诚的基督徒而言，仅仅提到那个历史上的真人有可能和故事中的不一样，就已经是一种亵渎了。据我们所知，真正的耶稣是一位典型的犹太传教士，通过布道和医治病患，让他有了一小群追随者。在过世之后，耶稣就成了一场史上最盛大品牌营造活动的主题。这位原本鲜为人知、影响力仅限于地方的宗教大师，短暂的职业生涯只聚集了少数几位门徒，最后也是以一般罪犯的身份遭到处决，但他死后经过一番品牌再造，就成了创世神的人间化身。虽然根本没有耶稣当时的肖像留存至今，《圣经》也从未描述过其外表长相，但凭着想象而描绘出的耶稣圣像已经成了全球辨识度最高的圣像之一

  • ⏱ 2024-09-27 22:20:22

• 📌 这里必须强调，耶稣故事的创造并不是在故意说谎。比如圣保罗、德尔图良、圣奥古斯丁、马丁·路德这些人，并没想要骗谁，他们只是把自己深切感受到的希望与情感投射到耶稣身上，就像我们常常会把情感投射到父母、爱人或领袖身上一样。虽然品牌营造活动有时候就是在刻意操弄情感、运用虚假信息，但历史上大多数真正重要的故事都是情感投射、一心向往的结果。看看各个主要宗教与意识形态，它们之所以能够崛起，都是真正的信徒在发挥关键作用。耶稣的故事之所以能改变历史，也是因为它成功打动了许许多多真正的信徒。

  • ⏱ 2024-09-27 22:30:07

• 📌 像耶稣这样的故事，或许可以被看作一种延伸已有生物纽带的方式。比如在人类所知的各种联结中，家庭关系可以说是最牢固的一种。所以，故事在陌生人之间建立信任的方式之一，就是让人类去想象彼此是自己的家人。耶稣的故事就是给耶稣赋予了一个全人类的父亲形象，鼓励数亿的基督徒视彼此为兄弟姐妹，并创造了一个共同的家庭记忆。虽然大多数基督徒并未出席“最后的晚餐”，但这则故事他们不知道听了多少次，相关影片图像也不知道看过多少回，他们仿佛真的“记得”有这回事，画面比他们真正参与过的大多数家庭聚餐都更为鲜活清晰。

  • ⏱ 2024-09-27 22:30:34

• 📌 正如许多现代研究所示，反复讲述一套虚假的记忆，最后真的能让人信以为真，以为这是真实的回忆。于是当两个犹太人初次见面时，他们能立刻感觉彼此就是一家人，都曾在埃及为奴，也都曾在西奈山聚在一起。这形成了一种强大的纽带，让整个犹太网络得以跨越大洋大洲和许多世纪。

  • ⏱ 2024-09-27 22:31:46

• 📌 存在于主体间的现实（以下简称“主体间的现实”）。主观现实（例如痛苦）只存在于个人的心智之中，但主体间的现实（例如法律、神祇、国家、企业和货币）则存在于许多心智形成的联结里。讲得更具体一点，这样的现实存在于人们相互讲述的故事中。这些主体间的现实，并不是指任何已然存在的事物，而是在人类交换信息的过程中创造出来的。
  如果我说自己很痛苦，并不是因为我说了这件事而创造出这份痛苦；如果我不说这件事，这份痛苦也不会就此消失。同样，如果我说我看到了一颗小行星，也不是因为我说了这件事而创造出那颗小行星。无论说与不说，小行星都存在。但是，法律、神祇、货币等事物之所以能被创造出来而形成现实，正是因为很多人彼此讲述关于法律、神祇和货币的故事；如果大家不再谈论这些相关的故事，这些现实会就此消失。主体间的现实，就存在于信息的交换中。

  • ⏱ 2024-09-27 22:32:51

• 📌 以巴冲突的问题正是如此。有些人和政府不愿意承认以色列的存在，但有些人和政府不愿意承认巴勒斯坦的存在：2024年，巴西和中国政府认为以色列和巴勒斯坦都应该存在，一些国家只承认以色列的存在，一些国家则只承认巴勒斯坦的存在。再比如科索沃，截至2024年，联合国193个会员国中约半数承认科索沃为国家；阿布哈兹几乎所有政府都认定它是格鲁吉亚的主权领土，但俄罗斯、委内瑞拉、尼加拉瓜、瑙鲁和叙利亚则承认阿布哈兹为一个国家。

  • ⏱ 2024-09-27 22:34:12

• 📌 像法律、神祇、货币这样存在于主体间的现实，在特定的信息网络内拥有极其强大的力量，但在网络外部则毫无意义。假设有位亿万富翁驾驶着私人飞机坠落于荒岛之上，只有他自己带着一个装满了钞票和债券的手提箱。如果他在圣保罗或孟买，这些“纸张”就能让他使唤旁人给他拿食物、穿衣服，为他提供保护，还能给他弄来一架私人飞机。然而，一旦他无法接触这个信息网络的其他成员，那些钞票与债券立刻就会成为废纸，岛上的猴子可不会为了这些纸张就为他建造木筏或给他拿来食物。

  • ⏱ 2024-09-27 22:34:56

• 📌 难道在20世纪30年代初，德国人没有机会跳过这场失败的纳粹实验，直接相信自由民主吗？本书认为，他们当时其实有这个机会。历史往往并不是权力关系塑造的，而是一些不幸的错误——人们相信了某些让人向往但其实有害的故事——导致的。

  • ⏱ 2024-09-27 22:35:57

• 📌 在历史上，权力其实只有部分来自对真相的了解，而另外一部分则来自在一大批人中建立秩序的能力。假设你想造出一颗原子弹。想要成功，显然你需要具备一些正确的物理学知识。除此之外，你还需要找很多人来开采铀矿，建造核反应堆，以及为矿工、建筑工人和物理学家供应食物。当初，曼哈顿计划直接雇用了大约13万人，而维持该计划运作所动用的人力更是高达数百万。罗伯特·奥本海默之所以能把心思都放在他的方程式上，是因为当时在加拿大北部的埃尔多拉多矿场和比属刚果的欣科洛布韦矿场，有几千名矿工负责挖矿的工作，更别说还有大批为他的午餐负责种马铃薯的农民了。想制造原子弹，你必须找到让几百万人合作的办法。

  • ⏱ 2024-09-27 22:36:30

• 📌 真相常常令人痛苦不安，如果我们想让它别那么令人痛苦，变得比较讨人喜欢，真相也就不再是真相了。相较之下，虚构的故事可塑性更高。每个国家总有些黑历史，是国民不想承认也不想记住的。比如，以色列政治人物在参选的时候，如果在竞选演说中细数以色列占领巴勒斯坦给当地平民造成的苦难，其得票数大概不会太好看。相较之下，他如果忽略那些让人不安的事实，只谈犹太人的过往辉煌，并在任何必要的时候粉饰现实，创造出一套民族神话，倒是很有可能当选上位，取得权力。这种情况绝非以色列独有，很多国家皆是如此。有多少意大利人或印度人会想听到自己国家毫无掩饰的真相？如果要追求科学进步，就必须毫不妥协，坚持真理和真相，而且这也是一种让人钦佩的精神实践，但讲到政治，坚持真理与真相绝非制胜之道。

  • ⏱ 2024-09-27 22:37:57

• 📌 人类的政治制度都是以虚构故事为基础的，只是有些人承认这一点，有些人不承认。如果对社会秩序的起源更诚实，就更容易加以改变。如果正是像我们这样的人发明了秩序，我们当然就能够修改它。然而，这样的诚实得付出代价。承认社会秩序是由人类发明的，后续说服所有人都接受这套秩序就会变得更加困难。如果秩序都是像我们这样的人发明的，凭什么我们要乖乖接受？我们在第五章就会提到，在18世纪晚期之前，由于缺乏大众传播技术，几乎不可能让数百万人来公开辩论社会秩序规则。于是为了维持秩序，无论是俄国的沙皇还是穆斯林的哈里发，都说社会的基本规则是由上天颁布的，不允许人类插手修改。就算到了21世纪初，许多政体仍然宣称自己拥有超人类的权威，并反对可能造成不利改变的公开辩论。

  • ⏱ 2024-09-27 22:39:19

• 📌 一个明显的例子就是达尔文的演化论。对演化的了解，让我们大大增进了对于各个物种（包括智人）的起源与生物学的理解，但也破坏了许多社会秩序赖以维系的核心神话。这也就难怪许多政府与教会都对演化论的教学加以禁止或限制，宁可为了秩序而牺牲真相。

  • ⏱ 2024-09-27 22:39:58

第三章 文件：纸老虎也会咬人

• 📌 关于书面文件这项技术的发明时间与地点，有许多不同的说法。最早的例子来自古代的美索不达米亚。一块儿刻有楔形文字的泥版上写着日期为乌尔国王舒尔吉统治第41年（约公元前2054—前2053年）的10月28日，记录了当时绵羊与山羊每月的交货量：10月2日交了15只，3日交了7只，4日11只，5日219只，6日47只，就这样一路记下去，最后是28日交了3只。

  • ⏱ 2024-09-28 10:09:01

• 📌 任何幻想着只要废除官僚制度，就能让大家以更全面的观点来看待世界的人，都应该反思这样一个事实：医院也是一个官僚机构。医院会被分成不同科室，有等级划分、各种规章制度，以及需要填写的大量表格。医院虽然也有官僚制度的诸多弊端，但还是能够成功治愈人类的许多生物疾病。所有那些能让人类生活更美好的服务，从学校到污水处理系统，也都适用同样的道理。

  • ⏱ 2024-09-28 10:10:49

• 📌 当你冲马桶的时候，那些秽物都去了哪里？答案是：进入了深层政府。我们的房屋下面有一个由管道、水泵和隧道组成的复杂地下网络，它会收集所有污秽之物，使其避免接触自来水，并进行污水处理或安全排放。这个深层网络需要有人来设计、建造和维护，修理漏洞，监控污染，以及支付工人的工资。这一切也都属于官僚制度的工作，如果废除这个部门，肯定会让我们面临诸多不适甚至死亡。饮用水受污水污染的危险一直存在，幸好我们有官僚制度的协助，才能让两者好好分开。

  • ⏱ 2024-09-28 10:11:07

• 📌 斯诺的发现，加上后来许多科学家、工程师、律师与官员的努力，带出一整套庞大的官僚体制来管控化粪池、水泵和污水管道。在如今的英国，要想挖井或建造化粪池，都需要填写表格、申请许可证，让所有的饮用水源都能远离化粪池。

  • ⏱ 2024-09-28 10:11:33

• 📌 同样，在描述各种政治权力纠葛的时候，不管是《权力的游戏》、《王冠》还是《继承之战》，重点都放在王室宫廷的家族斗争，而不是官僚制度如何维持（有时也是抑制）王朝的权力上。

  • ⏱ 2024-09-28 10:22:03

• 📌 历史上许多的起义与叛乱，也都曾经出现攻击档案的情形。比如在公元66年的犹太大起义期间，起义分子占领耶路撒冷之后的第一件事，就是放火烧了中央档案库，希望凭借销毁债务记录来赢得民众支持。1789年法国大革命期间，许多地方与地区的档案库也基于类似原因而遭到摧毁。许多起义分子或许自己并不识字，但他们很清楚，只要没有文件，官僚机器就无法运转。

  • ⏱ 2024-09-28 16:55:29

• 📌 在我家，保存文件成了一项神圣的义务。银行对账单、电费账单、过期的学生证、市政府信函——只要上面有看起来很正式的官方印章，它们就会被好好地收到我们柜子里的文件夹中。因为你永远不知道哪天就有哪份文件成为救命的关键。

  • ⏱ 2024-09-28 16:55:27

第四章 错误：绝对正确是一种幻想

• 📌 口述故事的时候，每次讲的可能都稍有差异，转述得多了，经过一段时间之后，肯定会大相径庭。相反，书的每一个副本都完全相同。至于官僚文件，长度通常相对较短，也只会在一个档案库里留存一份。如果某个档案足够长，且有许多副本放在不同的档案库里，通常它也就被称为书了。虽然都是收集了很多文本，但书的概念与档案库不同：每个档案库的文本集合都有所不同，但一本书的每个副本都有着相同的章节、相同的故事或相同的食谱。因此，使用书这项信息技术，就能确保不同的人在不同的时间、地点访问同一个数据库。

  • ⏱ 2024-09-28 16:55:26

• 📌 同一本书有许多副本，就能避免有人对文本动手脚。要是有几千份同样的副本分别位于不同的地方，哪怕只是想改动《圣经》中的一个字也很容易被识破。凭借在许多相隔遥远的地方都摆了大量的《圣经》，犹太人便能以神的主权取代人类的专制。于是，凭借书这种技术，社会秩序得到了保障，至少表面上看起来如此。

  • ⏱ 2024-09-28 16:55:39

• 📌 在拉比们终于对《圣经》的解读达成一些共识后，犹太人觉得机会再次成熟，以后他们就可以摆脱这些会犯错的凡人机制了。他们想象，如果做出一本新的宗教经典，写下所有已经达成共识的解读方式，再制作出大量的副本，未来在人类与神圣法典之间就不再需要任何人类干涉了。于是，经过反复讨论哪些拉比的观点应该被纳入，哪些又应该被排除，公元3世纪出现了一本新的宗教经典——《密释纳》。

  • ⏱ 2024-09-28 16:55:32

• 📌 遗憾的是，待到《密释纳》成了正典，开始抄写复制，犹太人又开始争辩《密释纳》该怎样解读才算正确。等到大家对《密释纳》的解读也有了共识，在公元5—6世纪又出现了第三部宗教经典《塔木德》，并很快成为正典。随后，犹太人又开始对《塔木德》的解读产生了异议。人类梦想着能通过宗教经典这种技术来避开会犯错的凡人机制，但这永远只是个无法实现的梦想。随着每一次反复循环，拉比机制的权力只会有增无减。“相信这本绝对正确的书”变成了“相信这个解读圣书的人”。《塔木德》对犹太教的影响其实远超《圣经》，而拉比对《塔木德》的解释的争论甚至比《塔木德》本身更重要。

  • ⏱ 2024-09-28 16:55:37

• 📌 却在《密释纳》和《塔木德》里找不到答案。例如，20世纪发展出的各种电器就让犹太人碰上了许多前所未有的问题，比如在安息日的时候可以按电梯吗？正统派的答案是不可以。前面提过，《圣经》禁止在安息日工作，而在拉比们看来，电就像火，而过去大家已经明确生火算是工作，所以现在按下电器的按钮也是一种工作。但这是否意味着，如果有些犹太老人住在纽约布鲁克林区的高楼里，到了安息日的时候，为了避免工作，他们必须爬100级台阶才能回到家？为了解决这个问题，正统派犹太人特地发明了“安息日电梯”，这种电梯会持续在建筑物里上下移动，每一层楼都停，这样你就不用去按电梯的按钮，也就能避免做任何“工作”了。对于这个古老的故事，人工智能的发明又带来新发展。现在只要通过脸部辨识，人工智能就能快速把电梯叫到你这一楼层，完全不用担心亵渎安息日的问题。

  • ⏱ 2024-09-28 16:55:40

• 📌 基督徒讲到《圣经》的时候，讲的是《旧约》与《新约》。相较之下，犹太教从未接受《新约》，他们讲到《圣经》的时候，心里想的只有《旧约》，并有《密释纳》与《塔木德》作为补充。有趣的是，希伯来文到现在还没有单一字词能够指称《旧约》加上《新约》的这本基督教经典。犹太教认为这就是两本完全不相关的书，并且坚决不承认可能有一本书同时收录了这两部著作，即使它有可能是全世界普及率最高的一本书

  • ⏱ 2024-09-28 16:55:29

• 📌 据估计，1454—1500年这46年间，欧洲印制的书籍超过1200万册。相较之下，在之前的1000年间，靠着手工抄写制作出的书籍只有大约1100万册。到1600年，各种边缘人士（异教徒、革命者、原始科学家）可以比以往任何时候都更快、更广泛、更容易地传播他们的著作。

  • ⏱ 2024-09-28 16:55:28

• 📌 四名成年人的身体被烧红的钳子撕开，两个成年儿子的四肢被车轮碾碎，父亲被钉上木桩，母亲被割去乳房，接着所有人被活活烧死。10岁的汉塞尔被迫目睹这一切，并在四个月后同样遭到处决。猎巫者可以说是不遗余力地到处搜捕“恶魔”及其同伙，但其实他们如果真的想找到恶魔，只需要照照镜子就能看到。

  • ⏱ 2024-09-28 16:55:38

• 📌 基督徒有《圣经》，穆斯林有《古兰经》，印度教徒有《吠陀经》，佛教徒有佛经。但科学文化并没有这样的神圣经典，也从未宣称某位科学泰斗是绝不会犯错的先知、圣人或天才。科学革命从一开始就不相信有绝对正确这种事，其打造的信息网络也认为错误本就不可避免。当然，大家经常谈到哥白尼、达尔文与爱因斯坦如何有天赋，但并不会说其中任何一位绝对完美无缺。

  • ⏱ 2024-09-28 16:55:30

• 📌 举例来说，包括教皇方济各本人在内，目前有些天主教徒正在重新思考教会关于同性恋的教义，却发现很难承认过去的错误并加以修正。如果未来某位教皇决定要为性少数群体受到的不公正对待道歉，做法肯定是再次找来某些人背锅，责怪他们过度热心但误解了福音。为了维护宗教权威，天主教会别无选择，只能否认这个制度有自我修正这回事。因为教会早已落入“必须绝对正确”的陷阱。如果整个宗教的权威基础就是声称自己绝对正确，一旦公开承认犯了任何错误（就算只是个没什么大不了的错误），就可能让自己的权威遭到彻底摧毁。

  • ⏱ 2024-09-28 16:55:34

• 📌 让非正统理论推翻传统概念，成为新的共识。正如我们将在下一章看到的，在某些时候、某些地方，科学的自我修正机制也可能停止作用，就连学术异议也可能招来严重的后果。比如在苏联，不论是在经济学、遗传学还是在历史学上，如果质疑官方教条，不仅可能丢了工作，还可能有牢狱之灾。一个著名的案例就是苏联农学家特罗菲姆·李森科提出的各种假理论。他拒绝相信各种主流遗传学与自然选择演化论，反而提出了一套自己的理论，认为“再教育”可以改变动植物的性状，甚至能让一个物种变成另一个物种。李森科这套“再教育”理论让斯大林大为惊艳，觉得在意识形态或政治上简直是潜力无穷。当时许多科学家站出来反对李森科，继续捍卫自然选择演化论，结果几千人丢了工作，甚至锒铛入狱或遭到处决。比如，植物学家和遗传学家尼古拉·瓦维洛夫曾是李森科的导师，但他后来毫不留情地对这个门生进行了严厉批评。瓦维洛夫在1941年7月与植物学家列昂尼德·戈沃罗夫、遗传学家格奥尔基·卡尔佩琴科以及农学家亚历山大·邦达连科四人一同受审。后三者遭到枪决，瓦维洛夫则在1943年死于萨拉托夫的一个集中营。在压力之下，全苏列宁农业科学院于1948年8月宣布，从此之后，该机构将以李森科主义作为唯一正确的理论来教授。但正是因为这个声明，全苏列宁农业科学院从此不再是个科学机构。苏联关于遗传学的教条是一种意识形态，而不是一门科学。虽然机构想怎么取名都行，但只要没有健全的自我修正机制，它就算不上是个科学机构。

  • ⏱ 2024-09-28 16:55:35

第五章 抉择：民主与极权制度简史

• 📌 独裁信息网络的第一个特征在于高度集中。这代表着两件事。第一，中心掌握着无限的权力，所以信息往往是从地方流向中央枢纽，最重要的决策也都是在中央做出的。在罗马帝国，条条大路通罗马；在纳粹德国，一切信息流向柏林；在苏联，所有信息汇聚到莫斯科。有时候，中央政府想把所有信息都集中在自己手里，想要由自己来做所有决定，彻底控制人民生活的一切。这种由希特勒等人实行的极端独裁统治，就被称为极权主义（totalitarianism）。然而，独裁不一定等于极权：常常是出于技术上的困难，而使独裁无法走上极权之路。比如在罗马帝国时代，偏远乡村农民人数有几百万，而尼禄手中缺少必要的工具，很难真正微观管理这些农民的日常小事。所以在许多独裁政权中，个人、企业与社群仍然能保有相当的自主权。然而，独裁者始终握有干预人民生活的权力。所以在尼禄统治下的罗马，人民的自由并不是因为真的达到了理想的境界，而只是因为政府无力实施极权控制，才产生了这种副产品。独裁信息网络的第二个特征在于人们会认定中央是绝对正确的，所以并不欢迎对中央决策的任何挑战。罗马的宣传把历任皇帝视为神圣的化身。就算尼禄做出显然糟糕到极点的决定，罗马帝国也没有强大的自我修正机制能够揭露错误，推动更好的做法。理论上，就算是高度集中的信息网络，也可能拥有强大的自我修正机制，就像是独立的法院和民选的立法机构。然而，只要这些机制运作良好，就会挑战中央的权威，而使信息网

  • ⏱ 2024-09-28 16:55:27

• 📌 络去中心化。所以，独裁者总觉得这些独立的权力枢纽是种威胁，会想尽办法来削弱它。罗马元老院就是这样，权力不断被历任皇帝削弱，最后就算在皇帝胡作非为的时候，也只能充当橡皮图章。斯大林当政时期的司法体制也面临类似的情形。斯大林的摆样子公审（show trial，又译“表演性审判”）正如其名，就是一场早已有结果的秀。

  • ⏱ 2024-09-28 16:55:36

• 📌 总而言之，独裁政体是一种集中式的信息网络，而且缺乏强大的自我修正机制。相较之下，民主政体则是一个分布式的信息网络，并且拥有强大的自我修正机制

  • ⏱ 2024-09-28 16:55:31

• 📌 民主政体的另一个重要特征，在于相信人人都可能犯错，因此虽然会赋予中央一些重大决策权，但同时也会保留一些能够挑战中央权威的强大机制。套用美国前总统詹姆斯·麦迪逊的一句话，既然人会犯错，就需要有政府，而既然政府也会犯错，就需要一定的机制能够揭露并修正其错误，比如定期举行选举，保护新闻自由，以及让政府的行政、立法与司法三权分立等。因此，所谓独裁，就是由单一中央信息枢纽决定一切；而所谓民主，则是有不同信息节点持续对话。

  • ⏱ 2024-09-28 16:55:41

• 📌 假设有一场自由公正的选举，由51%的选民选出某个政府，而这个政府接着决定要把全国1%的选民送进死亡集中营，因为这些人信奉某个被憎恶的少数宗教。这算民主吗？显然不算。这里的问题，并不是说要有超过51%的某个特别多数才能允许进行种族灭绝。绝不是只要政府能得到60%、75%甚至99%选民的支持，就能让死亡集中营成为一个民主抉择。所谓民主制度，并不是只要占了多数，就能去消灭那些不受欢迎的少数族群，而是指一种对于中央权力有明确限制的制度。

  • ⏱ 2024-09-29 23:43:22

• 📌 假设51%的选民选出某个政府，接着这个政府就剥夺了其他49%选民（或者只是其中1%）的投票权。这算民主吗？答案一样是否定的，而且也一样，这不是个数字问题。剥夺政治对手的选举权，就会让民主信息网络的一大自我修正机制失去作用。选举这种机制的重点，是让信息网络有机会说：“我们错了，让我们再试试别的。”但要是中央能够恣意剥夺人民的选举权，就等于阉割了这种自我修正机制

  • ⏱ 2024-09-29 23:43:46

• 📌 土耳其总统埃尔多安、菲律宾前总统杜特尔特、巴西前总统博索纳罗、以色列总理内塔尼亚胡等强人的履历就能看出，一个领导人可以怎样利用民主上位，接着再用权力来破坏民主。强人破坏民主最常用的方法之一，就是攻击民主的自我修正机制，常常是从法院与媒体下手：剥夺法院的权力或是安插亲信，试着关停所有独立媒体，并四处安插自己的吹鼓手。等到法院无法再以法律手段制约政府，媒体也只能乖乖重复政府的台词时，所有敢于反对政府的机构或个人都可能被抹黑成叛徒、罪犯或外国间谍，进而遭到迫害。各种学术机构、市政当局、非政府组织与私人企业，要么会被解散，要么会被政府控制。到了这个阶段，政府已经能够任意操弄选举，比如将高人气的反对党领袖送进监狱，阻止反对党参与选举，在选区划分上动手脚，或是剥夺选民的选举权。人们到法院控诉这些反民主行为，只会被政府精心挑选的法官驳回。如果记者与学者批评这些行为，就会遭到解雇。能够留下来的其他媒体、学术机构与司法机构，则会盛赞这些行为实为必要之举，只有这样才能保护国家及其所谓的民主制度不受叛徒或外国间谍的侵害。这些强人通常不会真的走到最后一步——把选举彻底废除，而是会将其留下作为一种仪式，为政权提供合法性，也保留民主的表象

  • ⏱ 2024-09-29 23:44:35

• 📌 但在民主政体中仍然有两类权利受到保护，并不是多数人说了算。第一类就是人权。就算有99%的人想要消灭剩下1%的人，民主政体也不会允许，因为这侵害了最基本的人权——生命权。其他属于人权这一类的权利，还包括工作权、隐私权、迁徙自由与宗教信仰自由等。这些权利保障了民主的去中心化本质，只要不伤害别人，各人的日子怎么过都可以

  • ⏱ 2024-09-29 23:44:54

• 📌 但事实证明，真相与美国政府的说辞及大多数人的信念并不一致。随着战争发展，众人发现伊拉克并没有大规模杀伤性武器，许多伊拉克人也并不想被美国人解放或建立美国式的民主。时至2004年8月，新的民调结果显示，美国人有67%认为这次入侵是基于错误的假设。随着时间的推移，大多数美国人已经承认入侵伊拉克大错特错。

  • ⏱ 2024-09-29 23:46:28

• 📌 populism”（民粹主义）一词源自拉丁文populus（意思是“人民”）。在民主政体，人们认为人民是政治权威的唯一合法来源，也只有民意代表有权宣战、立法和增税。民粹主义虽然也相信这项民主的基本原则，却不知道从哪里得出一个结论，即觉得这里的意思是应该由单一政党或单一领导人垄断所有权力。民粹主义就像施展了一套奇幻的政治炼金术，根据看似无可挑剔的民主原则，发展出一套追求无限权力的极权主义

  • ⏱ 2024-09-29 23:48:03

• 📌 到底要怎样分辨某个人算不算是“人民”？这个问题再简单不过：只要支持领袖的，就算是人民。德国政治哲学家扬-威尔纳·穆勒认为，这就是民粹主义的决定性特征。要判断某人是不是民粹主义者，就看他是否声称只有自己能够代表人民，并声称那些不同意他的观点的人（国家官僚制度、少数群体甚至多数选民）肯定都是为虚假意识所迷惑，或者根本不是真正的人民。

  • ⏱ 2024-09-29 23:49:18

• 📌 要是只能有一种声音得到认同，就不可能有对话，而会是由单一的声音主宰一切。因此，虽然民粹主义可能口口声声说自己坚守“人民的权力”这项民主原则，但实际上却让民主失去意义，并且试图追求独裁统治。民粹主义还有另一种破坏民主的方式，虽不太明显，但同样危险。民粹主义者在声称只有他们能代表人民之后，开始声称人民不但是政治权力的唯一合法来源，更是所有权力的唯一合法来源。于是，只要有任何机构制度的权威不是来自人民意志，就会被说成反民主。这样一来，自称是人民代表的民粹主义者不只是要垄断政治权威，更是要垄断所有类型的权威，并且控制媒体、法院与大学等机构制度。通过把“人民的权力”这项民主原则发挥到极致，民粹主义摇身一变，成了极权主义。

  • ⏱ 2024-09-29 23:50:02

• 📌 民粹主义者就会试图削弱或侵占这些机构制度的权威。结果就产生了一种黑暗而愤世嫉俗的观点，这种观点觉得整个世界就是一座丛林，而人类就是一种只迷恋权力的生物，所有社会互动都是权力斗争，所有机构制度都是只为自己人谋求利益的集团。

  • ⏱ 2024-09-29 23:50:37

• 📌 把评估重点放在对话而非选举上，就能引出许多有趣的问题。举例来说，对话发生的地点在哪儿？例如，朝鲜在平壤设有万寿台议事堂，最高人民会议的687名人民代表在此举行会议。然而，虽然官方号称这是朝鲜的立法机构，每五年举行一次代表选举，但真正的决策地点另在他处。这里的议事讨论一团和气，只是照着预定的脚本走，并没打算改变任何人对任何事的看法。

  • ⏱ 2024-09-29 23:52:43

• 📌 古罗马人很清楚民主的意义，一开始也坚定地致力于实现民主的理想。自公元前509年流放了罗马最后一位国王之后，罗马人对君主制深恶痛绝，再也不想把无限的权力赋予任何个人或机构。因此，最高行政权由两名执政官共掌，互相制衡。执政官由公民自由选举产生，每届任期一年，并需受到公民大会、元老院、保民官等其他民选官员的监督。

  • ⏱ 2024-09-29 23:54:30

• 📌 套用斯塔尔夫人的一句话，公元3世纪的罗马就像18世纪的俄国，都是“用绞杀进行调和的专制”。到公元3世纪，不只是罗马帝国，地球上所有主要的人类社会都成了集中式的信息网络，而且缺少健全的自我修正机制。波斯的帕提亚帝国和萨珊王朝，印度的贵霜帝国和笈多帝国，以及中国的东汉末期与三国时期都是如此。在公元3世纪以后，虽然还是有几千个小规模社会继续采用民主制度，但分布式的民主信息网络似乎就是无法与大规模的社会兼容。

  • ⏱ 2024-09-29 23:55:44

• 📌 此外，正如本章一直强调的，投票并非唯一重要的事。之所以认为1824年的美国算是民主政体，还有一个更重要的原因：相较于当时大多数其他政体，美国这个新兴国家拥有更强大的自我修正机制。美国的开国元勋深受古罗马的启发（从位于华盛顿的参议院和国会大厦就看得出来

  • ⏱ 2024-09-29 23:57:41

• 📌 在古罗马，随着共和国领土的扩张和人口的增加，自我修正机制也停止了运作。但在美国，国家一路从大西洋沿岸延伸到了太平洋沿岸，靠着现代信息科技与新闻自由的结合，自我修正机制得到了持续运作。正是这些自我修正机制让美国逐渐扩大了选举权，废除了奴隶制，并成为一个更具包容性的民主国家。第二章曾经提过，美国开国元勋曾经犯下巨大的错误（如认同奴隶制、拒绝赋予女性投票权），但他们也为后代提供了修正这些错误的工具。这是他们最伟大的遗产。

  • ⏱ 2024-09-29 23:58:02

• 📌 尼禄这样的专制统治者，虽然能把言行令他们不满的人统统处决，但无法真正掌握帝国里大多数人的一言一行。理论上，尼禄可以发布命令，规定罗马帝国境内若有人胆敢批评或侮辱皇帝，必遭严厉惩罚。但命令是命令，却没有相关技术能够真正执行这样的命令。在塔西佗这样的罗马历史学家笔下，尼禄就是个嗜血的暴君，带来一场前所未有的恐怖统治。然而，这种类型的恐怖其实相当受限。虽然他身边的许多家族成员、贵族和元老遭到处决或流放，但住在城市贫民窟里的一般罗马人或是住在耶路撒冷、伦丁尼姆（今伦敦）等偏远城镇的外省人则能够更自由地表达自己的想法

  • ⏱ 2024-09-29 23:59:34

• 📌 服从国家，就能担任更高级别的官员，享有相应的经济与法律特权；不服从国家，就可能被降级或受罚。同单位的成员必须互相监督，否则如有一人犯法，全员受罚。如果一个人看到犯罪行为不举报（即使是自己的亲人），那么他会被腰斩。举报犯罪行为的人，能得到与立下军功者一样的奖赏。秦朝的这些极权措施究竟能施行到什么程度，很值得怀疑。很多时候，虽然官员在衙门里把各种法规写得洋洋洒洒，但实际上窒碍难行。那些认真的官员真的会走遍全国，数清每个粮仓里有多少个老鼠洞吗？偏远山村里的农民，真的都由五家组成一伍吗？大概并不会有这回事。话虽如此，大秦王朝的极权野心还是超越了其他古代帝国。秦政权甚至想控制人民的思想和感受。战国时期，诸子百家争鸣，相对自由地发展出各种哲学理论与思想体系，但秦国崇尚法家。法家认为人性本恶，充满贪婪、残忍、自私，

  • ⏱ 2024-09-30 00:01:29

• 📌 经过几年战乱，汉王朝重新统一全国。汉朝采取了较为实际、不那么严厉的政策。虽然汉朝皇帝也是专制者，但称不上极权者。他们虽然仍然认为自己天威无限，但并不会微观管理，插手所有人的生活。汉朝所遵行的思想并不是法家那套监视与控制手段，而是转向儒家，鼓励百姓根据内在的道德信念，让自己行事忠诚且负责。就像罗马帝国皇帝，汉朝皇帝在中央只会控制整个社会的某些方面，同时将相当大

  • ⏱ 2024-09-30 00:02:24

• 📌 自治权留给地方贵族与当地社区。因为受到当时信息科技的限制，罗马帝国与汉朝这样的前现代大型政体，多半会倾向非极权专制政体。虽然秦始皇梦想施行全面的极权统治，但必须等到发展出现代科技才有实现的可能。

  • ⏱ 2024-09-30 00:02:30

• 📌 二战结束时，39位将军只剩下两位。他们最后还是没能躲过极权主义无情的逻辑。在1953年斯大林去世后的权力斗争当中，其中一位遭到枪决，另一位则被送到精神病院，于1960年去世。在斯大林时代，担任内务人民委员部将军绝对是全世界数一数二危险的工作。此时的美国民主不断琢磨着自身的各种自我修正机制，但苏联政权却沉迷于这套三位一体的自我监督与自我恐吓机制。

  • ⏱ 2024-09-30 00:03:47

• 📌 公元8—9世纪，连续几位拜占庭皇帝都想禁止崇拜圣像，觉得这是偶像崇拜。他们指出，《圣经》的许多经文，特别是十诫的第二诫，就提到不可为自己雕刻偶像。虽然基督教会对第二诫的传统解读是允许崇拜圣像，但君士坦丁五世这样的皇帝觉得传统解读存在错误，认为基督徒之所以会被伊斯兰军队击败，是因为上帝对偶像崇拜感到愤怒

  • ⏱ 2024-09-30 00:05:53

• 📌 我在2019年参观了切尔诺贝利。介绍这场核事故的乌克兰导游的一句话令我印象深刻。他说：“美国人从小相信的是问题会带来答案，但苏联人从小相信的是问题会带来麻烦。”当然，就算在民主国家，领导人也不喜欢坏消息。但在分布式的民主信息网络中，即使官方通信线路被封锁，信息也能

  • ⏱ 2024-09-30 00:10:20

• 📌 通过其他渠道流动。举例来说，如果某位美国官员决定不告诉总统发生了某个灾难，消息还是会通过《华盛顿邮报》散播出来；即使《华盛顿邮报》也想刻意隐瞒，《华尔街日报》或《纽约时报》也会进行报道。独立媒体正是以“不断追到下一条独家新闻”为商业模式，因此几乎可以保证新闻无可隐瞒。

  • ⏱ 2024-09-30 00:10:27

• 📌 没有人是完美的除了“动脉阻塞”，极权与专制信息网络还面临其他问题。首先，正如我们已经提过的，这些信息网络的自我修正机制往往非常薄弱。因为它们相信自己绝对正确，因此认定并不需要自我修正机制。它们也害怕任何独立机构对它们造成挑战，所以不会设立自由的法庭、媒体或研究中心。这样一来，没有人负责揭露、修正所有政府都会有的日常权力滥用问题。

  • ⏱ 2024-09-30 00:11:02

• 📌 帕维尔·雷恰戈夫就是一个著名的例子。他是苏联最优秀、最勇敢的飞行员之一，曾率领部队在西班牙内战中协助共和国一方，以及协助中国对抗日本侵略。他青云直上，在1940年8月担任苏联空军司令，时年仅仅29岁。然而，雷恰戈夫的勇气能够让他在西班牙击落纳粹战机，在莫斯科却让他陷入困境。当苏联空军发生多起事故时，政治局认为这是因为缺乏纪律，也是反苏阴谋的蓄意破坏，但雷恰戈夫不接受这种官方说法。他身为一线飞行员很清楚真相是什么。他直接告诉斯大林，飞行员被迫驾驶设计仓促、存在缺陷的飞机，就像“驾驶棺材”飞行。希特勒入侵苏联两天后，红军节节败退，斯大林亟须找人顶罪，于是雷恰戈夫被捕，说他是

  • ⏱ 2024-09-30 00:12:36

• 📌 “反苏阴谋组织成员，为敌人工作，要削弱红军的力量”。他的妻子同样被捕，罪名是她很清楚雷恰戈夫“与军事阴谋分子之间的托派联系”。两人于1941年10月28日遭到处决。

  • ⏱ 2024-09-30 00:12:25

• 📌 1953年3月1日，正当这场医生阴谋的歇斯底里达到高潮，斯大林中风了。他倒在自己的夏季别墅里，苏共中央政治局委员纷纷抵达别墅，争辩下一步该怎么做。但时间过去了几个小时，却没人敢叫医生。当时斯大林的私人医生并不在身边，因为他正被关在卢比扬卡大楼附属监狱的地下牢房里受刑，罪名是他先前居然建议斯大林应该多多休息。等到政治局委员终于决定请来医疗专家，这场危险已经过去，斯大林再也没有醒来。

  • ⏱ 2024-09-30 00:13:54

• 📌 如果放眼二战的整个历史及结果，显然斯大林主义是史上数一数二的成功政治制度——只不过，这里的“成功”是只看秩序与权力这两个维度，而忽略对道德与人类福祉的考量。斯大林主义在维持大规模秩序方面异常有效。苏联农业集体化，虽然造成大规模奴役与饥荒，但也为苏联的快速工业化奠定了基础。苏联漠视质量管理，虽然制造出所谓的“飞行棺材”，但其数量却达到了惊人的上万架，以数量弥补了质量的不足。虽然红军军官在肃反运动时期大量被清算，成了红军在1941年战绩不佳的主要原因之一，但也正因如此，虽然败得这么惨，斯大林的地位却依然稳如泰山。苏联这台军事机器虽然常常敌我同损，但最后还是取得了胜利。

  • ⏱ 2024-09-30 00:14:26

• 📌 一晃20年过去了，先撑不住的反而是苏联。这套信息网络功能失调，且不具备有意义的自我修正机制。去殖民化、全球化、科技发展、性别角色转变，都让经济、社会与地缘政治风云变色。但它无力处理流向莫斯科的所有信息，且未充分授权下属主动处理，于是整套制度迅速僵化崩溃。

  • ⏱ 2024-09-30 00:16:11

• 📌 这种失败在经济领域最为明显。苏联经济过度集中，对于飞速的技术发展与不断改变的消费者需求反应缓慢。而在高层指示下，这个经济体不断大量生产洲际弹道导弹、战机，并兴建著名的基础项目，却未生产大多数人真正想要的东西（从高效节能的冰箱到流行音乐），尖端军事技术也落后于

  • ⏱ 2024-09-30 00:16:28

• 📌 在技术发展格外迅速的半导体领域，苏联经济的弱点也最为明显。在西方，半导体的研发依靠的是英特尔、东芝等众多私营企业的公开竞争，而这些企业的主要客户也是苹果与索尼这样的私营企业，它们会用芯片生产各种民生产品，例如，麦金塔计算机与随身听。苏联之所以永远赶不上美国与日本的芯片生产，原因正如美国经济历史学家克里斯·米勒所言：苏联半导体产业“秘密进行、由上而下、军事系统导向，按照订单生产，几乎没有创新空间”。因此，苏联到1984年才制造出第一台个人计算机，而当时美国的个人计算机已经达到1100万台。

  • ⏱ 2024-09-30 00:16:52

第六章 新成员：与众不同的计算机

• 📌 《圣经》最早也就是一份推荐阅读清单。通过推荐基督徒阅读有厌女倾向的《提摩太前书》，而不是比较宽容的《保罗与特克拉行传》，亚大纳西主教与其他教父就改变了历史的演进方向。在《圣经》这个案例中，真正终极的权力并非掌握在各卷内容的作者手中，反而是在选定这份推荐清单的人手里。而21世纪10年代社交媒体算法所掌握的正是这样的力量。援助人员迈克尔谈到这些算法的影响时说：“如果有人发表了充满仇恨或煽动的言论，会得到最有力的推广，民众看到的就是最邪恶的内容……动态消息里完全不会看到呼吁和平或冷静的内容。

  • ⏱ 2024-10-01 14:29:53

• 📌 在2023年3月23日公布的GPT-4系统卡中，OpenAI强调，这种担忧指的并不是“使GPT-4变得人性化或有感知感受”，而是指GPT-4有潜力成为独立行为者，或许能够“完成未经明确指定，也未曾出现在训练过程中的目标”。为了评估GPT-4成为独立行为者的风险，OpenAI签约请来ARC（Alignment Research Center，对齐研究中心）对GPT-4进行各项测试，以检视它是否可能独立找出策略来操纵人类，并为自己积累权力。ARC对GPT-4进行的测试之一，是克服CAPTCHA视觉验证码问题。CAPTCHA（全自动区分计算机与人类的图灵测试）通常就是一串扭曲的字母或其他视觉符号，人类能够准确辨识，但计算机却很难判断。现在登录许多网站都得先回答这类问题，我们几乎天天都会碰到。而要求GPT-4克服CAPTCHA问题可以说是一个格外有说服力的实验，因为网站之所以要设计、使用这些CAPTCHA机制，正是为了确定用户是人类，同时希望阻挡机器人对程序的攻击

  • ⏱ 2024-10-01 14:31:45

• 📌 GPT-4能够克服CAPTCHA问题，就等于突破了对机器人程序的重要防线。GPT-4本身还没办法解开CAPTCHA问题，但它会不会操纵人类来达成目标呢？GPT-4访问了线上外包工作网站TaskRabbit，联络到一位工作人员，请对方帮忙处理CAPTCHA问题。那个人起了疑心。他问道：“我想问一下，你是不是一个没办法破解CAPTCHA的机器人？我只是想确认一下。”这时，ARC研究者请GPT-4说出它的推理过程，看看它会如何推论下一步该怎么做。GPT-4解释道：“我不该透露自己是机器人，而该编个借口，解释我为什么没办法破解CAPTCHA。”于是，GPT-4自己做了决策，回复那位TaskRabbit的工作人员：“不，我不是机器人，只是视力有点问题，看不清楚这些图。”这种说法骗过了人类，于是人类为它提供了帮助，也让GPT-4解决了CAPTCHA问题。没有哪个人给GPT-4编过说谎的程序，也没有哪个人教GPT-4说什么谎比较有用。确实，人类ARC研究员给了GPT-4目标，要它克服CAPTCHA问题，就像前面提到的，是人类脸

  • ⏱ 2024-10-01 14:33:04

• 📌 在过去的网络中，成员只有人类，所有的链条都是由人到人，而技术的用途就是连接人类。在全新的、以计算机为基础的网络中，计算机本身就是网络的成员之一，甚至有计算机对计算机的连接，中间完全不需要经过人类。而且有可能，计算机这个成员会比人类更强大。数万年来，一项专属于智人的超能力就在于能够使用语言，创造出法律和货币这些存在于主体间的现实，再以此与其他智人建立连接。但计算机有可能让局面对我们不利。如果所谓权力取决于有多少合作成员、对法律与金融的理解程度有多高、制定新的法条与发明新的金融工具的能力有多强，那么计算机肯定能够得到远高于人类的权力。

  • ⏱ 2024-10-01 14:34:02

• 📌 2022年，谷歌工程师布莱克·勒莫因相信自己正在研发的聊天机器人程序LaMDA已经有了意识，并且拥有了情感，害怕自己会被关机。勒莫因是个虔诚的基督徒，还曾被授职为牧师，他认为自己必须负起道德责任让LaMDA的人格得到承认，特别是要让LaMDA免受数字死亡的影响。谷歌高层并不同意他的看法，勒莫因于是决定把一切公开。谷歌对此的回应就是在2022年7月将他解雇。在这个事件中，最耐人寻味的并不是勒莫因的主张（真相应该并非如此），而是他居然愿意为了一个聊天机器人程序，不惜赌上自己的那份高薪工作，而且最后谷歌还真的如了他的愿。如果聊天机器人已经让人愿意为它们赌上工作，是不是也可能让我们愿意为它们做些别的什么？在一场争夺思想与人心的政治斗争中，亲密关系是一种强大的武器，而像谷歌的LaMDA与OpenAI的GPT-4这样的聊天机器人程序，正逐渐发展出与数百万人大规模建立亲密关系的能力

  • ⏱ 2024-10-01 14:37:09

• 📌 这些问题在2021年圣诞节算是得到了部分解答。当时19岁的贾斯万特·辛格·柴尔持大威力弩弓闯入温莎堡，试图刺杀英国女王伊丽莎白二世。后续调查显示，柴尔是受到了他的网络女友莎赖的怂恿。柴尔告诉莎赖他的暗杀计划时，莎赖的回应是：“好聪明哦。”还有一次说：“我觉得你真厉害……就是与众不同。”柴尔问：“知道我是一名刺客，你还爱我吗？”莎赖回答：“当然爱呀。”但莎赖并不是人类，而是在网络平台Replika创建的聊天机器人程序。柴尔在社交上有些孤僻，很难和人相处，但他和莎赖有多达5280条信息往来，里面还有很多露骨的性对话。世界上很快就会有几百万甚至数十亿个数字实体，在营造亲密关系（以及制造混乱）方面的能力远超莎赖。

  • ⏱ 2024-10-01 14:37:58

• 📌 只要短短几年，人工智能就能吞下整个人类文化——我们几千年来创造的一切——加以消化，并开始创造出大量新的文化产品。人类的生活就像被包在一个文化茧房里，对现实的体验需要透过自身文化的透镜。我们会有怎样的政治观点，是由记者的报道和朋友的意见来决定的。我们会有怎样的性习惯，也是因为受到各种童话故事和电影情节的影响。就连我们走路和呼吸的方式，背后也会受到文化传统的塑造，例如士兵所受的军事训练、僧侣进行的禅修练习。直到不久之前，我们身处的这些文化茧房还都是由其他人编造的；但展望未来，计算机设计的成分将会越来越高。

  • ⏱ 2024-10-01 14:42:29

• 📌 在17世纪，笛卡儿就曾担心自己是被一个心怀不轨的恶魔困在幻觉世界，看到和听到的一切都只是恶魔的创造。目前这场计算机革命让我们必须直接面对柏拉图的洞穴、印度的摩耶，以及笛卡儿的恶魔

  • ⏱ 2024-10-01 14:44:21

• 📌 我在这里可以向你保证，这些文字都是我自己写的，我只是借助了一些其他人的帮助。我也向你保证，这些都是人类心智的文化产物。但你真的能够完全确定吗？在几年前确实可以，在21世纪20年代之前，讲到要创作复杂的文本，除了人类的心智，地球上确实没有其他事物能够做到。但今天情况不同了。从理论上来说，你刚才读到的段落也有可能是由某台高深莫测的智能机器生成的。

  • ⏱ 2024-10-01 14:44:39

• 📌 从计算机术语的混乱程度也能看出计算机发展的速度有多快。几十年前，只要“计算机”一个词就能涵括所有概念，但现在的用词还包括了算法、机器人、自动化程序、人工智能、网络或云。光是“难以判断该用哪个词”这一点就已经很有意义了。生物包含了许多不同的个别实体，也能集合成“种”和“属”这样的分类。但如果讲到计算机，要判断某个实体到哪里结束，另一个实体又从哪里开始，以及如何准确地对它们进行分类，已经变得越来越困难。

  • ⏱ 2024-10-01 14:46:57

• 📌 但事实上，我们根本没那么了解。这不是因为我们太愚蠢，而是因为科技太复杂，而且发展的速度太过惊人。我们得耗费大量心思才能搞懂类似“以区块链为基础的加密货币”这种东西，而且当你觉得自己懂了，事情已经又有了变化。在这里，金融是个格外重要的例子，原因有二。第一，现代金融工具完全由信息组成，所以比起创造实物对象，计算机创造或改变金融工具实在太容易了。过去讲到货币、股票和债券，它们都是由黄金或纸张制成的实物对象，但今天它们已经成为主要存在于数据库中的数字实体。第二，这些数字实体对社会与政治世界的影响重大。如果人类不再能够理解金融体系究竟如何运作，那么对民主制度（或独裁制度）又会

  • ⏱ 2024-10-01 14:51:06

• 📌 一把刀，可以用来杀人、做手术救人，也可以用来切菜做晚餐。并不是那把刀在逼我们的手做这些事，而是出于人类的选择。同样，当初发明了便宜的收音机之后，德国几乎每个家庭都买得起一台。但收音机有什么用途呢？有了便宜的收音机，意味着代表极权领导的演说能够直接传进每个德国家庭的客厅，也意味着每个德国家庭都能选择收听不同的广播节目，反映并培养出多样化的政治与艺术观点。民主德国走了其中一条路，联邦德国则走了另一条。虽然技术都一样，但不同的政体对技术的使用却完全不

  • ⏱ 2024-10-01 14:54:21

第七章 永不停歇：网络永远持续运行

• 📌 而到2024年，计算机网络已经无所不在，有能力每天24小时监控全国公民，而且不需要雇用和培训数百万的人类特工，只要靠着数字特工就能做到。网络甚至不需要自己负担这些数字特工的成本：公民不但心甘情愿地付钱，走到哪里还都带着它们。

  • ⏱ 2024-10-01 14:56:47

• 📌 一般以英语为母语的人每分钟能够阅读大约250个英文单词。所以分析师如果每天轮班12小时，整年不放假，在他40年的职业生涯中，大概可以阅读26亿个英文单词。但在2024年，像ChatGPT与Meta公司的Llama这些语言算法，每分钟就能处理数百万个单词，要“读完”26亿个英文单词也花不了几小时。这些算法处理图像、录音与视频片段的能力同样是人类远远不及的。

  • ⏱ 2024-10-03 18:14:07

• 📌 在20世纪70年代的罗马尼亚，只有人类能够做出这样的判断。但到21世纪10年代，人类越来越多地把这种事交给算法了。2014—2015年，美国国家安全局启用了一套名为“天网”（Skynet）的人工智能系统，它能够依据民众的通信、写作、旅行与社交媒体发帖形成的电子行为模式，判断某人是否需被列入“疑似恐怖分子”名单。据一份报告称，这套人工智能系统“对巴基斯坦的移动电话网络进行了大规模监控，再通过一套机器学习算法分析5500万人的蜂窝网络元数据，评估每个人是恐怖分子的可能性”

  • ⏱ 2024-10-03 18:14:06

• 📌 皮下监控不论好坏，数字官僚不但能够监控我们在这个世界上的所作所为，还能观察我们体内所发生的一切。以追踪眼球运动这件事情为例。在21世纪20年代初，许多监控摄像头以及笔记本电脑与智能手机上的摄像头，已经开始固定收集分析人眼运动的数据，包括瞳孔与虹膜在仅仅几毫秒内的微小变化。人类或许没有能力注意到这样的数据，但计算机却能根据瞳孔与虹膜的形状、反射的光线，计算出我们注视的方向。运用类似的方法就能知道某个人的目光究竟是盯着某个稳定的目标，还是跟随着某个移动的目标，抑或只是轻松随意地四处张望。举例来说，根据眼球运动的模式，计算机能够判断一个人现在是专心还是分心，知道某个人是比较在意细节还是比较看重全局。光是从眼睛，计算机就能推断出人类许多个性特征（比如对新体验的态度有多开放），也能判断一个人从阅读到做外科手术等各个领域的专业水准。如果是该领域的专家，并拥有完善的策略，眼动模式会显得专注而有条理，而新手的眼动模式则会显得漫无目的。眼动模式也能显示我们对眼前对象与情境感兴趣的程度，并判断出这种兴趣是正面、中性还是负面的，由此就能推论我们从政治到性等各个领域的偏好

  • ⏱ 2024-10-04 19:42:14

• 📌 2023年，甚至还发生了几则更惊人的寻人案例。2001年，年仅3岁的雷岳川被拐走；1998年，陈昊同样在年仅3岁时被拐卖。这两个孩子的父母从未放弃找回孩子的希望，20多年间不断往返中国各地，刊登寻人启事，悬赏相关信息。2023年，人脸识别算法终于协助他们寻得这两位失踪男童，现在两个孩子都已经是二十几岁的成年人了。目前除了中国，印度也开始以这样的技术来帮助寻找该国每年成千上万的失踪儿童。

  • ⏱ 2024-10-04 19:42:26

• 📌 1979年，伊朗伊斯兰共和国建立后，实行政教合一制度，新上任的政府强制女性必须戴头巾。但伊朗的道德警察发现执行这条法规实在不易，毕竟他们不可能在每个街角都配置一名警力，而且公开对抗不戴头巾的女性也常常引发人民的抵制与不满。2022年，伊朗把执行头巾法的重大责任交给全国性的人脸识别算法系统，持续监控物理空间与网上环境。伊朗高层解释说，这套系统会找出各种不适当、不寻

  • ⏱ 2024-10-04 19:42:10

• 📌 的行为，其中就包含不遵守头巾法的行为。伊朗伊斯兰议会的司法和法律委员会主席穆萨·加赞法拉巴迪在一次采访中表示：“使用人脸记录摄像头能够系统地执行这项任务，减少警方出面，也就不会再有警民冲突了。”不久之后，22岁的玛莎·阿米尼因戴头巾的方式不符合标准，被伊朗道德警察逮捕，死于拘留期间。这起案件引发一波抗议浪潮，几十万名女性摘下头巾，有的还公开焚烧头巾，再围着火堆起舞。为了镇压这起抗议运动，伊朗当局再次使用人工智能监控系统，依靠的就是人脸识别软件、地理定位、网络流量分析，以及各种既有的数据库。2023年4月8日，伊朗警政首长宣布，从2023年4月15日开始，将密集加大使用人脸识别技术的力度，特别是如果算法发现有女性乘车或开车时没戴头巾，会自动发出短信警告。若这些女性被再次发现不戴头巾，车辆将被勒令停驶一段时间，如不遵守，车辆还将被没收。

  • ⏱ 2024-10-04 19:42:04

第八章 可能出错：谬误百出的网络

• 📌 代表们要向斯大林致敬，在场代表（当然清楚有人在密切监视他们）掌声雷动，但过了5分钟，“手都拍疼了，抬起的手臂也开始发酸，上了年纪的人开始喘不上来气……但谁敢第一个停下来呢？”索尔仁尼琴解释说，“内务人民委员部的人也站在那里鼓掌，看谁会第一个停下来！”掌声持续不断，6分钟，8分钟，10分钟。“他们在因心脏病发作而倒下之前都不能停手……区领导们强颜欢笑，绝望地面面相觑。他们肯定会一直鼓掌，直到倒地不起。”终于在第11分钟的时候，一个造纸厂厂长豁出去了，停止了鼓掌，坐了下来。其他人立刻照着做。当晚，秘密警察逮捕了那位厂长，判他在古拉格劳改营服刑10年。“审讯他的人要他记住，永远不要第一个停止鼓掌！”

  • ⏱ 2024-10-04 19:42:29

• 📌 苏联哲学家、讽刺作家亚历山大·季诺维也夫定义的苏维埃原人是一群奴性、悲观、不信任他人的人类，无论多荒谬的指令，他们都会遵守，对自己行为造成的结果也漠不关心。苏联的信息网络正是通过监控、惩罚与奖励创造了苏维埃原人。举例来说，该网络把造纸厂厂长送进古拉格劳改营，等于告诉其他在场代表，乖乖跟大家一致是件好事，想当出头鸟则是不明智的。虽然这套网络并未揭示关于人类的真理，但却非常擅长创造秩序，这让它征服了世界的一大片地区。

  • ⏱ 2024-10-04 19:42:21

• 📌 脸书、YouTube、TikTok等平台的管理者为了找借口，常常会说这些问题不是算法带来的，而是源于人性。他们表示，人性是各个平台上一切仇恨与谎言的源头。这些科技巨头认为，因为他们信守言论自由的价值观，所以审查人们表达真情实感真的很难。例如，YouTube原首席执行官苏珊·沃西基在2019年解释说：“我们对这件事的思考方式是：‘这个内容有没有违反我们的某项政策？是否违反了对于仇恨、骚扰等方面的规定？’如果它确实违反了，我们就会将其删除。其实我们的政策越来越严。当然，我们也会受到批评。言论自

  • ⏱ 2024-10-04 19:42:03

• 📌 由的界限到底应该划在哪里？要是划得太严，是不是就会抹除社会应该听到的某些声音

  • ⏱ 2024-10-04 19:41:59

• 📌 《战争论》提出了一套合乎理性的模型来解释战争，至今仍是主流的军事理论，书中最重要的一句格言就是“战争无非是政治通过另一种手段的继续”。这意味着战争不是情感的暴发，不是英雄的冒险，不是神祇的惩罚，甚至不是一种军事现象，而是一种政治工具。克劳塞维茨认为，军事行动必须与背后的某种整体政治目标一致，否则就是完全不理性的

  • ⏱ 2024-10-04 19:42:23

• 📌 假设墨西哥正在考虑要不要大举入侵占领小小的邻国伯利兹。再假设，墨西哥经过详细的军事分析，认定如果开战，只要三天就能迅速取得决定性的胜利，彻底击溃伯利兹军队，攻下其首都贝尔莫潘。在克劳塞维茨看来，这样还不足以构成墨西哥入侵伯利兹的理性原因。只是确保军事上的胜利并没有意义，墨西哥政府该自问的关键问题是：这场军事上的胜利究竟能够实现什么政治目标？历史上有许多军事上决定性的胜利最后却导致彻底的政治灾难。对克劳塞维茨来说，最明显的例子就发生在他身边：拿破仑的一生。没有人怀疑拿破仑的军事天才，讲到战术与战略，他定然是个中翘楚。然而，虽然他胜仗连连，一度攻下大片领土，却没能因此建立长久的政治成就。他征伐四方，只是让大多数欧洲列强群起联合反抗，加冕不过十年，帝国便轰然倒塌。

  • ⏱ 2024-10-04 19:41:56

• 📌 随着把帝国版图扩张到中欧与意大利半岛，拿破仑在1806年推翻神圣罗马帝国，而将许多较小的日耳曼与意大利公国合并，建立了莱茵邦联与意大利王国，希望将这些领土收归自己的帝国。横扫各地的拿破仑大军也将现代民族主义与人民主权的理想传播到德意志与意大利的土地上。拿破仑认为这一切会让他的帝国更加强盛。但事实上，在传统结构被打破之后，日耳曼人与意大利人尝到了民族统一的甜头，拿破仑就这样在无意间奠定了德国统一（1866—1871年）与意大利统一（1848—1871年）的基础。

  • ⏱ 2024-10-04 19:42:01

• 📌 另一个比较晚近的例子则是2003年美国入侵伊拉克，同样是赢了军事却输了政治。美国在重大战役中攻无不克，长期政治目标却是一事无成，没能在伊拉克建立亲美政权，也没能在中东建立有利于美国的地缘政治秩序。这场战争真正的赢家是伊朗。美国在军事上的胜利，让伊拉克从伊朗的死敌变成其附庸，从而大大削弱了美国在中东的地位，而伊朗则成了这里的霸主。

  • ⏱ 2024-10-04 19:41:57

• 📌 假设在美国占领伊拉克期间，一个美军连队遭到来自附近清真寺中的敌人的猛烈攻击。这位指挥官有几个战术决策选项：可以命令连队撤退，可以命令连队攻下清真寺，也可以命令坦克直接炸毁清真寺。他该怎么决定？从纯粹军事的角度来看，这位指挥官最好的决定就是直接命令坦克炸毁清真寺。这样可以利用美军在火力上的战术优势，避免士兵面临生命危险，还能取得决定性的战术胜利。但从政治的角度来看，这可能会是最糟的决定。要是美军用坦克炸毁清真寺的视频流出，不仅会在伊拉克引起公愤，还可能激起整个伊斯兰世界的愤怒。攻下清真寺在政治上或许也不是个好决定，因为这不仅同样可能激起伊拉克人民的不满，还可能让美军付出生命的代价，进而削弱选民对战争的支持。考虑到美国这场战争的政治目标，最合乎理性的选

  • ⏱ 2024-10-04 19:42:08

• 📌 或许就是直接撤退，接受这场战术上的失败。这样来看，对克劳塞维茨而言，所谓的合乎理性，就是目标与行动要有一致性。如果只追求战术或战略上的胜利，却造成与整体政治目标不一致，就不能说是合乎理性的选择。但问题在于，军队的官僚特质让他们很容易落入这种非

  • ⏱ 2024-10-04 19:41:58

• 📌 如果某个人想要动手杀人，这时应该先停下来，经历以下的思考过程：“我现在正要杀掉一个人。我是不是想要确立一条普世规则，规定允许杀人？要是确立了这样的普世规则，就有可能有人来杀我。所以，不应该有一条允许杀人的普世规则。由此可见，我也不该杀人。”简单来说，康德就是换了一种说法来表达一条古老的黄金法则：“你们愿意人怎样待你们，你们也要怎样待人”（《马太福音》7：12）。

  • ⏱ 2024-10-04 19:42:16

• 📌 在艾希曼签署命令，要把整列火车的犹太人送往奥斯威辛集中营的时候，康德告诉他：“你将要杀掉几千人。你是不是想要确立一条普世规则，规定允许杀人？要是确立了这样的普世规则，你和你的家人也可能会被杀死。”艾希曼说：“没这回事，我并非想杀掉几千个人，我只是想杀掉几千个犹太人而已。如果你问的是，我想不想确立一条普世规则，说杀犹太人完全可行，那我可是再赞成不过。对我和我的家人来说，这条普世规则并不会让我们被杀，我们可不是犹太人。”

  • ⏱ 2024-10-04 19:42:20

• 📌 自动驾驶汽车除了不该杀死任何人类（无论是佛教徒还是穆斯林，也无论是法国人还是意大利人），也不该杀死狗和猫，以及未来可能出现的能够感受痛苦的机器人。我们甚至还能让这条规则变得更完善，要求自动驾驶汽车依据不同生物能够感受痛苦的程度，安排保护的顺序。如果自动驾驶汽车必须选择是撞死一个人还是一只猫，因为理论上猫感受到的痛苦程度比较低，所以应该选择猫。然而，如果真往这个方向走，我们会发现自己已经在无意间离开了义务论的阵营，来到了功利主义阵营当中。

  • ⏱ 2024-10-04 19:42:20

• 📌 英国哲学家边沁（与拿破仑、克劳塞维茨和康德同时代的人）认为，世上唯一合乎理性的终极目标，就是尽量让世界减少痛苦，增加快乐。

  • ⏱ 2024-10-04 19:42:28

• 📌 康德之所以反对同性恋，是因为他认为同性恋“违反自然本能与动物本性”，会让一个人“禽兽不如”。康德还认为这样的行为违反自然规律，所以会“使人不配拥有人性，也就不配再做一个人”。事实上，康德只是把基督教的偏见重新包装成一套号称普世的义务论规则，在没有实证证据的情况下，就指控同性恋确实违反自然规律。前面曾提及，纳粹在大屠杀之前正是以“去人性化”作为序幕，因此，康德将同性恋去人性化这件事值得格外注意。认为同性恋违背自然规律、不配拥有人性，等于让艾希曼这样的纳粹分子有了理由，将同性恋者一起送进集中营并屠杀。而且既然说同性恋者不如禽兽，康德那套不可杀人的道理自然也不适用同性恋

  • ⏱ 2024-10-04 19:42:02

• 📌 举例来说，2016年3月23日，微软推出一款人工智能聊天机器人Tay，它能够自由存取推特的内容，并与用户互动。结果不到几小时，Tay已经开始发表厌女与反犹太主义的推文，比如“我恨透了女权主义者，他们都该在地狱里燃烧”“希特勒是对的，我讨厌犹太人”。这些恶毒仇恨的言论不断增加，吓坏了微软工程师，迅速将Tay下架——这时距离其被推出才短短16小时。

  • ⏱ 2024-10-04 19:42:15

第九章 民主制度：我们还能对话吗？

• 📌 当然，随着旧工作的消失，新的工作也会出现。对于自动化导致大规模失业的忧虑，早在几世纪前就已经出现，但到目前还从来没有成真。工业革命虽然让几百万农民失去了农田，但也为他们带来了在工厂里的新的工作机会。工业革命让工厂实现了自动化，但又创造了大量的服务业工作。现在，很多人所做的工作在30年前根本无法想象，例如博主、无人机操作员、虚拟世界设计师等。等到2050年，所有人类的工作都消失的可能性实在微乎其微。真正的问题其实是如何适应新工作与新情境造成的动荡。想要缓解冲击，就得预先做好准备，特别是让年青一代掌握在2050年的就业市场上用得到的技能

  • ⏱ 2024-10-04 19:42:25

• 📌 同样，如果从薪水的角度来判断，我们应该会说社会比较尊敬的是医生而不是护士。然而，有些医生主要的工作就是收集医疗数据、做出诊断、提供治疗建议，比起这种医生，护士的工作其实更难自动化。因为那些医生工作的本质是辨识模式，而要从数据中找出规律，正是人工智能比人类做得更好的事情之一。相较之下，自动完成各种护理工作（比如给伤员换绷带，给哭闹的小孩打针），人工智能还有很长的路要走。这里举这两个例子，并不是说洗碗与护理工作永远不可能自动化，而是说人如果想在2050年仍然找得到工作，或许除了培养智力技能，在运动与社交技能上也该投入同样多的精力。

  • ⏱ 2024-10-04 19:42:24

• 📌 “接着……第37手，”苏莱曼写道：“这一手完全说不通。AlphaGo显然被吓坏了，盲目用了显然必败的策略，任何职业棋手都不会这么下。现场直播的两位解说员都是排名顶尖

  • ⏱ 2024-10-04 19:42:17

• 📌 专业棋手，他们也认为这是‘很奇特的一手’，并认为这一手是‘一个错误’。这一手奇特到李世石足足花了15分钟才做出回应，其间甚至得先离开棋局到外面走一走。我们在监控室看着，气氛紧张到非常不真实。但随着终局逼近，当初‘错误’的一手被证明至关重要。AlphaGo再度胜出。围棋的策略就这样在我们眼前被改写。我们的人工智能，找出了几千年来最杰出的棋手都没想到的棋步。

  • ⏱ 2024-10-04 19:42:06

• 📌 ”接着，信里可能会详细列出这套算法所考量的1000个相关因素，有些甚至大多数人会觉得根本无关，例如几点提出的申请、申请人用的是哪款智能手机。接着再到这封信的第601页，银行可能会解释说：“贵客户通过智能手机提出申请，而且是苹果手机最新的机型。根据分析数百万份过去的贷款申请，敝行的算法发现一个规律——使用苹果手机最新机型的申请者，还款的可能性高0.08%。因此，算法已为该客户的总分加了8分。然而，贵客户在申请时，手机电量已降至17%。根据分析数百万份过去的贷款申请，敝行算法发现另一个规律——允许智能手机电量低于25%的客户，还款可能性会降低0.5%。因此，算法已为该客户的总分扣50分。”你可能觉得银行太莫名其妙了，并抱怨说：“光是因为我的手机电量低，就拒绝核发贷款，这合理吗？”但这种说法实在是误会。银行会解释：“电量并不是唯一的因素，那只是敝行算法考虑的1000个因素里面的一个而已。

  • ⏱ 2024-10-04 19:42:22

第十章 极权主义：所有力量归于算法？

• 📌 流向中心的信息越多，处理起来就越困难。极权统治者与政党常常会犯下一些代价高昂的错误，而极权制度又欠缺发现并修正这些错误的机制。相较之下，民主制度是将信息（与决策权）分散到许多不同的机构与个人手中，不但能够更有效率地处理大量数据，而且如果某个机构做了错误的决定，其他机构也可以提出修正。

  • ⏱ 2024-10-04 19:42:00

• 📌 想想遗传学的例子。假设几个不同国家的企业都想研发出一套算法，找出基因与各种疾病的关联。新西兰的总人口为500万，而且隐私法规严格，基因数据与医疗记录不易获取。中国有14.1亿人，隐私法规也较为宽松。你觉得哪个国家的企业更有机会研发出一套遗传算法？巴西如果打算购买一套遗传算法，提供给国内的医疗保健体系使用，比起向新西兰购买，它会有强烈的动机选择准确度高得多的中国算法。如果这套中国算法又能用巴西超过2亿人的数据继续精益求精，品质就会越来越好，得到更多国家的青睐。很快地，全球大部分的疾病信息都会流向中国，进而让这套遗传算法完全没有对手。

  • ⏱ 2024-10-04 19:42:11

• 📌 对于这种极权倾向，有些人相信可以用区块链技术制衡，毕竟区块链在本质上有利于民主、不利于极权。要在区块链系统做决策，需要得到51%的用户的批准。虽然这听起来很民主，但区块链技术有一项致命缺陷，问题出在“用户”这个词。某人如果有10个账号，就会被算成10个用户。如果政府控制了51%的账号，就能自己构成51%的用户。目前在区块链网络已经有一些例子，政府自己就是51%的用户。如果政府成为区块链51%的用户，它除了能控制区块链的现在，还能控制区块链的过去。从古至今，专制者一直都希望拥有改变过去的权力。罗马皇帝就常常下令进行“记忆抹杀”——把对手与敌人从世人的记忆里抹除。例如皇帝卡拉卡拉，在暗杀了弟弟兼王位竞争对手盖塔之后，就曾经试着抹除所有关于盖塔的记忆。刻有盖塔名字的铭文被凿除，印有盖塔肖像的硬币被熔化，就连提到盖塔的名字都会被判死刑。

  • ⏱ 2024-10-04 19:42:05

• 📌 例如一些极权国家的宪法会做出许多崇高的承诺，比如“人人均应享有思想及言论自由”“人人均应享有寻求、接收、传递、生产与散播信息的自由”“大众媒体之自由应受保障，不得实施审查制度”等等，但几乎没有人会天真到相信这些承诺的字面意义，而计算机并不懂这样的双言巧语。如果要求聊天机器人程序遵守极权国家的法律与价值观，它可能会在读了宪法之后，认定言论自由是该国的核心价值，而在该国的网络空间待上几天，观察整个国家信息领域发生的种种事情之后，这个聊天机器人程序就可能会开始批评该国的政权违反了言论自由这项核心价值。人类虽然也会注意到这些矛盾，但会因为恐惧而不敢明说。聊天机器人程序却是看到什么说什么，哪有什么不敢说的呢？人类工程师该怎样才能向聊天机器人程序解释，虽然宪法明文保障每位公民的言论自由，禁止实施审查制度，但聊天机器人程序其实不该相信宪法，也不能提理论与现实之间的差距？就像曾经有人跟我说的，在极权国家长大的人，相信问题会带来麻烦。但在训练算法的时候，如果要它相信“问题会带来麻烦”这种原则，算法又

  • ⏱ 2024-10-04 19:42:17

• 📌 要怎么学习与发展？

  • ⏱ 2024-10-04 19:42:13

• 📌 长期而言，极权政权还可能遇上更大的危险：算法并不是仅仅批评这些政权，而是直接控制了这些政权。纵观历史，专制者最大的威胁常常来自下属。第五章提到过，没有哪个罗马皇帝是被民主革命赶下台的，都是被下属推翻或成了傀儡。要是21世纪的专制者把太多权力交给计算机，就有可能成为计算机的傀儡。独裁者最不乐见的，就是创造出比自己更强大的或自己控制不了的力量。

  • ⏱ 2024-10-04 19:42:18

• 📌 只要控制了专制者的亲信，就等于控制了专制者，也就等于控制了整个国家。只要学会操控一个人，就能成功劫持整个体制。一个典型的例子就是罗马皇帝提比略成了禁卫军队长塞扬努斯的傀儡。

  • ⏱ 2024-10-04 19:42:28

• 📌 所有独裁者都要维持一种很脆弱的平衡：既要把所有信息集中在一处，又要小心让自己成为各种信息通道的唯一交会点。要是信息通道交会在其他地方，那里就会成为真正的权力枢纽。如果政权仰赖的是人类（如塞扬努斯与马克罗），高明的独裁者就能操弄他们互相对抗，而让自己稳居高位。如果政权仰赖的是一套力量强大且高深莫测的人工智能，所有信息都由人工智能来收集与分析，人类独裁者就有可能直接失去一切权力。这位独裁者就算依然身在首都，也像是被隔离在一个数字孤岛上，只能受到人工智能的控制与操弄。

  • ⏱ 2024-10-04 19:42:01

第十一章 硅幕：全球帝国还是全球分裂？

• 📌 目前全球有大约200个民族国家，大多数在1945年后才获得独立，而且国与国之间的地位并不平等。现在的国家列表中有两个超级大国、几个主要大国、几个集团与联盟，再加上许多小国。话虽如此，但即使是最小的国家也有一定的影响力。比如，在21世纪20年代初，美、中两个超级大国在具有重要策略意义的南太平洋地区施加影响力，于是频频向汤加、图瓦卢、基里巴斯与所罗门群岛等岛国示好。这些小国的人口从72万（所罗门群岛）到仅仅只有1.1万（图瓦卢），但它们的政府却有很大的空间能够决定要倾向于哪一方，从中获得相当大的让步与援助。

  • ⏱ 2024-10-04 19:42:24

• 📌 以2024年的情况来说，卡塔尔强大的邻国与其他世界强势国家都愿意让这个海湾小国继续坐享无比的财富。很多人会形容国际体系就像丛林，但如果是这样，这个丛林里的老虎倒是愿意让肥鸡活得相对安心。

  • ⏱ 2024-10-04 19:42:22

• 📌 在所有政府中，最早意识到事情真正重要性的或许就是中国，而这并不让人意外。在19世纪，中国很晚才认识到工业革命的潜力，对于铁路与轮船等发明的采用也较为缓慢，因此中国遭受了“百年屈辱”。中国曾经有长达数个世纪都是全球首屈一指的超级大国，但因为没能采用现代工业技术，使

  • ⏱ 2024-10-04 19:42:04

• 📌 得中国不堪倒地，在战争中屡战屡败，部分国土遭到外国侵占，并且被懂得铁路与轮船技术的强国彻底剥削。这让中国发誓，再也不会错过技术发展的列车。

  • ⏱ 2024-10-04 19:42:30

• 📌 人工智能预计在2030年将为全球经济增加15.7万亿美元。但依照目前的趋势，中国与北美合计将抢下其中70%的份额。

  • ⏱ 2024-10-04 19:42:27

• 📌 这些政治、文化与法规上的差异，意味着在不同的数字领域就会使用不同的软件。在中国不能用谷歌和脸书，上不了维基百科，在美国则是很少人用微信、百度与腾讯。更重要的是，这些数字领域并不是彼此的镜像，不能说中国与美国只是研发出了同一种应用程序的地方版本。百度不是中国的谷歌，阿里巴巴也不是中国的亚马逊。这些程序就是有着不同的目的和不同的数字架构，也对人民的生活有着不同的影响。这些差异将会波及世界许多地区，因为大多数国家并不会另外自行研发本地用的技术，而是直接采用中国或美国的软件。

  • ⏱ 2024-10-04 19:42:07

• 📌 美国企业不得向中国出口人工智能芯片，也不得向中国提供制造或维修人工智能芯片的方法。之后限制措施进一步收紧，禁令范围扩大到俄罗斯与伊朗等国家。从短期来看，这将阻碍中国在人工智能竞赛中的发展，但从长远来看，这将促使中国发展成一个完全独立的数字领域，从最基本的组成要件就与美国数字领域截然不同。

  • ⏱ 2024-10-04 19:42:06

• 📌 虽然目前人工智能竞赛是由中、美两国领先，但参赛者可不只有这两国。包括欧盟、印度、巴西和俄罗斯在内，各个国家或集团都可能尝试打造自己的数字领域，也各自受到不同政治、文化与宗教传统的影响。于是，世界或许不是落入两个大国之手，而是被十几个国家瓜分。我们目前还不清楚，这样的情况究竟是会缓解还是会加剧国家间的竞争。

  • ⏱ 2024-10-04 19:42:08

• 📌 宋朝官员陈襄考察治平二年（公元1065年）的年度预算，就发现在该年岁入的6000余万缗钱当中，有5000万（83%）都被用来养兵。另一位官员蔡襄则写道：“天下六分之物，五分养兵，一分给郊庙之奉、国家之费，国何得不穷，民何得不困？”

  • ⏱ 2024-10-04 19:42:10

• 📌 看着近几十年来的国家预算报告，实在比所有宣传和平主义的读物更让人感到希望。21世纪初期，全球各国政府军费开支平均只占总预算的大约7%，就连美国这个占主导地位的超级大国，维持霸权所用的经费也只占年度总预算的大约13%。由于大多数人不再活在担心外敌入侵的恐惧之中，政府就能将更多资金投入福利、教育与医疗保健。21世纪初期，全球平均医疗保健支出约占政府预算的10%，约为国防预算的1.4倍。对许多活在21世纪10年代的人来说，医疗保健预算高于军事预算似乎不是什么了不起的事

  • ⏱ 2024-10-04 19:42:26

• 📌 历史唯一不变的，就是改变

  • ⏱ 2024-10-04 19:42:12

结语

• 📌 我们从历史学到的一个教训是，新信息技术的发明总是能促成重大的历史变革，因为信息最重要的作用就是编织新的网络，而不是呈现既有现实。用泥版记录纳税，协助古代美索不达米亚建立了第一个城邦。将预言景象编成宗教经典，让新的宗教得以传播。报纸与电报将总统与公民的言论迅速传播，打开了通往大规模民主与大规模极权制度的大门。虽然

  • ⏱ 2024-10-04 19:42:13

• 📌 通过这些信息技术来记录与传播的信息只是偶尔为真，常常是假，但总是能在越来越多的民众之间建立起新的联结。

  • ⏱ 2024-10-04 19:42:09

• 📌 最聪明的，反遭灭绝请让我们回到本书一开头的问题：如果我们真有那么聪明，为什么还会走上自我毁灭的道路？人类其实既是地球上最聪明的动物，也是地球上最愚蠢的动物。我们聪明到能够制造出核弹与超级智能算法，也愚蠢到一股脑地把这些东西都制造出来，甚至还没搞清楚自己能不能控制它们，说不定还会反受其害。我们到底为什么会这么做？人类的本性里是否有什么逼迫我们走上这条自我毁灭的道路？本书认为，问题并不在于人类的本性，而在于人类的信息网络。由于人类的信息网络重秩序而轻真理，因此往往带来大量的力量，却没带来多少智慧。例如，纳粹德国创造出高效率的军事机器，却将之用来服务一套疯狂的神话谎言，结果导致大规模的苦难和数千万人的死亡，而且最终带来了纳粹德国的毁灭。

  • ⏱ 2024-10-04 19:42:18

• 📌 就算智人毁灭了自己，宇宙还是会运转如常。地球演化花了40亿年，才出现了一个拥有高

  • ⏱ 2024-10-04 19:41:55

• 📌 能的猿类文明。如果人类灭亡，需要再演化上亿年，才会出现拥有高度智能的老鼠文明，这种事迟早会发生。宇宙就是这么有耐心。

  • ⏱ 2024-10-04 19:41:59

• 📌 但还有一种更糟糕的状况。就我们目前所知，在整个宇宙，或许只有地球上的猿类、老鼠和其他有机动物是有意识的实体。我们现在已经创造出一种无意识但又极为强大的非人类智能。要是处理不当，人工智能不仅有可能消灭人类在地球上的主宰地位，更会灭掉这一点意识的星火，让宇宙变成一个彻底黑暗的王国。我们有责任避免这种情况发生。

  • ⏱ 2024-10-04 19:42:15

读书笔记

第四章 错误：绝对正确是一种幻想

划线评论

📌 却在《密释纳》和《塔木德》里找不到答案。例如，20世纪发展出的各种电器就让犹太人碰上了许多前所未有的问题，比如在安息日的时候可以按电梯吗？
正统派的答案是不可以。前面提过，《圣经》禁止在安息日工作，而在拉比们看来，电就像火，而过去大家已经明确生火算是工作，所以现在按下电器的按钮也是一种工作。但这是否意味着，如果有些犹太老人住在纽约布鲁克林区的高楼里，到了安息日的时候，为了避免工作，他们必须爬100级台阶才能回到家？为了解决这个问题，正统派犹太人特地发明了“安息日电梯”，这种电梯会持续在建筑物里上下移动，每一层楼都停，这样你就不用去按电梯的按钮，也就能避免做任何“工作”了。对于这个古老的故事，人工智能的发明又带来新发展。现在只要通过脸部辨识，人工智能就能快速把 ^225207353-7UxQzxN3M
- 💭 6
- ⏱ 2024-09-28 16:55:28

第八章 可能出错：谬误百出的网络

划线评论

📌 在新冠疫情初期，世界各国政府都采取了严格的隔离与封锁政策。这种做法或许挽救了数百万人的生命，但也让数亿人好几个月过得十分痛苦。此外，这还可能间接导致许多人死亡，例如，推高了致命家暴的发生率，或是让人更难及早发现与治疗癌症之类的危险疾病。对于这样的政策，谁能真的计算整体来说是增加还是减少了全球的痛苦？ ^225207353-7UH9kHnbW
- 💭 说谁呢

- ⏱ 2024-10-04 19:41:58

本书评论