大脑模拟NLP，高德纳奖得主Papadimitriou：神经元集合演算用于句子解析

README.md

-# 本周AI热点回顾：傅里叶变换取代Transformer，GPU上快7倍、TPU上快2倍；DeepMind新模型自动生成CAD草图
+# 大脑模拟NLP，高德纳奖得主Papadimitriou：神经元集合演算用于句子解析
 
 **每天会对文章进行更新，每次更新一篇，采用阅后即焚模式，且看且珍惜，喜欢的话帮我点个star哈**
 
-## 傅里叶变换取代Transformer自注意力层，谷歌这项研究GPU上快7倍、TPU上快2倍
+一个简单的大脑模型为人工智能研究提供了新的方向。世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授 Christos Papadimitriou 关于「大脑中单词表征」的演讲。
 
-来自谷歌的研究团队表明，将傅里叶变换取代 transformer 自监督子层，可以在 GLUE 基准测试中实现 92% 的准确率，在 GPU 上的训练时间快 7 倍，在 TPU 上的训练时间快 2 倍。
+上周，Google Research 举办了一个关于深度学习概念理解的在线研讨会。研讨会上，获奖的计算机科学家和神经科学家发表了演讲，讨论了深度学习和神经科学的新发现如何帮助创造更好的人工智能系统。
 
-Transformer 自 2017 年推出以来，其架构就开始在 NLP 领域占据主导地位。Transformer 应用的唯一限制之一，即 Transformer 关键组件的巨大计算开销–一种自注意力机制，这种机制可以根据序列长度以二次复杂度进行扩展。
+尽管所有的演讲和讨论都非常具有价值，但有一个特别突出的话题值得分享：世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授、Christos Papadimitriou 关于「**大脑中单词表征**」的演讲。
 
-基于此，来自谷歌的研究者建议用简单的线性变换替代自注意力子层，该线性变换「混合」输入 token，以较小的准确率成本损失显著的提高了 transformer 编码器速度。更令人惊讶的是，研究者发现采用标准的、非参数化的傅里叶变换替代自注意力子层，可以在 GLUE 基准测试中实现 92% 的 BERT 准确率，在 GPU 上的训练时间快 7 倍，在 TPU 上的训练时间快 2 倍。
+在演讲中，Papadimitrio 讨论了我们对大脑中信息处理机制日益加深的理解，如何有助于创建在理解和参与对话方面更加鲁棒的算法。具体而言，他提出了一个简单而高效的模型，该模型解释了在大脑的不同区域如何相互沟通，来解决认知问题。
 
-![](imgs/1.png)
-
-论文链接：[https://arxiv.org/pdf/2105.03824.pdf](https://arxiv.org/pdf/2105.03824.pdf)
-
-该研究的主要贡献包括：
-
-- 通过用标准的非参数化傅里叶变换代替注意力子层，FNet 在 GLUE 基准测试中实现 92% 的 BERT 准确率，在 GPU 上的训练时间快 7 倍，在 TPU 上的训练时间快 2 倍。
-- 仅包含两个自注意子层的 FNet 混合模型在 GLUE 基准上可达到 97％的 BERT 准确率，但在 GPU 上的训练速度快近 6 倍，而在 TPU 上则是 2 倍。
-- FNet 在「Long Range Arena」基准评估中，与所有的高效 transformer 具有竞争力，同时在所有序列长度上拥有更少的内存占用。
-
-Transformer 自注意力机制使得输入可以用高阶单元表示，从而可以灵活地捕获自然语言中各种语法和语义关系。长期以来，研究人员一直认为，与 Transformer 相关的高复杂性和内存占用量是不可避免的提高性能的折衷方案。但是在本论文中，Google 团队用 FNet 挑战了这一思想，FNet 是一种新颖的模型，在速度、内存占用量和准确率之间取得了很好的平衡。
-
-![](imgs/2.png)
+「现在发生的事情，也许是世界上最伟大的奇迹之一。」Papadimitriou 说道，这里是指他如何与观众进行交流。大脑将结构化的知识转换成电波，这些电波通过不同的介质传输并到达听众的耳朵，然后又被大脑处理并转化为结构化知识。
 
-## 借助Transformer，DeepMind新模型自动生成CAD草图，网友：建筑设计要起飞了
-
-深度学习的灵活性恰好适合于复杂的 CAD 设计，DeepMind 的研究者基于 CAD 草图与自然语言建模的相似性，提出了自动生成 CAD 草图的机器学习模型。
-
-在制造业中，CAD 的应用十分广泛。凭借着精准、灵活、快速的特性，CAD 已经取代了纸笔画图，并且不再只是应用于汽车制造、航空航天等领域，哪怕小到一个咖啡杯，生活中几乎每个物件都由 CAD 画图建模。
-
-CAD 模型中最难制作的部件之一就是高度结构化的 2D 草图，即每一个 3D 构造的核心。尽管时代不同了，但 CAD 工程师仍然需要多年的培训和经验，并且像纸笔画图设计的前辈们一样关注所有的设计细节。下一步，CAD 技术将融合机器学习技术来自动化可预测的设计任务，使工程师可以专注于更大层面的任务，以更少的精力来打造更好的设计。
-
-在最近的一项研究中，DeepMind 提出了一种机器学习模型，能够自动生成此类草图，且结合了通用语言建模技术以及现成的数据序列化协议，具有足够的灵活性来适应各领域的复杂性，并且对于无条件合成和图像到草图的转换都表现良好。
-
-![](imgs/3.png)
+「毫无疑问，所有这些都通过神经元和突触发生。但是，如何完成的呢？这是一个问题。」Papadimitriou 表示，「我相信在未来 10 年里，我们会对细节有更好的了解。」
 
-论文链接：[https://arxiv.org/pdf/2105.02769.pdf](https://arxiv.org/pdf/2105.02769.pdf)
+## 大脑中神经元集合
 
-具体而言，研究者开展了以下工作：
+认知和神经科学领域正试图弄清楚大脑中的神经活动是如何转化为语言、数学、逻辑、推理等其他功能的。如果科学家们成功地用数学模型来描述大脑的工作方式，那么他们将为创造能够模仿人类思维的 AI 系统打开一扇新的大门。
 
-- 使用 PB（Protocol Buffer）设计了一种描述结构化对象的方法，并展示了其在自然 CAD 草图领域的灵活性；
-- 从最近的语言建模消除冗余数据中吸取灵感，提出了几种捕捉序列化 PB 对象分布的技术；
-- 使用超过 470 万精心预处理的参数化 CAD 草图作为数据集，并使用此数据集来验证提出的生成模型。事实上，无论是在训练数据量还是模型能力方面，实际的实验规模都比这更多。
+许多研究集中在单个神经元，直到几十年前，科学家们还认为单个神经元对应于单个思维。最流行的例子是「祖母细胞理论」，该理论认为，每个人的大脑中可能存在一个特殊的神经细胞，专门用于识别自己的祖母。但最近的发现驳斥了这种说法。新研究声称并证明了大量的神经元和每个概念相关，连接不同概念的神经元之间可能存在重叠。
 
-CAD 草图展示效果图如下：
+这些脑细胞群被称为集合（assemblies），Papadimitriou 将其描述为一组高度连接、稳定的神经元，代表着一个词、一个想法、一个物体等。
 
-![](imgs/4.gif)
+神经科学家 György Buzsáki 将这种集合描述为「大脑的字母表。」
 
-对于 DeepMind 的这项研究，网友的评价非常高。用户 @Theodore Galanos 表示：「非常棒的解决方案。我曾使用 SketchGraphs 作为多模态模型的候选方案，但序列的格式和长度太不容易处理了。等不及在建筑设计中也使用这种方法了。」
+## 大脑数学模型
 
-## 为了医疗AI，他们做出了一个“违背祖师爷”的决定
+为了更好地理解集合作用，Papadimitriou 提出了一个大脑数学模型，称为「交互循环网络」。在这个模型下，大脑被划分为有限数量的区域，每个区域包含几百万个神经元。每个区域内都有循环现象，这意味着神经元之间相互作用。这些区域中的每一个都与其他几个区域有联系。这些区域间连接可以被激发或抑制。
 
-搞深度学习的人，应该感谢“祖师爷”Geoffrey Hinton在2012年的尝试。因为Hinton团队使用了GPU进行AI运算加速，让神经网络AlexNet的实现成为可能，开启了深度学习大爆发的时代。Hinton彻底带火了GPU，带火了以计算机视觉为主的医疗AI。连Hinton本人也对AI辅助医疗技术将会迅速成熟充满了信心。但是，Hinton可能万万没想到，现在搞医疗AI的人，尤其是落地部署和使用医疗AI的人，却做出了一个违背“祖师爷”的决定：
+该模型具有随机性、可塑性和抑制性。随机性意味着每个大脑区域的神经元是随机连接的。而且，不同的区域之间随机连接。可塑性使神经元和区域之间的联系能够通过经验和训练进行调整，而抑制性意味着在任何时刻，有限数量的神经元被激发。
 
-用CPU来做医学影像领域的辅助诊断推理。
+Papadimitriou 将此描述为一个基于生命的三种主要力量的非常简单的数学模型。
 
-那么，问题来了，在GPU原本擅长的领域，CPU的能力真的可以胜任吗？
-
-事实证明，只要软硬件配合得当，CPU一样可以实现出色的AI应用效果，尤其是进行准确、快速的AI推理。性能优化到位的话，在这方面的表现就可与GPU相媲美。 当然，CPU也仅仅是AI计算硬件中的一种，而非唯一的选择。可它越来越受到医疗AI领域的青睐，必然有更为深刻的原因：那便是惠民。
-
-虽然已经有了很多实例，目前仍然有许多人对CPU做AI抱有疑虑。而这些疑虑，主要集中在计算速度和生态系统这两点上：但英特尔，早已为CPU在AI行业的应用，做好了软硬件两手准备。一方面，针对AI应用的算力和数据加速，英特尔早从数年前就开始布局，从硬件架构上对AI推进了三方面的优化：
-
-- 在2017年发布的第一代至强可扩展处理器上，导入支持AVX-512高级矢量扩展技术，让CPU单位时间内能处理更多浮点运算任务，用以加速高精度的AI应用；
-- 在2019年发布的第二代至强可扩展处理器上，基于AVX-512技术扩展出了英特尔深度学习加速（DL Boost）技术，支持INT8加速，主攻推理加速；
-- 2020年发布的面向四路和八路服务器的第三代至强可扩展处理器时，为这项技术增添了BF16加速能力，从而兼顾推理和训练的加速；
-- 在2019年推出傲腾持久内存，兼具接近DRAM内存的高性能，以及DRAM内存所不具备的容量、价格和数据非易失优势，让基于CPU的AI系统可以将更大体量的数据缓存在距离CPU更近的地方，加速训练和推理。
-
-如今看来，用CPU做AI，确实没啥可担心的——甚至在医疗AI行业，这还是个更好的选择。
-
-大概，就连当年积极将GPU引入医疗AI行业的Hinton，也没预料到会是这幅景象：如今的CPU，正在医疗AI领域大放异彩。
-
-## 双方互GAN，不如来试试群体博弈？更快更强更自由 | ICLR 2021
-
-AI诞生之初，很长一段时间都停留在个体智能阶段，即面向“识别出图像中的内容”、“听懂一段语音”、“预测蛋白质的3D结构”这类目标单一的任务。但随着技术发展，AI开始逐渐与其他智能群体产生交互，走向更加复杂的应用场景。比如在2019年，DeepMind训练的游戏类AI就在星际争霸中超越了99.8％的活跃玩家，达到了最高的 Grandmaster段位。
-
-这是一种以博弈论为机器学习模型的思路。沿着这种思路，DeepMind的几位研究者提出了一种名为EigenGame的理论，重新定义了PCA（主成分分析，Principal Component Analysis）方法。
-
-### “Eigen”与“Game”
+![](imgs/1.png)
 
-“Eigen”意为特征。也是论文题目中所提到的PCA方法的核心概念。
+Papadimitriou 与一组来自不同学术机构的科学家一起，在去年发表的一篇论文中详细阐述了这一模型。集合是模型的关键组成部分，并实现了科学家们所谓的「集合演算（assembly calculus）」，这是一组能够处理、存储和检索信息的操作。
 
-![](imgs/5.png)
+![](imgs/2.png)
 
-PCA是ML领域里用于数据降维的经典方法。目的是在尽可能不丢失原数据信息的前提下，将高维数据映射（压缩）到低维空间，得到剔除了原有特征冗余信息的新特征。
+论文地址：[https://www.pnas.org/content/117/25/14464](https://www.pnas.org/content/117/25/14464)
 
-![](imgs/6.png)
+「这些行为不是凭空进行的。我相信它们是真实的，可以从数学上证明并通过模拟验证这些操作对应真实的行为…… 这些操作对应于（在大脑中）观察到的行为，」Papadimitriou said 表示。
 
-在目标数据集的数据属性过多，数据量过大的时候，模型训练和计算的性能可能受到很大影响。这时，就需要用到PCA进行数据降维。而“Game”则意为博弈论*（Game Theory）*，是一种研究理性决策者之间的冲突与合作的数学模型。纳什均衡（Nash equilibrium）作为博弈论的一个重要概念，指每个参与人在获取信息不完全的情况下，做出了针对其他参与人策略的最优反应，比如经典的囚徒困境。
+Papadimitriou 和他的同事们假设集合和集合演算是解释大脑认知功能的正确模型，比如推理、计划和语言。他在谷歌深度学习会议的演讲中表示：大部分认知能力都符合这一点。
 
-### 当博弈论遇上机器学习
+## 基于集合演算的自然语言处理
 
-其实，博弈论的思想一直存在于很多机器学习的探索过程中，不管是经典的 SVM，还是大火的 GAN，这些模型的背后都有博弈论的影子。
+为了测试思维模式，Papadimitriou 和他的同事构建了一个自然语言处理系统，该系统使用集合演算来解析英语句子。实际上，他们正试图创建一个 AI 系统，模拟大脑中容纳与词汇和语言理解相对应的集合区域。
 
-最初提出“博弈机器学习”这一概念的刘铁岩博士曾这样说过：
+![](imgs/3.png)
 
-什么才是人工智能？想要解决这个问题，首先需要为「智能」提出一个定义。如果说过去对于个体智能的研究为计算机赋予了智商（IQ）的话，那么社会智能则对应着人工智能的情商（EQ）。
+Papadimitriou 说：「如果一个单词序列激发了集合，这个引擎就会产生一个句子解析。」他承认，人工智能模型仍然是初步阶段，缺少了语言的许多重要部分。研究人员正在制定计划来填补现有的语言空白。但他们认为，所有这些部分都可以用集合演算来补充，这个假设需要通过时间的验证。
 
-博弈论的引入让AI在过去只与环境交互的基础上，又学会了如何与其他智能体打交道。而当EigenGame这种与多智能群体交互的算法出现时，其意义就不仅是更多更快的数据运算。按照既非随机，也非理性和对立的人类的行为规律去训练建模，那么AI就有了更多解决问题的新角度，也能在广告竞价、社交媒体、众包管理、交通疏导等多个领域中得到更广泛的应用。
+![](imgs/4.png)
 
-或许，博弈论会是连接机器学习走向人和社会的一个桥梁。
+「这是语言的神经基础吗？是不是生来左脑就有这样的东西，」Papadimitriou 问道。关于语言如何在人类大脑中运作，以及如何与其他认知功能联系在一起，仍然有许多问题需要解决。但 Papadimitriou 认为，集合模型使我们更接近于理解这些功能，并回答剩下的问题。
 
 ![](1.png)