信息与计算科学考研方向，信息与计算科学考研方向可以选哪些
计算认知神经科学是一个新兴的正在高速发展的、交叉学科研究方向，其主要目的是用计算建模的方法来理解和阐明认知神经科学所关心的科学问题，为传统实验手段提供互为补充的研究工具。该领域目前的科研进展还很初步，同时领域内也缺乏好的中文相关书籍供广大科研工作者和认知科学爱好者阅读、参考。
为了填补这个空缺，我们组织了国内高校和科研单位在该领域的优秀工作者，就领域研究的国际进展和国内进展撰写了这本（吴思等编著. 北京：科学出版社，2023.3）。我们希望这本书可以为认知神经科学工作者在计算建模方面提供参考，为有志于投身该领域的年轻学生指明潜在的研究方向和加深专业知识，也为广大认知科学爱好者提供背景知识。
本书共分为八章：第一章高效节能的神经元与神经网络的神经信息处理由于玉国、俞连春撰写；第二章神经网络的自组织临界态及其功能意义由余山撰写；第三章视网膜信息编码特征及计算机制由肖雷撰写；第四章多模态信息的整合机制及临床应用由陈爱华撰写；第五章基于脑电信号的情绪识别由吕宝粮撰写；第六章癫痫的神经计算模型及临床应用由郭大庆撰写；第七章认知计算的神经振荡模式分析及意义由张涛撰写；第八章复杂网络在神经计算中的应用由弭元元撰写。
本文分享“第四章 多模态信息的整合机制及临床应用”部分内容。
在日常生活中，大多数事件同时传递着多种感觉信息（如同时发出光、声、气味等）。这些信息通过不同的感官通道（视觉、听觉、味觉、嗅觉、触觉、前庭、本体感觉等）进行表征，然后输入大脑进行进一步处理。不同感觉的相关信息在大脑中存在跨模态相互整合，能够在刺激信息微弱、背景噪声大等不利条件下增强神经系统从纷繁复杂的环境中检测信号的能力，最终形成对事物的统一知觉。这对动物的感知、运动、学习记忆、决策及其对周围环境的适应等至关重要，因此多模态感知在认知科学、行为科学和神经科学等方面受到广泛关注。
多感觉整合
多感觉整合是指利用多种感觉通道信息（如视觉、听觉、嗅觉、触觉、前庭、本体感觉等）对外界进行感知，并有效整合成稳定的知觉（Stein et al.，2009）。举例来说，我们在嘈杂的街道行走时，汽车鸣着喇叭从我们身边驶过，虽然同时传递视觉、听觉信息，但我们并没有将这些不同系统输入的信息形成支离破碎的感觉，相反，我们通常能够准确地判断不同喇叭声来自不同的汽车。因此，在对复杂的外部环境进行感知时，我们的大脑需要对物理世界中不同的对象或事件所引起的刺激进行分类组合，在这一过程中神经系统必须将时程上一致的信号按照刺激的时空结构特性进行整合和分离。值得注意的是，多感觉整合的前提是不同感觉模态的信息必须来自同一物体或事件，大脑在面对不同模态的感觉输入时，会计算和推断这些信息是否源自同一物体或事件，从而决定对信息进行整合还是分离（King & Calvert，2001；Chen & Spence，2017）。
▲ 视觉、听觉信息整合模型示意图。（Gowen E. Is multisensory integration altered in auti sm? http://www.autscape.org/2010/presentations#gowen）
尽管我们在生活中随时随地进行多感觉整合，但大多数情况下我们意识不到整合的发生。事实上，人们对于多感觉整合的认识是从一些错觉开始的。例如，
①腹语术效应：腹语表演节目中经常出现的木偶，常使人感觉声音来自木偶，而不是旁边的表演者；在电影院里，观众感觉到声音是屏幕中的演员发出，而实际上声音来自分布在影院左、右、前、后侧的音箱。
②双闪光错觉：给予被试者一个简短的闪光刺激，伴随“哔哔”两声，受试者会将一个闪光判断为两个闪光的错觉（Shams et al.，2002)。
③麦格克（McGurk）效应：音节“ga”在视频中被配音成“ba”，被试者往往会听成“da”（Mcgurk & Macdonald，1976）。
④橡皮手效应：人们把手藏在桌子底下，面前则放着一只橡胶做的假手，实验人员同时以同样的方式击打真手和假手，会让被试觉得那只假手就是自己的（Botvinick & Cohen，1998）。
⑤身体转移错觉：使用虚拟现实设备使实验对象认为别人的身体是自己的（Riva et al.，2007）。
随着研究的深入，心理学家开始关注多感觉整合的统计学规律，并提出和发展了一系列理论。如早期的胜者全得（winner-take-all）理论认为，大脑会自动选择可靠性较高的感觉信息通道，只利用这个通道的信息做出判断，该理论部分地解释了一些多感觉整合的现象，如腹语术效应（Shams & Beierholm，2010）。后期，心理学家结合二项迫选范式（two-alternative forced choice，2AFC）任务与虚拟现实技术分别证实视觉-触觉（Ernst & Banks，2002）、视觉-听觉（Alais & Burr，2004）、视觉-本体感觉（van Beers et al.，1999）以及视觉通道内两种不同感觉信息间（Jacobs，1999；Knill & Saunders，2003）的整合在统计上符合贝叶斯统计最优化模型，也就是说，大脑能够根据每种感觉信息的可靠性程度决定其在整合过程中所占的比例，最终使不同感觉信息在统计上达到最优结合，从而使得基于多感觉信息的认知判断更准确、响应更快速。这些心理物理的研究发展同时也推动神经科学家对感觉整合的内在神经机制进行深入探索。
多感觉整合对我们适应周围环境极为重要，只有各种感觉输入整合之后，我们才可能产生真实而连贯的知觉（Adrian，1928；Stein et al.，1993）。其优势通常可以概括为以下两点：①增强对刺激的检测和识别，降低不确定性（Alais & Burr，2004）；②缩短反应时间（Forster et al.，2002）。事实上，多感觉整合除了使我们反应更快和使反应精度更高之外，还有助于提高我们的学习能力（Oakland et al.，1998）。
多感觉整合与感觉神经元对感觉信息编码的可塑性有着密切关联，是感觉和认知的一个根本特征，它的进行要依赖特异感觉皮层的解剖会聚以及信息之间的相互调控和平衡，并受到既往经历、注意力和其他认知能力的影响。所以，多感觉整合是高等动物神经和精神活动的重要内容之一，是其感知各种模态的刺激和认知各种外界事物的重要环节，并在抽象意识、学习和记忆等生理和心理过程中发挥重要作用。
多感觉整合研究中常遇到的问题：
多感觉整合研究中最主要的问题可以归纳为两个：多感觉整合究竟发生在大脑的什么地方？整合以什么样的方式进行？
多感觉整合过程中又会受到哪些因素的影响？
多感觉研究中还有两个重要的问题——神经元的多感觉能力是如何获得的？其受什么因素影响？
对多感觉整合的研究除了有助于对大脑认知功能的进一步了解，还有什么实际应用价值？如当一种感觉有缺陷时，如何利用多感觉整合的原理从其他感觉来弥补该感觉导致的缺陷？
在过去的十几年，多感觉整合研究领域吸引了一批学科交叉的科学研究人员，极大地推进了这一研究领域的发展。这些研究将为潜在的医学上的感官恢复提供可能，从而为那些遭受感觉障碍痛苦的人群带来希望和帮助。
▲ 大脑中注意与多感觉整合相互作用框架。（a）：参与多感觉整合的皮层区域（绿色） 有SPL、IPS 、STS、VLPFC 和PMC。（b）：参与外源性和内源性注意的脑区包括SPL、IPS、FEF、TPJ 和VFC。内源性注意与注意的背侧神经网络（蓝色区域）有关，而外源性注意与腹侧神经网络（红色区域）有关（Fox et al.，2006）。背侧注意网络是双侧的，参与自主（自上而下）定向，表现为在刺激线索呈现后放电活动增加，从而引导被试者何时何地注意某个东西。腹侧的注意网络是右侧化的，参与非自主（刺激驱动）的定向，表现为在特征目标（尤其是意想不到的目标）呈现后放电活动增加（Chen et al.，2013a；Fox et al.，2006）。（c）：多感觉整合与外源性和内源性注意相互作用的框架。感觉器官接收的外界刺激可以在多个不同层次进行整合（Giard & Peronnet，1999；Talsma & Woldorff，2005）。多感觉整合发生在多感觉信息处理的多个阶段。虽然这些多感觉处理过程被认为是自动发生的，注意却不仅仅影响单模态处理，对多模态的影响可以贯穿内源性注意和外源性注意（Tang et al.，2016）
本文以感觉替代装置（SSD）为例阐述多感觉整合研究的临床应用。
临床应用
残疾人感觉重塑过程中的多感觉整合
多感觉整合有多方面的应用，如儿童的多感觉统合训练、虚拟运动装置提供多模态刺激对伤残病人进行诊断和康复治疗等等，而比较突出的是一些感觉替代装置的发明。1969 年，有学者发表了一篇简短的文章，提出一个激进的想法：失去某种感觉（如视觉）的人们，可以通过将该感觉信息转化成其他感觉能接收的形式来重新获得失去的感觉信息（Bach-y-Rita et al.，1969）。正如其随后经常强调的，我们用大脑而不是眼睛来看，因此，失去的输入能够通过其他感觉进入大脑，而大脑能够分辨出这些信息哪些方面具有视觉特性。他们通过将视觉图像转换成触觉信号投射在牙科椅的背部，来证实这种理论假设的可能性。图像的白色像素压在皮肤上，黑色则不然，这样感受到这幅图的触觉印象。经过一定的训练，人们就能感受到背部的图像特性，甚至能够对摄像头进行实时反应。这种感觉替代装置（SSD）的研发有很好的应用前景。举例来说，全世界超过2.85 亿人受到严重视力损伤，其中4000 万人失明，这对开发有效的视觉康复技术提出了迫切的科学理论和临床需求。
由于视觉损伤起源于多种原因，不同的情况需要不同的治疗方案，此外， 大多数视觉障碍者生活在发展中国家，经济落后，因此全面的治疗必须价格相对便宜并且易于实现（Held & Hui，2011）。目前已有不少视觉修复方法（参见Striem-Amit et al.，2011 的综述）。有一些是侵入性的方法，主要是对外周视觉系统进行替换或恢复，如使用人工视网膜假体（Ahuja et al.，2011；Chader et al.，2009；Djilas et al.，2011；Humayun et al.，2012；Rizzo，2011；Wang et al.， 2012；Zrenner et al.，2011），基因治疗（Busskamp et al.，2010）或光感受器移植（Yang et al.，2010）。尽管这些方案从长远来看有着很大的前景，但在技术本身和特定病因（沿着视觉通路）方面仍然存在着巨大的障碍，而且成本高昂却只能提供较低的视觉分辨率（Humayun et al.，2012）。此外，即使实现的功能非常有限，这些侵入式康复仍然需要长时间的艰苦恢复。
另外一种替代方案是采用感觉替代装置，将视觉信息通过其他未受损的感觉传递到视觉障碍者身上。感觉替代装置是非侵入式的人机界面，在视觉障碍者身上，以预先设定的转换模式将视觉信息以听觉或触觉来进行表征。
▲ 感觉替代装置。（a）：图示通过舌头上的触觉刺激和听觉刺激进行的感觉替代。（b）：简易装置包含一个小的电脑（处理单元）、骨传导耳机和相机眼镜（Maidenbaum et al.， 2014）
第一个感觉替代系统可能是盲文。这种技术最初作为拿破仑时代军队在黑暗中写作和阅读的一种手段，后来被布莱尔（L. Braille）修改用于将视觉字母转变成触觉符号，从而可以让盲人进行阅读。20 世纪50 年代发展出一些将文字转变成Braille 符号的转换器，如Optacon（Goldish & Taylor，1974）。其中还有一个比较有趣的但是常常被忽略的是Elektroftalm 曾经试图将视觉图像通过一个或多个传感器以电信号的形式转变成听觉（19 世纪90 年代后期）和触觉信号（20 世纪50 年代）（Starkiewicz & Kuliszewski，1965）。这些早期的尝试使得Bach-y- Rita 在20 世纪70 年代能够更加有条理的在方法上进行尝试，这也使他成为感觉替代研究和使用的先驱。该学者专注于触觉装置，特别是他开发的一个“触觉视觉替代器”（tactile vision sensory substitution，TVSS）能够被盲人用来辨认大的字母以及扔过来的球等（Bach-y-Rita，1972），其工作表明这些装置可以作为独立的装置应用于日常生活，提供比较有限的视觉功能，如形状、颜色和位置的感知等。此外，SSD 设备相对便宜，可以适用于全世界视觉损伤者中的大多数人群，甚至是发展中国家以及难以获取高级医疗的人们（Held & Hui，2011）。SSD 对于大多数盲人（问题不出自大脑的视皮层或顶叶部分，而出自眼睛或视网膜等部位）来说具有巨大的非侵入式潜力。此外，对于一小部分患者，其神经节细胞和视觉皮层的视觉通路受损，修复视网膜并不能够将视觉信息传递至大脑，因此SSD 是这种患者的潜在治疗方案。
那么，使用SSD 能被认为“看见”吗？与侵入式方法（直观上类似于正常视觉）相比，SSD 的使用能真正被认为是看见吗？虽然有人会说感觉替代装置缺少了一些视觉质量而不是真正的视觉，但是如果看见只是被定义为在大脑中能够对形状、表面特性和周围物体的位置有一个好的表征，并能够以与正常人类似的方式进行交互，那么SSD 使用者确实是能够看见的（Bach-y-Rita，1972）。有一个失明比较晚的人（曾经有20 年的正常视觉）在使用了SSD 时说：“你可以在两到三周内形成一个声音印象。大约三个月内你开始看见环境的闪烁，从而识别事物……这是视觉。”“我知道看见东西是怎么回事，我记得。”（Pat Fletcher 在一篇盲文论坛中这么说）（Meijer，1992）。来自功能磁扫描的结果显示，后期致盲者使用SSD 时在视觉物体表征的区域出现显著活动（Amedi et al.，2001），而且这些视顶叶对他们的物体识别有干预作用（Merabet et al.，2009）。
▲ 使用SSD 执行任务的行为示例（Maidenbaum et al.，2014）
在近期的一些实验中（Striem-Amit et al.，2012），一些先天性失明的成年人在使用SSD 时其视觉敏锐度［通过斯内伦（Snellen）敏锐度测试］已经超过世界卫生组织定义的失明视力阈值，说明被试者在一定程度上可以看见（见上图）。此外，有实验结果显示，一小部分的事故致盲者使用SSD 经过70 小时的训练，不仅能够利用装置进行阅读，而且能够进行一系列的任务判别（如字母、纹理、面孔、房子、物体、体形、几何形状等），并能执行一些难度较大的任务，如脸部识别等。即使只是经过简单训练，少数事故致盲者还是能够识别图案（Poirier et al.，2007）、进行运动判断和追踪（Chekhchoukh et al.，2011；Ptito et al.，2009），估测远近和物体距离（Renier & De Volder，2010）， 通过颜色进行袜子识别和配对（Bologna et al.，2009）等。盲人使用SSD 能够进行基本的导航，比如在走廊行走和开门，在人体障碍课程上检测和回避障碍（Chebat et al.，2011），沿着有色条的线行走（Bologna et al.，2009），识别不同虚拟路线（Kupers et al.，2010）和在真实的街道上（如楼房、人行道、篱笆和街道）对位置、物体和路标进行识别；能够在房间里寻找物体、区分不同类型的水果、对光源进行定位（Amedi et al.，2007；Capalbo & Glenney，2009；Durette et al.，2008；Kaas & Morel，1993；Reynolds & Heeger，2009）；有些甚至在目标定位时能够手眼协调（Levy-Tzedek et al.，2012），进行套环、保龄球等游戏。当然，需要强调的是，这些结果离完整视觉还很远，但比之前的预期要好，说明SSD 具有实际应用的价值。
在过去的几十年中，有关多感觉整合的研究得到了蓬勃发展，可以看到多感觉整合领域取得了显著进步。但是，这个领域还非常年轻，还有很多尚未解决的问题：
自然环境中单模态信息往往竞争性地存在， 如何在更加自然的环境中对多感觉整合进行研究？研究人员在认知和感知的工作无疑将逐步走向更复杂、自然的刺激。
相对于单个神经元，群体神经元在多感觉整合过程中是如何起作用的？
如何建立一个更完善、通适的多感觉整合模型尚需要计算神经科学家的努力。
多感觉整合如何受到注意等其他因素的影响？
与多感觉整合相关的神经网络表现出很清晰的年龄相关特征，那么年龄相关疾病如最常见的阿尔茨海默病（Alzheimer’s disease，AD），是如何影响多感觉整合的？
不同的感觉模态如何在大脑中整合又如何控制运动?
了解这些能让我们更清楚如何能做出更好的假肢，以帮助肢体不能正常使用的患者。同时，这些也将对新型机器人的开发有深远的影响——如何让感觉设备接收不同模态的输入进行有意义的输出，更好地为人类服务。
相信，随着神经科学研究理念的不断发展与研究手段的不断更新，对多感觉整合机制的研究必将进一步深化。
本文摘编自《计算认知神经科学》（吴思等编著. 北京：科学出版社，2023.3）一书“第四章 多模态信息的整合机制及临床应用”，有删减修改，标题为编者所加。
（认知神经科学书系 / 杨玉芳主编. 第二辑）
ISBN 978-7-03-075114-0
责任编辑：孙文影 崔文燕
计算认知神经科学是一个新兴的、正在高速发展的交叉学科研究方向，主 要用计算建模的方法来理解和阐明认知神经科学所关心的科学问题，与传统实 验手段互为补充。该领域目前的科研进展还很初步，同时领域内相关专著很少。本书梳理了相关领域研究的国际进展，并基于国内高校和科研院所的优秀工作 者在该领域的科研成果，为认知神经科学工作者进行计算建模提供参考，为有 志于投身该领域的年轻学生指明潜在的研究方向，帮助其加深专业知识，同时 也为广大的认知科学爱好者提供背景知识。本书不仅可供心理学、社会学等专业的学者或学生参考，也适合对计算认 知神经科学感兴趣的读者阅读。
（本文编辑：刘四旦）
一起阅读科学!
科学出版社│微信ID：sciencepress-cspm
专业品质 学术价值
原创好读 科学品味
科学出版社视频号
硬核有料 视听科学
信息与计算科学考研方向(信息与计算科学考研方向可以选哪些)
