读心术
弗兰克·冈瑟是如何将思想转化为文字的

几千年来,人类一直在说话。 Noam Chomsky and many other linguists argue that speech is what sets 智人 apart in the animal kingdom. 亚里士多德写道:“言语是心灵的表现。”
这是一个复杂的过程,通过一系列闪电般的步骤,你的思想形成语言,并从你的大脑,通过舌头,嘴唇,声带和下巴(一起被称为发音器),到你的听众的耳朵,然后进入他们自己的大脑。
复杂,但可映射。 在20年的时间里,通过使用功能性磁共振成像(fMRI)和其他数据收集方法进行了无数次实验,神经科学家弗兰克·冈瑟(Frank Guenther)建立了一个计算机模型,描述了大脑如何实现说话的技巧。
这些信息不仅令人着迷。 Guenther(1993届毕业生)是萨金特学院(Sargent College)言语、语言和听力科学的教授,他相信他的模型将帮助患有失用症(说话的欲望完好无损,但语言能力受损)、口吃、Lou Gehrig病、咽喉癌,甚至瘫痪的患者。
冈瑟说:“对一个复杂系统的工作原理有详细的了解,有助于你在系统出现故障时修复它。”冈瑟曾是一名工程师,后来离开雷神公司(Raytheon)(“我讨厌做公司的小齿轮”),去波士顿大学攻读认知和神经科学博士学位。 他现在负责这个项目。 “像这样的模型是真正开始理解这些复杂的沟通障碍所需要的。”
Guenther的虚拟声道,发音速度方向(DIVA),是该领域领先的语音生成模型。 它是基于功能磁共振成像的澳门威尼斯人注册网站研究,显示了当人们说出不同的音素(构成所有单词的小音节)时,大脑的哪个区域激活了哪些神经元群。 DIVA系统模仿我们说话的方式:移动我们的发音器,无意识地听自己说话,然后自动纠正。 当Guenther运行一个新的程序时,这个模型甚至会经历一个咿呀学语的阶段,教会自己像人类婴儿一样产生音素。
Guenther and colleagues in his lab, which he moved to Sargent from the College of Arts & Sciences when the cognitive and neural sciences department was 溶解 this year and its activities distributed to other BU teaching and research units, continue to perfect the model, but primarily, they’re focused on “using insights from the model to help us address disorders like stuttering,” Guenther says. “我们要做的是通过破坏模型来模仿这些疾病的发生,从而修改模型。” 例如,当他们更多地了解口吃者大脑中的生理差异时,他的团队就更接近于“对药物应该针对哪些受体系统有更精确的假设,这将使我们更快地找到一种不会引起其他行为问题的药物。”

表达思想的
Guenther的大部分工作包括设计“增强交流的脑机接口方法”,他说。 The most dramatic example has been a collaboration with pioneering neuroscientist Phil Kennedy of 神经信号公司, in Georgia, in which software developed by Guenther’s lab helped a paralyzed man articulate vowels with his mind.
Guenther解释了一个身体瘫痪但精神健全的病人的情况:“在闭锁综合症中,大脑皮层,即模型所处理的大脑的主要部分,实际上是完好无损的。 出问题的是大脑的运动输出部分。 因此,演讲的计划进行得很好,但没有产出。” 冈瑟推测,“如果我们知道它们的神经信号是什么,它们是如何表达语音的,那么我们就应该能够解码语音。” 事实证明,肯尼迪和他的团队在一个人的大脑部分——语言运动皮层植入了一个电极,但却无法解码信号。”
The volunteer who received the implant was 埃里克·拉姆齐, who had suffered a severe stroke following a car crash and could communicate only by answering questions with “yes” or “no” using eye movements. With a grant from the 美国国立卫生澳门威尼斯人注册网站研究院, Guenther and colleagues built Ramsey a neural prosthesis in 2008. With his electrodes hooked up to a wireless transmitter, Ramsey imagined speaking vowels, activating neurons that powered a real-time speech synthesizer (emitting a robotic “ahhhhoooooeeee…”) while the researchers watched his progress on a monitor that showed his formant plane, an X-Y axis graph representing “what we call the formant frequencies—w在这里 the tongue is, basically,” Guenther says.
“在实验结束时,”Guenther说,“他对听觉目标的准确率达到了80%到90%。”

模糊读心术
还有侵入性较小的神经假肢选择,冈瑟的实验室也在澳门威尼斯人注册网站研究。 脑电图(EEG)是通过放置在受试者头上的外部传感器采集大脑电信号。 Guenther’s colleague Jon Brumberg, a SAR research assistant professor, is testing an EEG system in which one imagines moving one’s left or right hand or foot, t在这里by moving a cursor on a screen. 另一种方法是通过盯着字母网格来选择字母。
Guenther说,这些费力的方法有其优点。 “首先,它不会花费患者5万美元,他们也不必接受脑部手术。 这是一种现成的东西,他们可以买到,用它来交流”——尽管速度很慢——“练习一两天就可以了。”
然而,由于颅骨的干扰,脑电图信号的价值有限。 Guenther说:“想象一下一个旧的电视天线,你会得到一个模糊的图像。” “脑电图就是这样的。 为了实时控制合成器以产生会话语音,我认为最好的方法是皮质内,颅内,因为你总是会得到更高分辨率的信号。” 拉姆齐成功地制造出了只有2个输出通道的元音,而“下一个系统将有多达96个通道,”冈瑟说。
他指出,“这些都是最初的尝试。 这就像第一批火箭升空,但甚至没有进入轨道。 在接下来的几十年里,这将变得越来越精细。 但这将会发生。 我可以想象有一天这些手术变得司空见惯,不再是什么大事。 有人可能会戴上这样一种带扬声器的项链。”
作为工程学、神经科学和现在的康复学的先驱,Guenther很享受他的工作。 “来到萨金特学院对我来说是一个很好的时机,因为我早期的职业生涯是建立正常人类大脑功能的模型,”他说,“现在我们开始澳门威尼斯人注册网站研究口吃等疾病,我们通过与临床医生交谈获得见解,并接触到萨金特的临床人群。”
但冈瑟对人类大脑的痴迷并没有改变。 “这是一台令人难以置信的机器。 我学过计算机,大脑在很多事情上比计算机做得好得多。 如果你弄清楚了大脑是如何工作的,你就理解了心灵,你就理解了生命中的一些伟大奥秘。”
Watch a video of Sargent researchers Frank Guenther and Jon Brumberg discussing their work 在这里.
Patrick L. Kennedy can be reached at [email protected].
本文原载于2011-2012年版 萨金特。
澳门威尼斯人注册
评论与讨论
波士顿大学缓和评论,以促进知情的、实质性的、文明的对话。 辱骂、亵渎、自我推销、误导、语无伦次或离题的评论将被拒绝。 版主在正常营业时间(EST)有澳门威尼斯人注册,只能接受用英语写的评论。 统计数据或事实必须包含引文或引文链接。