高尔基大学神经科学教授 Bruce C. Hansen 教授,和 Michelle R. Greene (来自培思大学)、David J. Field (来自康乃尔大学)合作开发了 DETI(dynamic electrode-to-image)映射技术,利用脑电图(EEG)的高时间分辨率来呈现与不同神经信号相关的视觉特征地图。在下面的动图中查看了一个将神经反应映射到图像上的实时例子。
《Dynamic Electrode-to-Image (DETI) mapping reveals the human brain’s spatiotemporal code of visual information》研究报告已经发表在《PLOS Computational Biology》期刊上。
Hansen 教授表示:“当人类观看任何环境时,我们的大脑在大量的神经元群体中对视觉信息进行编码,以实现各种智能行为。然而,用于指导行为的视觉代码并不像图片那样稳定,而是随着时间的推移而演变,不同的神经元群体在不同的时间点对代码做出贡献。我们的 DETI 映射技术首次提供了对图像中每个位置的时间变化代码的一览”。
最近,基于功能磁共振成像(fMRI)的体素编码分析的进展使得基于大脑数据的引人注目的图像重建成为可能,但由于 fMRI 的时间分辨率有限,只能呈现单一的时间快照。Hansen 及其同事介绍的 DETI 映射程序是基于 EEG 信号的,它提供了一个以毫秒级精度映射图像的神经代码的机会。
为了用 EEG 数据成功地将视觉代码映射到图像上,Hansen 及其同事必须克服一些方法上的挑战。通过 EEG 记录的大脑信号受到头骨的干扰,以及由于大脑的折叠模式而产生的不同程度的削弱。Hansen 和他的团队使用一个生物学上合理的大脑编码模型,通过测量大量图像中的编码像素之间的对应关系以及由此产生的神经反应的变化,能够规避这些问题。
由 DETI 程序产生的映射数据为图像的神经编码如何随时间演变提供了新的和重要的洞察力。汉森及其同事报告的最引人注目的结果之一是,大脑扫描图像的方式似乎是在不同的时间点强调不同的图像区域与不同的神经群。这样的扫描程序可能有助于早期对地平面的优先排序,以支持导航的判断,而后期则强调以地标组织为主。
这些发现导致了新的和有趣的问题,这些问题涉及到当人们从事不同的任务时,不断发展的神经代码如何通知更高层次的认知过程。Hansen 教授表示:“我们知道,视觉信息的代码分布在大量的神经元群体中,但该代码如何分布取决于一个特定任务的目标。这意味着,大脑并不是简单地完全根据环境创造一个心理图景,而是创造一个最符合人的行为目标的表征”。
DOI: 10.1371/journal.pcbi.1009456