生成式人工智能程序在根据文本输入构建令人印象深刻的详细视觉图像方面已经变得越来越好，但日本大阪大学的研究人员已经向前迈出了一大步。他们让人工智能根据人类观看面前图像时产生的大脑活动重建准确、高分辨率的图像。
正如最近和其他地方强调的那样，大阪前沿生物科学研究生院的一个团队的新论文详细介绍了他们如何利用稳定扩散(一种流行的AI图像生成程序)将大脑活动转化为相应的视觉表示。虽然之前已经有很多类似的思想-计算机图像实验，但这个测试是第一次使用稳定扩散。为了进行额外的系统训练，研究人员将数千张照片的文字描述与志愿者通过功能性磁共振成像(fMRI)扫描查看照片时检测到的大脑模式联系起来。
大脑内的血流量水平取决于哪些区域被激活。例如，流向人类颞叶的血液有助于解码有关图像“内容”的信息，即物体、人、环境，而枕叶则处理诸如透视、比例和定位等维度质量。现有的在线fMRI扫描数据集由四个人查看超过10,000张图像生成，然后输入稳定扩散，然后输入图像的文本描述和关键词。这使得程序能够“学习”如何将适用的大脑活动转化为视觉表征。
例如，在测试过程中，一个人看着钟塔的图像。功能磁共振成像记录的大脑活动与稳定扩散之前的关键字训练相对应，然后将关键字输入现有的文本-图像生成器。在此基础上，根据枕叶的布局和透视信息，进一步详细描述了一个重建的钟楼，形成了一个最终的、令人印象深刻的图像。
到目前为止，该团队的增强稳定扩散图像生成仅限于四人图像数据库-进一步的测试将需要额外的测试者的大脑扫描以进行培训。也就是说，该团队的突破性进展在认知神经科学等领域显示出巨大的前景，正如所述，甚至有一天可以帮助研究人员深入研究其他物种是如何感知周围环境的。
