草庐IT

Stable Diffusion读你大脑信号就能重现图像，研究还被CVPR接收了

机器之心 2023-03-28 原文
如果人工智能可以解读你的想象，将你脑海中的图像变成现实，那会怎样？

虽然这听起来有点赛博朋克。但最近发表的一篇论文，让 AI 圈吵翻了天。

这篇论文发现，他们使用最近非常火的 Stable Diffusion，就能重建大脑活动中的高分辨率、高精准图像。作者写道，与之前的研究不同，他们不需要训练或微调人工智能模型来创建这些图像。


  • 论文地址：https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2.full.pdf
  • 网页地址：https://sites.google.com/view/stablediffusion-with-brain/
他们是怎么做到的呢？

在此研究中，作者基于 Stable Diffusion 来重建通过功能磁共振成像 (fMRI) 而获得的人脑活动图像。作者也表示，通过研究与大脑相关功能的不同组成部分（例如图像 Z 的潜在向量等），也有助于了解隐扩散模型的机制。 

这篇论文也已经被 CVPR 2023 接收。

该研究的主要贡献包括：

  • 证明了其简单框架可以从具有高语义保真度的大脑活动中重建高分辨率（512×512）图像，而无需训练或微调复杂的深度生成模型，如下图所示；
  • 通过将特定组成部分映射到不同的大脑区域，该研究从神经科学的角度定量解释了 LDM 的每个组成部分；
  • 该研究客观地解释了 LDM 实现的文本到图像转换过程如何结合条件文本表达的语义信息，同时保持原始图像的外观。

方法概览

该研究的总体方法如下图 2 所示。图 2（上）是该研究中使用的 LDM 示意图，其中，ε 表示图像编码器，D 表示图像解码器，τ 表示文本编码器（CLIP）。 

图 2（中）是该研究的解码分析示意图。研究者分别从早期（蓝色）和高级（黄色）视觉皮层内的 fMRI 信号中解码了呈现图像 (z) 和相关文本 c 的潜在表征。这些潜在表征被用作生成重建图像 X_zc 的输入。 

图 2（下）是该研究的编码分析示意图。研究者构建了编码模型来预测来自 LDM 不同组成部分的 fMRI 信号，包括 z、c 和 z_c。

有关 Stable Diffusion 这里就不做过多介绍，相信很多人都比较了解。

结果

我们来看一下该研究的视觉重建结果。

解码​

下图 3 展示了一个主体（subj01）的视觉重建结果。研究者为每个测试图像生成了五个图像，并选择了具有最高 PSM 的图像。一方面，只用 z 重建的图像在视觉上与原始图像一致，但未能抓住其语义内容。另一方面，只用 c 重建的图像生成的图像具有很高的语义保真度，但在视觉上却不一致。最后，使用 z_c 重建的图像可以生成具有高语义保真度的高分辨率图像。

图 4 展示了所有测试者对同一图像的重建图像（所有图像都是用 z_c 生成的）。总体来说，各测试者的重建质量是稳定和准确的。

图 5 是定量评估的结果：

编码模型​

图 6 显示了编码模型对与 LDM 相关的三种潜像的预测精度：z，原始图像的潜像；c，图像文本注释的潜像；以及 z_c，经过与 c 交叉注意力反向扩散过程后的 z 的加噪潜像表征。

图 7 显示，当加入少量的噪声时，z 对整个皮层的体素活动的预测比 z_c 更好。有趣的是，当增加噪声水平时，z_c 对高位视觉皮层内体素活动的预测优于 z，表明图像的语义内容逐渐被强调。

在迭代去噪过程中，添加噪声的潜在表征如何变化？图 8 显示，在去噪过程的早期阶段，z 信号主导了 fMRI 信号的预测。在去噪过程的中间阶段，z_c 对高位视觉皮层内活动的预测比 z 好得多，表明大部分语义内容在这个阶段出现了。结果显示了 LDM 如何从噪声中提炼和生成图像。

最后，研究者探讨了 U-Net 的每一层都在处理什么信息。图 9 显示了去噪过程的不同步骤（早期、中期、晚期）以及 U-Net 不同层的编码模型的结果。在去噪过程的早期阶段，U-Net 的瓶颈层（橙色）在整个皮层中产生了最高的预测性能。然而，随着去噪的进行，U-Net 的早期层（蓝色）预测早期视觉皮层内的活动，而瓶颈层则转向对更高的视觉皮层的卓越预测能力。

更多研究细节，可查看原论文。

Diffusion大脑spanstylefont-size人工智能新闻$图像研究

有关Stable Diffusion读你大脑信号就能重现图像，研究还被CVPR接收了的更多相关文章

  1. ruby-on-rails - RSpec:避免使用允许接收的任何实例 - 2

    我正在处理旧代码的一部分。beforedoallow_any_instance_of(SportRateManager).toreceive(:create).and_return(true)endRubocop错误如下:Avoidstubbingusing'allow_any_instance_of'我读到了RuboCop::RSpec:AnyInstance我试着像下面那样改变它。由此beforedoallow_any_instance_of(SportRateManager).toreceive(:create).and_return(true)end对此:let(:sport_

  2. ruby-on-rails - 添加回形针新样式不影响旧上传的图像 - 2

    我有带有Logo图像的公司模型has_attached_file:logo我用他们的Logo创建了许多公司。现在，我需要添加新样式has_attached_file:logo,:styles=>{:small=>"30x15>",:medium=>"155x85>"}我是否应该重新上传所有旧数据以重新生成新样式？我不这么认为……或者有什么rake任务可以重新生成样式吗？ 最佳答案 参见Thumbnail-Generation.如果rake任务不适合你，你应该能够在控制台中使用一个片段来调用重新处理!关于相关公司

  3. ruby-on-rails - 如何使用 Rack 接收 JSON 对象 - 2

    我有一个非常简单的RubyRack服务器，例如:app=Proc.newdo|env|req=Rack::Request.new(env).paramspreq.inspect[200,{'Content-Type'=>'text/plain'},['Somebody']]endRack::Handler::Thin.run(app,:Port=>4001,:threaded=>true)每当我使用JSON对象向服务器发送POSTHTTP请求时:{"session":{"accountId":String,"callId":String,"from":Object,"headers":

  4. SPI接收数据异常问题总结 - 2

    SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位（1bit）。SPI数据收发是数据交换，因此接收数据时从第二个字节开始才是有效数据，也就是数据整体向右移一个字节（1byte）。请教前辈之后也没有得到解决，通过在网上查阅前人经验终于解决问题，所以写一个避坑经验总结。实际背景：MCU与一款芯片使用spi通信，MCU作为主机，芯片作为从机。这款芯片采用的是它规定的六线SPI，多了两根线：RDY和INT，这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手

  5. ruby-on-rails - 在 Ruby (on Rails) 中使用 imgur API 获取图像 - 2

    我正在尝试使用Ruby2.0.0和Rails4.0.0提供的API从imgur中提取图像。我已尝试按照Ruby2.0.0文档中列出的各种方式构建http请求，但均无济于事。代码如下:require'net/http'require'net/https'defimgurheaders={"Authorization"=>"Client-ID"+my_client_id}path="/3/gallery/image/#{img_id}.json"uri=URI("https://api.imgur.com"+path)request,data=Net::HTTP::Get.new(path

  6. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

  7. ruby - 是否有将图像文件转换为 ASCII 艺术的命令行程序或库？ - 2

    有这样的事吗？我想在Ruby程序中使用它。 最佳答案 试试这个http://csl.sublevel3.org/jp2a/此外，Imagemagick可能还有一些东西 关于ruby-是否有将图像文件转换为ASCII艺术的命令行程序或库？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/6510445/

  8. ruby-on-rails - 使用 Dragonfly 从 URL 分配图像 - 2

    我正在使用Dragonfly在Rails3.1应用程序上处理图像。我正在努力通过url将图像分配给模型。我有一个很好的表格:{:multipart=>true}do|f|%>RemovePicture?Dragonfly的文档指出:Dragonfly提供了一个直接从url分配的访问器:@album.cover_image_url='http://some.url/file.jpg'但是当我在控制台中尝试时:=>#ruby-1.9.2-p290>picture.image_url="http://i.imgur.com/QQiMz.jpg"=>"http://i.imgur.com/QQ

  9. Ruby-vips 图像处理库。有什么好的使用示例吗？ - 2

    我对图像处理完全陌生。我对JPEG内部是什么以及它是如何工作一无所知。我想知道，是否可以在某处找到执行以下简单操作的ruby​​代码:打开jpeg文件。遍历每个像素并将其颜色设置为fx绿色。将结果写入另一个文件。我对如何使用ruby​​-vips库实现这一点特别感兴趣https://github.com/ender672/ruby-vips我的目标-学习如何使用ruby​​-vips执行基本的图像处理操作(Gamma校正、亮度、色调……)任何指向比“helloworld”更复杂的工作示例的链接——比如ruby​​-vips的github页面上的链接，我们将不胜感激!如果有ruby​​-

  10. ruby-on-rails - 如何播种图像的路径？ - 2

    Organization和Image具有一对一的关系。Image有一个名为filename的列，它存储文件的路径。我在Assets管道中包含这样一个文件:app/assets/other/image.jpg。播种时如何包含此文件的路径？我已经在我的种子文件中尝试过:@organization=...@organization.image.create!(filename:File.open('app/assets/other/image.jpg'))#Ialsotried:#@organization.image.create!(filename:'app/assets/other/i

随机推荐