草庐IT

一句话为视频加特效；迄今为止最全昆虫大脑图谱

机器之心 2023-03-28 原文
目录：


  1. Composer: Creative and Controllable Image Synthesis with Composable Conditions
  2. Structure and Content-Guided Video Synthesis with Diffusion Models
  3. The connectome of an insect brain
  4. Uncertainty-driven dynamics for active learning of interatomic potentials
  5. Combinatorial synthesis for AI-driven materials discovery
  6. Masked Images Are Counterfactual Samples for Robust Fine-tuning
  7. One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale 
  8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）
论文 1：Composer: Creative and Controllable Image Synthesis with Composable Conditions

  • 作者：Lianghua Huang 等
  • 论文地址：https://arxiv.org/pdf/2302.09778v2.pdf
摘要：在 AI 绘画领域，很多研究者都在致力于提升 AI 绘画模型的可控性，即让模型生成的图像更加符合人类要求。前段时间，一个名为 ControlNet 的模型将这种可控性推上了新的高峰。大约在同一时间，来自阿里巴巴和蚂蚁集团的研究者也在同一领域做出了成果，本文是这一成果的详细介绍。

推荐：AI 绘画新思路：国产开源 50 亿参数新模型，合成可控性、质量实现飞跃。

论文 2：Structure and Content-Guided Video Synthesis with Diffusion Models

  • 作者：Patrick Esser 等
  • 论文地址：https://arxiv.org/pdf/2302.03011.pdf
摘要：相信很多人已经领会过生成式 AI 技术的魅力，特别是在经历了 2022 年的 AIGC 爆发之后。以 Stable Diffusion 为代表的文本到图像生成技术一度风靡全球，无数用户涌入，借助 AI 之笔表达自己的艺术想象……

相比于图像编辑，视频编辑是一个更具有挑战性的议题，它需要合成新的动作，而不仅仅是修改视觉外观，此外还需要保持时间上的一致性。在这条赛道上探索的公司也不少。前段时间，谷歌发布的 Dreamix 以将文本条件视频扩散模型（video diffusion model, VDM）应用于视频编辑。

近日，曾参与创建 Stable Diffusion 的 Runway 公司推出了一个新的人工智能模型「Gen-1」，该模型通过应用文本 prompt 或参考图像指定的任何风格，可将现有视频转化为新视频。比如将「街道上的人」变成「粘土木偶」，只需要一行 prompt。

推荐：加特技只需一句话 or 一张图，Stable Diffusion 的公司把 AIGC 玩出了新花样。

论文 3：The connectome of an insect brain

  • 作者：MICHAEL WINDING 等
  • 论文地址：https://www.science.org/doi/10.1126/science.add9330
摘要：研究人员完成了迄今为止最先进的昆虫大脑图谱，这是神经科学领域的一项里程碑式成就，使科学家更接近对思维机制的真正理解。

由约翰斯・霍普金斯大学和剑桥大学领导的国际团队制作了一张惊人的详细图谱，描绘了果蝇幼虫大脑中的每一个神经连接，这是一个与人类大脑相当的原型科学模型。该研究可能会支持未来的大脑研究并激发新的机器学习架构。

推荐：迄今为止最全昆虫大脑图谱，可能激发新的机器学习架构。

论文 4：Uncertainty-driven dynamics for active learning of interatomic potentials

  • 作者：Maksim Kulichenko 等
  • 论文地址：https://www.nature.com/articles/s43588-023-00406-5
摘要：机器学习 (ML) 模型，如果针对高保真量子模拟的数据集进行训练，可以产生准确高效的原子间势。主动学习 (AL) 是迭代生成不同数据集的强大工具。在这种方法中，ML 模型提供了不确定性估计及其对每个新原子构型的预测。如果不确定性估计超过某个阈值，则该构型将包含在数据集中。

近日，来自美国洛斯阿拉莫斯国家实验室的研究人员制定了一种策略：主动学习的不确定性驱动动力学 (UDD-AL)，以更快地发现有意义地扩充训练数据集的构型。UDD-AL 修改了分子动力学模拟中使用的势能面，以支持存在较大模型不确定性的构型空间区域。UDD-AL 的性能在两个 AL 任务中得到了证明。下图为甘氨酸测试用例的 UDD-AL 和 MD-AL 方法比较。

推荐：Nature 子刊 | 不确定性驱动、用于主动学习的动力学用于自动采样。

论文 5：Combinatorial synthesis for AI-driven materials discovery

  • 作者：John M. Gregoire 等
  • 论文地址：https://www.nature.com/articles/s44160-023-00251-4
摘要：合成是固态材料实验的基石，任何合成技术必然涉及改变一些合成参数，最常见的是成分和退火温度。「组合合成」通常是指自动化 / 并行化材料合成，以创建具有一个或多个合成参数系统变化的材料集合。人工智能控制的实验工作流程对组合合成提出了新的要求。

在此，加州理工学院的研究人员概述了组合合成，设想了由组合合成和 AI 技术的共同开发推动的加速材料科学的未来。并建立了评估不同技术之间权衡的十个指标，涵盖速度、可扩展性、范围和质量。这些指标有助于评估一项技术对给定工作流程的适用性，并说明组合合成的进步将如何开创加速材料科学的新时代。如下为组合合成平台的合成指标和各自评价。

推荐：Nature Synthesis 综述：人工智能驱动材料发现的组合合成。

论文 6：Masked Images Are Counterfactual Samples for Robust Fine-tuning

  • 作者：Yao Xiao 等
  • 论文地址：https://arxiv.org/abs/2303.03052
摘要：中山大学人机物智能融合实验室（HCP）在 AIGC 及多模态大模型方面成果丰硕，在近期的 AAAI 2023、CVPR 2023 先后入选了十余篇，位列全球研究机构的第一梯队。其中一个工作实现了用因果模型来显著提升多模态大模型在调优中的可控及泛化性 ——《Masked Images Are Counterfactual Samples for Robust Fine-tuning》。

推荐：中山大学 HCP 实验室新突破：用因果范式再升级多模态大模型。

论文 7：One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale

  • 作者：Fan Bao 等
  • 论文地址：https://ml.cs.tsinghua.edu.cn/diffusion/unidiffuser.pdf
摘要：该论文提出了一个为多模态设计的概率建模框架 UniDiffuser，并采用该团队提出的基于 transformer 的网络架构 U-ViT，在开源的大规模图文数据集 LAION-5B 上训练了一个十亿参数量的模型，使得一个底层模型能够高质量地完成多种生成任务（图 1）。简单来讲，除了单向的文生图，还能实现图生文、图文联合生成、无条件图文生成、图文改写等多种功能，大幅提升文图内容的生产效率，也进一步提升了生成式模型的应用想象力。

推荐：清华朱军团队开源首个基于 Transformer 的多模态扩散大模型，文图互生、改写全拿下。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天、梅洪源发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选,并提供音频形式的论文摘要简介。

本周 10 篇 NLP 精选论文是：

1. GLEN: General-Purpose Event Detection for Thousands of Types.  (from Martha Palmer, Jiawei Han)

2. An Overview on Language Models: Recent Developments and Outlook.  (from C.-C. Jay Kuo)

3. Learning Cross-lingual Visual Speech Representations.  (from Maja Pantic)

4. Translating Radiology Reports into Plain Language using ChatGPT and GPT-4 with Prompt Learning: Promising Results, Limitations, and Potential.  (from Ge Wang)

5. A Picture is Worth a Thousand Words: Language Models Plan from Pixels.  (from Honglak Lee)

6. Do Transformers Parse while Predicting the Masked Word?.  (from Sanjeev Arora)

7. The Learnability of In-Context Learning.  (from Amnon Shashua)

8. Is In-hospital Meta-information Useful for Abstractive Discharge Summary Generation?.  (from Yuji Matsumoto)

9. ChatGPT Participates in a Computer Science Exam.  (from Ulrike von Luxburg)

10. Team SheffieldVeraAI at SemEval-2023 Task 3: Mono and multilingual approaches for news genre, topic and persuasion technique classification.  (from Kalina Bontcheva)

本周 10 篇 CV 精选论文是：

1. From Local Binary Patterns to Pixel Difference Networks for Efficient Visual Representation Learning.  (from Matti Pietikäinen, Li Liu)

2. Category-Level Multi-Part Multi-Joint 3D Shape Assembly.  (from Wojciech Matusik, Leonidas Guibas)

3. PartNeRF: Generating Part-Aware Editable 3D Shapes without 3D Supervision.  (from Leonidas Guibas)

4. Exploring Recurrent Long-term Temporal Fusion for Multi-view 3D Perception.  (from Xiangyu Zhang)

5. Grab What You Need: Rethinking Complex Table Structure Recognition with Flexible Components Deliberation.  (from Bing Liu)

6. Unified Visual Relationship Detection with Vision and Language Models.  (from Ming-Hsuan Yang)

7. Contrastive Semi-supervised Learning for Underwater Image Restoration via Reliable Bank.  (from Huan Liu)

8. InstMove: Instance Motion for Object-centric Video Segmentation.  (from Xiang Bai, Alan Yuille)

9. ViTO: Vision Transformer-Operator.  (from George Em Karniadakis)

10. A Simple Framework for Open-Vocabulary Segmentation and Detection.  (from Jianfeng Gao, Lei Zhang)

本周 10 篇 ML 精选论文是：

1. Generalizing and Decoupling Neural Collapse via Hyperspherical Uniformity Gap.  (from Bernhard Schölkopf)

2. AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph Neural Networks.  (from Jure Leskovec)

3. Relational Multi-Task Learning: Modeling Relations between Data and Tasks.  (from Jure Leskovec)

4. Interpretable Outlier Summarization.  (from Samuel Madden)

5. Visual Prompt Based Personalized Federated Learning.  (from Dacheng Tao)

6. Interpretable Joint Event-Particle Reconstruction for Neutrino Physics at NOvA with Sparse CNNs and Transformers.  (from Pierre Baldi)

7. FedLP: Layer-wise Pruning Mechanism for Communication-Computation Efficient Federated Learning.  (from Fei Wang, Khaled B. Letaief)

8. Traffic4cast at NeurIPS 2022 -- Predict Dynamics along Graph Edges from Sparse Node Data: Whole City Traffic and ETA from Stationary Vehicle Detectors.  (from Sepp Hochreiter)

9. Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning.  (from Thomas Hofmann)

10. Steering Prototype with Prompt-tuning for Rehearsal-free Continual Learning.  (from Dimitris N. Metaxas)

昆虫迄今为止spanstylefont-size人工智能新闻$人工智能模型

有关一句话为视频加特效；迄今为止最全昆虫大脑图谱的更多相关文章

  1. 动漫制作技巧如何制作动漫视频 - 2

    动漫制作技巧是很多新人想了解的问题，今天小编就来解答与大家分享一下动漫制作流程，为了帮助有兴趣的同学理解，大多数人会选择动漫培训机构，那么今天小编就带大家来看看动漫制作要掌握哪些技巧？一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性，以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料，可以是手绘也可以是3d软件创建。在此步骤中，要注意的问题是色彩和平面布局。三、动漫制作制作完成后，加工成型。完成不同的表现形式后，就要对设计稿进行加工处理，使加工的难易度降低，并得到一些基本准确的概念，以便于后续的大样、准确的尺寸制定。四、

  2. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

  3. TimeSformer：抛弃CNN的Transformer视频理解框架 - 2

    Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图

  4. ruby - 如何更改此正则表达式以从未指定 v 参数的 Youtube URL 获取 Youtube 视频 ID？ - 2

    目前我正在使用这个正则表达式从YoutubeURL中提取视频ID:url.match(/v=([^&]*)/)[1]我怎样才能改变它，以便它也可以从这个没有v参数的YoutubeURL获取视频ID:http://www.youtube.com/user/SHAYTARDS#p/u/9/Xc81AajGUMU感谢阅读。编辑:我正在使用ruby​​1.8.7 最佳答案 对于Ruby1.8.7，这就可以了。url_1='http://www.youtube.com/watch?v=8WVTOUh53QY&feature=feedf'url

  5. ruby-on-rails - "transform"一个数组怎么写一句话？ - 2

    我正在使用RubyonRailsv3.0.9，我想“转换”一个句子中的字符串数组，包括标点符号。也就是说，如果我有如下数组:["element1","element2","element3"]我想得到\构建:#Note:Iadded'Elementsare:'atthebegin,','betweenelementsand'.'at#theend."Elementsare:element1,element2,element3."我该怎么做？ 最佳答案 Rails有Array#to_sentence与array.join(',')相同

  6. 续集来了丨UI自动化测试（二）：带视频，实在RPA高效进行web项目UI自动化测试 - 2

    一、什么是web项目ui自动化测试？通过测试工具模拟人为操控浏览器，使软件按照测试人员的预定计划自动执行测试的一种方式，可以完成许多手工测试无法完成或者不易实现的繁琐工作。正确使用自动化测试，可以更全面的对软件进行测试，从而提高软件质量进而缩短迭代周期。二、构建测试用例的“九部曲”（一）创建流程包划分功能模块日常测试活动中，都会根据功能模块进行拆分，所以在设计器中我们可以通过创建流程包的方式来拆分需要测试的功能模块，如下图中操作创建一个电脑流程包并且取名为对应的功能模块名称，如果有多个功能模块就创建多个对应的流程包，实在RPA设计器有易用的图形可视化界面，方便管理较多的功能模块。（二）在流程包

  7. Java调用ffmpeg处理视频，并记录下遇到的坑 - 2

    目录需求基于JavaCV跨平台执行ffmpeg命令[^1]坑一内存不足坑二多个ffmpeg进程并行导致IO负载大，进而导致ioerror?坑三使用Java操作ffmpeg时，有时会卡死坑四Process的waitFor死锁问题及解决办法需求给透明背景的视频自动叠加一张背景图片基于JavaCV跨平台执行ffmpeg命令1我测试发现的本需求的最小依赖：dependency>groupId>org.bytedecogroupId>artifactId>ffmpeg-platform-gplartifactId>version>5.0-1.5.7version>dependency>核心代码：Stri

  8. 基于python的短视频智能推荐/django的影视网站/视频推荐系统 - 2

    摘要本论文主要论述了如何使用Python技术开发一个短视频智能推荐，本系统将严格按照软件开发流程进行各个阶段的工作，采用B/S架构，面向对象编程思想进行项目开发。在引言中，作者将论述短视频智能推荐的当前背景以及系统开发的目的，后续章节将严格按照软件开发流程，对系统进行各个阶段分析设计。 短视频智能推荐的主要使用者分为管理员和用户，实现功能包括管理员：首页、个人中心、用户管理、热门视频管理、用户上传管理、系统管理，用户：首页、个人中心、用户上传管理、我的收藏管理，前台首页；首页、热门视频、用户上传、公告信息、个人中心、后台管理等功能。由于本网站的功能模块设计比较全面，所以使得整个短视频智能推荐信

  9. 基于ffmpeg的视频处理与MPEG的压缩试验(下载安装使用全流程) - 2

    基于ffmpeg的视频处理与MPEG的压缩试验ffmpeg介绍与基础知识对提取到的图像进行处理RGB并转化为YUV对YUV进行DCT变换对每个8*8的图像块进行进行量化操作ffmpeg介绍与基础知识ffmpeg是视频和图像处理的工具包，它的下载网址是https://ffmpeg.org/download.html。页面都是英文且下载正确的包的路径笔者找的时候还费点劲，这里记录一下也方便读者。选中这个Windows下的下午files，选择第一个这里有essential和full版本的，大家根据需要自行选择版本包下载下载好之后，在官网上下载ffmpeg的full包，一共300+MB解压，然后安装b

  10. 视频融合技术解决方案，三维全景拼接赋能平台 - 2

    近年来，随着信息化时代的到来，三维全景拼接以视频监控领域为代表的智能硬件公司迅速崛起，随后全国各地在视频监控领域进行了大量的建设。但随着摄像头数量的增加，视频监控画面离散、庞杂、关联性差等诸多问题日渐凸显。如何优化现有视频技术，助力管理者或使用者有效、直观、准确地掌控现场实时动态，成为我国信息化前行路上面临的新课题。视频融合技术平台解决方案北京智汇云舟科技有限公司成立于2012年，专注于创新性的“视频孪生（实时实景数字孪生）”技术研发与应用。公司依托自研三维地理信息引擎（3DGIS），融合建筑信息模型（BIM）、视频监控（Video）、人工智能（AI）及物联网（IOT）等多种技术，并在此基础上

随机推荐