GPT-4和LLaMA这样的大型语言模型（LLMs）已在各个层次上成为了集成AI的主流服务应用。从常规聊天模型到文档摘要，从自动驾驶到各个软件中的Copilot功能，这些模型的部署和服务需求正在迅速增加。像DeepSpeed、PyTorch和其他几个框架可以在LLM训练期间实现良好的硬件利用率，但它们在与用户互动及处理开放式文本生成等任务时，受限于这些操作的计算密集度相对较低，现有系统往往在推理吞吐量上遇到瓶颈。为了解决这一问题，使用类似vLLM这样由PagedAttention驱动的框架或是Orca系统可以显著提高LLM推理的性能。然而，这些系统在面对长提示的工作负载时，依旧难以提供良好的服
今年八月，两篇背靠背《自然》文章展示了脑机接口在语言恢复方面的强大能力，单现有的语言脑机接口技术多是为「英文等字母语言」体系构建而成，针对「汉字等非字母体系」的语言脑机接口系统研究仍是空白。最近，先进神经芯片中心默罕默德·萨万教授团队，自然语言处理实验室张岳教授团队和朱君明教授团队联合发布了他们最新的研究结果，实现了脑机接口全谱汉语解码，一定程度弥补了国际上汉语解码脑机接口技术的空白。图片论文地址：https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1此项研究通过立体定向脑电技术（SEEG）采集所有普通话汉字发音过程对应的大脑内神
人类社会是一个复杂的多智能体系统，其中每个个体都有自己的目标、行为、信念和偏好，同时也需要与其他个体进行协作和竞争，以实现共同的利益或解决共同的问题。在这个过程中，人类不仅需要根据环境的变化和任务的需求来调整自己的策略和角色，还需要考虑其他个体的意图和行为，以及人类的伦理和法律的约束。这些都是人类智能的重要表现之一。随着人工智能(AI)的发展，越来越多的AI系统被应用于各种领域，如游戏、机器人、交通、医疗、教育、军事等。这些AI系统往往不是孤立的，而是需要与其他AI系统或人类进行交互和协作，形成一个多智能体系统(Multi-AgentSystem,MAS)。例如，在一个智能交通系统中，每辆车都
OpenAI在九月份为ChatGPT添加了图像输入功能，允许用户使用上传一张或多张图像配合进行对话，这一新兴功能的背后是一个被OpenAI称为GPT4-Vision的多模态（vision-language）大模型。鉴于OpenAI对「闭源」的坚持，多模态开源社区如雨后春笋般涌出了众多优秀的多模态大模型研究成果，例如两大代表作MiniGPT4和LLaVA已经向用户们展示了多模态对话和推理的无限可能性。在多模态大模型（LargeMulti-modalModels）领域，高效的模态对齐（modalityalignment）是至关重要的，但现有工作中模态对齐的效果却往往受制于缺少大规模的高质量的「图像
虽然大多数组织都做好了面对小规模中断的准备，但他们不能仅仅因为更大、更复杂的危机似乎不太可能发生而忽视它。IT团队准备应对的典型中断是常见事件，例如磁盘故障或断电。但是，企业必须解决更多IT灾难场景才能得到充分保护。许多IT灾难的根源通常是负责恢复的人员没有考虑硬件故障或意外或恶意丢失数据以外的任何事情。遗憾的是，威胁和场景总是在不断变化，因此灾难恢复计划也必须这样做。有许多形式的灾难会影响IT服务的可用性，有些灾难可能比其他组织更与单个组织相关。评估哪些风险最有可能威胁到公司的基础设施和服务是一个谨慎的举动。风险评估矩阵是一种工具，可以帮助确定灾难发生的可能性及其严重程度。以下是灾难恢复团队
随着大模型等人工智能技术的突破与发展，算法复杂度剧增，对传统计算芯片带来了算力和功耗的双重挑战。近年来，以光计算为基础、通过光电融合的方式构建光电神经网络的计算处理方法已经成为国际热点研究问题，有望实现计算性能的颠覆性提升。然而，光电神经网络的前向数学模型由对光场的精准物理建模得到，计算复杂度高、参数冗余度大；其学习机制沿用人工神经网络常用的梯度下降算法，面向大规模光电神经网络时优化速度慢、资源消耗高、收敛效果差。因此，现有学习架构仅能支撑小规模光电神经网络的训练，其网络容量和特征捕获能力不足以有效处理ImageNet等大型复杂数据集。近日，清华大学电子工程系方璐副教授课题组提出了面向大规模光
想知道《清明上河图》里面有多少头骆驼吗？来看看这个支持超高清输入的多模态模型吧。最近，来自南洋理工的华人团队基于Fuyu-8B打造出了80亿参数的多模态大模型OtterHD。论文地址：https://arxiv.org/abs/2311.04219与受限于固定尺寸视觉编码器的传统模型不同，OtterHD-8B具有处理灵活输入尺寸的能力，确保了其在各种推理需求下的通用性。同时，团队还提出了一个全新的基准测试MagnifierBench，可以细致地评测LLM辨别大尺寸图像中物体的微小细节和空间关系的能力。结果显示，OtterHD-8B的表现，尤其是在直接处理高分辨率输入时，远远优于同类模型。效果演
OVD技术简介 目标检测是计算机视觉领域中的一项核心任务，其主要目标是让计算机能够自动识别图片中目标的类别，并准确标示每个目标的位置。目前，主流的目标检测方法主要针对闭集目标的开发，即在任务开始之前需要对待检测目标进行类别定义，并进行人工数据标注，通过有监督模型的训练来实现目标检测。这种方法通常适用于待检测目标数量较少的情况，一般限定在几十个类别以内。然而，当待检测目标的类别数量增加到几千甚至万级时，以上述方式进行数据标注已经无法满足需求。同时，已经训练好的模型也无法应对新出现的类别。当新的类别出现时，需要手动进行标注并重新训练模型，整体效率较低。开放词集目标检测（OpenVocabulary
1协作文档编辑服务的设计方式1.1 C/S架构的集中式设施为所有用户提供文档编辑服务。所有用户都连接到一个中心服务器，该服务器负责存储和处理文档数据，用户通过连接到该服务器来协作编辑文档。提供更好的安全性和可控性，但有单点故障问题1.2点对点技术设计以便在单个文档上协作。将文档数据分散存储在多个用户设备，每个用户都可直接编辑文档并将更改同步到其他用户设备。提供更好灵活性和可扩展性，但可能会有数据同步不及时或数据冲突问题大多数商业方案侧重C/S架构，以实现更精细控制。因此，本文也使用C/S架构设计服务。2需求2.1功能性①文档协作多用户能同时编辑文档。大量用户应能查看文档。②冲突解决系统应将一个
RNA3D结构预测是一个长期存在的挑战。受最近蛋白质结构预测领域突破的启发，南开大学、山东大学以及北京理工大学的研究团队开发了trRosettaRNA，这是一种基于深度学习的自动化RNA3D结构预测方法。trRosettaRNA流程包括两个主要步骤：通过transformer网络进行1D和2D几何形状预测；以及通过能量最小化进行的3D结构折叠。基准测试表明trRosettaRNA优于传统的自动化方法。在CASP15和RNA-Puzzles实验的盲测中，对天然RNA的自动trRosettaRNA预测与人类的顶级预测具有竞争力。当通过均方根偏差的Z分数进行测量时，trRosettaRNA的性能也优
