就在几个月前，ChatGPT和其他基于大型语言模型（LLM）的聊天机器人还很新奇。普通用户喜欢用它们以著名艺术家的风格创作诗歌和歌词；研究人员激烈讨论着要炸毁数据中心，以防止超级人工智能发动世界末日；而安全专家则成功绕过聊天机器人的安全控制机制，给它们发布窃听电话和劫车的指令。时至今日，许多人已经在工作中严重依赖ChatGPT，以至于每当服务宕机，用户就会在社交网络上抱怨“又要用脑了”。这项技术正变得司空见惯，但它无法跟上人们日益增长的需求，这导致人们经常抱怨称，“聊天机器人正逐渐变得越来越笨”。根据ChatGPT查询数据在GoogleTrends中的受欢迎程度，我们可以几乎肯定地得出结论：人
「任何认为自动回归式LLM已经接近人类水平的AI，或者仅仅需要扩大规模就能达到人类水平的人，都必须读一读这个。AR-LLM的推理和规划能力非常有限，要解决这个问题，并不是把它们变大、用更多数据进行训练就能解决的。」一直以来，图灵奖得主YannLeCun就是LLM的「质疑者」，而自回归模型是GPT系列LLM模型所依赖的学习范式。他不止一次公开表达过对自回归和LLM的批评，并产出了不少金句，比如：「从现在起5年内，没有哪个头脑正常的人会使用自回归模型。」「自回归生成模型弱爆了！（Auto-RegressiveGenerativeModelssuck!）」「LLM对世界的理解非常肤浅。」让LeCun
继火爆全网的AI文生图，文生视频之后，文生3D场景的技术也来了！只要不到30个字的提示词，瞬间就能生成这样的3D场景。场景效果和文字的要求几乎分毫不差——「平静如玻璃的湖面，倒映出无云的天空，周围的山和水鸟的倒影呈现在湖中。」「烈日照耀在无垠的沙漠之上，倔强生长的植物投下了明显的阴影。大风把小沙丘雕刻成一片金色的土地。」而且针对生成的场景，还支持对不同的元素进行连续地修改和编辑！网友看到效果之后惊呼，「我一辈子就在等这一刻了！」研究团队计划在论文被接受后就在Github上公布项目的代码，但是在代码还未公布之时，这个项目就已经获得141颗星！这个项目是由澳国立、牛津和智源研究院的科研人员开发的「
大语言模型是世界模型，又添新证据！前不久，MIT和东北大学的两位学者发现，在大语言模型内部有一个世界模型，能够理解空间和时间。最近他们又有了新发现，LLM还可以区分语句的真假！图片论文地址：https://arxiv.org/abs/2310.06824第0层时，「芝加哥在马达加斯加」和「北京在中国」这两句话还混在一起。随着层数越来越高，大模型可越来越清晰地区分出，前者为假，后者为真。图片作者MIT教授MaxTegmark表示，恕我直言，这个证据表明，LLM绝不仅仅是大家炒作的「随机鹦鹉」，它的确理解自己在说什么！图片网友再次对这项工作表示震惊——人类的LLM显微镜越来越强大了！现在都能用特征
一、前言：目前，大模型的一个热门应用方向text2sql它可以帮助用户快速生成想要查询的SQL语句。那对于用户来说，大部分简单的sql都是正确的，但对于一些复杂逻辑来说，需要用户在产出SQL的基础上进行简单修改，Text2SQL应用主要还是帮助用户去解决开发时间，减少开发成本。TexttoSQL：简称Text2SQl，是将自然语言文本（Text）转换成结构化查询语言SQL的过程，属于自然语言处理-语义分析（SemanticParsing）领域中的子任务。它的目的可以简单概括为：“打破人与结构化数据之间的壁垒”，即普通用户可以通过自然语言描述完成复杂数据库的查询工作，得到想要的结果。二、背景应用
到底什么才是LLM长上下文模型的终极解决方案？最近由普林斯顿大学和MetaAI的研究者提出了一种解决方案，将LLM视为一个交互式智能体，让它决定如何通过迭代提示来读取文本。论文地址：https://arxiv.org/abs/2310.05029他们设计了一种名为MemWalker的系统，可以将长上下文处理成一个摘要节点树。收到查询时，模型可以检索这个节点树来寻找相关信息，并在收集到足够信息后做出回应。在长文本问答任务中，这个方法明显优于使用长上下文窗口、递归和检索的基线方法。LeCun也在推上转发对他们的研究表示了支持。MemWalker主要由两个部分构成：首先需要构建记忆树：对长文本进行切
此情可待成追忆，只是当时已惘然。我们人类会有很多或美好或痛苦的回忆，有的回忆会渐渐模糊，有的回忆午夜梦醒，会浮上心头。然而现在的大语言模型都是没有记忆的，都是无状态的，大语言模型自身不会记住和你对话之间的历史消息。根本用不着“时时勤拂拭”，天然就是“本来无一物”。每一次的请求交互、api调用都是独立的，完全没有关联。那些聊天机器人看起来有记忆，是因为借助代码的帮助，提供历史消息作为和LLM对话的上下文。嗯，就跟我们大脑不太够用了，要拿小本本或者打开Obsidian/Notion/语雀……来查找一样。（你去拜访某些单位，还可以看到前台拿着一本已经翻到包浆的小本子来查电话。）所以，现在的大语言模型
虽然大型语言模型（LLM）在文本分析和生成任务上的性能非常强大，但在面对包含数字的问题时，比如多位数乘法，由于模型内部缺乏统一且完善的数字分词机制，会导致LLM无法理解数字的语义，从而胡编乱造答案。目前LLM还没有广泛应用于科学领域数据分析的一大阻碍就是数字编码问题。最近，熨斗研究所（FlatironInstitute）、劳伦斯伯克利国家实验室、剑桥大学、纽约大学、普林斯顿大学等九个研究机构联合发布了一个全新的数字编码方案xVal，只需一个token即可对所有数字进行编码。论文链接：https://arxiv.org/pdf/2310.02989.pdfxVal通过将专用token（[NUM]
这两天，FlashAttention团队推出了新作：一种给Transformer架构大模型推理加速的新方法，最高可提速8倍。该方法尤其造福于长上下文LLM，在64k长度的CodeLlama-34B上通过了验证。甚至得到了PyTorch官方认可：如果你之前有所关注，就会记得用FlashAttention给大模型加速效果真的很惊艳。不过它仅限于训练阶段。因此，这一新成果一出，就有网友表示：等推理加速等了好久，终于来了。据介绍，这个新方法也是在FlashAttention的基础之上衍生而出，主要思想也不复杂：用并行操作尽快加载Key和Value缓存，然后分别重新缩放再合并结果，最终获得推理速度上的大
近年来，大语言模型（LLM）及其底层的transformer架构已经成为了对话式AI的基石，并催生了广泛的消费级和企业应用程序。尽管有了长足的进步，但LLM使用的固定长度的上下文窗口极大地限制了对长对话或长文档推理的适用性。即使是使用最广泛的开源LLM，它们的最大输入长度只允许支持几十条消息回复或短文档推理。与此同时，受限于transformer架构的自注意力机构，简单地扩展transformer的上下文长度也会导致计算时间和内存成本成倍增加，这就使得全新的长上下文架构成为紧迫的研究课题。不过，即使我们能够克服上下文缩放的计算挑战，但最近的研究却表明，长上下文模型很难有效地利用额外的上下文。这
