大语言模型是世界模型，又添新证据！前不久，MIT和东北大学的两位学者发现，在大语言模型内部有一个世界模型，能够理解空间和时间。最近他们又有了新发现，LLM还可以区分语句的真假！图片论文地址：https://arxiv.org/abs/2310.06824第0层时，「芝加哥在马达加斯加」和「北京在中国」这两句话还混在一起。随着层数越来越高，大模型可越来越清晰地区分出，前者为假，后者为真。图片作者MIT教授MaxTegmark表示，恕我直言，这个证据表明，LLM绝不仅仅是大家炒作的「随机鹦鹉」，它的确理解自己在说什么！图片网友再次对这项工作表示震惊——人类的LLM显微镜越来越强大了！现在都能用特征

一、前言：目前，大模型的一个热门应用方向text2sql它可以帮助用户快速生成想要查询的SQL语句。那对于用户来说，大部分简单的sql都是正确的，但对于一些复杂逻辑来说，需要用户在产出SQL的基础上进行简单修改，Text2SQL应用主要还是帮助用户去解决开发时间，减少开发成本。TexttoSQL：简称Text2SQl，是将自然语言文本（Text）转换成结构化查询语言SQL的过程，属于自然语言处理-语义分析（SemanticParsing）领域中的子任务。它的目的可以简单概括为：“打破人与结构化数据之间的壁垒”，即普通用户可以通过自然语言描述完成复杂数据库的查询工作，得到想要的结果。二、背景应用

到底什么才是LLM长上下文模型的终极解决方案？最近由普林斯顿大学和MetaAI的研究者提出了一种解决方案，将LLM视为一个交互式智能体，让它决定如何通过迭代提示来读取文本。论文地址：https://arxiv.org/abs/2310.05029他们设计了一种名为MemWalker的系统，可以将长上下文处理成一个摘要节点树。收到查询时，模型可以检索这个节点树来寻找相关信息，并在收集到足够信息后做出回应。在长文本问答任务中，这个方法明显优于使用长上下文窗口、递归和检索的基线方法。LeCun也在推上转发对他们的研究表示了支持。MemWalker主要由两个部分构成：首先需要构建记忆树：对长文本进行切

此情可待成追忆，只是当时已惘然。我们人类会有很多或美好或痛苦的回忆，有的回忆会渐渐模糊，有的回忆午夜梦醒，会浮上心头。然而现在的大语言模型都是没有记忆的，都是无状态的，大语言模型自身不会记住和你对话之间的历史消息。根本用不着“时时勤拂拭”，天然就是“本来无一物”。每一次的请求交互、api调用都是独立的，完全没有关联。那些聊天机器人看起来有记忆，是因为借助代码的帮助，提供历史消息作为和LLM对话的上下文。嗯，就跟我们大脑不太够用了，要拿小本本或者打开Obsidian/Notion/语雀……来查找一样。（你去拜访某些单位，还可以看到前台拿着一本已经翻到包浆的小本子来查电话。）所以，现在的大语言模型

虽然大型语言模型（LLM）在文本分析和生成任务上的性能非常强大，但在面对包含数字的问题时，比如多位数乘法，由于模型内部缺乏统一且完善的数字分词机制，会导致LLM无法理解数字的语义，从而胡编乱造答案。目前LLM还没有广泛应用于科学领域数据分析的一大阻碍就是数字编码问题。最近，熨斗研究所（FlatironInstitute）、劳伦斯伯克利国家实验室、剑桥大学、纽约大学、普林斯顿大学等九个研究机构联合发布了一个全新的数字编码方案xVal，只需一个token即可对所有数字进行编码。论文链接：https://arxiv.org/pdf/2310.02989.pdfxVal通过将专用token（[NUM]

这两天，FlashAttention团队推出了新作：一种给Transformer架构大模型推理加速的新方法，最高可提速8倍。该方法尤其造福于长上下文LLM，在64k长度的CodeLlama-34B上通过了验证。甚至得到了PyTorch官方认可：如果你之前有所关注，就会记得用FlashAttention给大模型加速效果真的很惊艳。不过它仅限于训练阶段。因此，这一新成果一出，就有网友表示：等推理加速等了好久，终于来了。据介绍，这个新方法也是在FlashAttention的基础之上衍生而出，主要思想也不复杂：用并行操作尽快加载Key和Value缓存，然后分别重新缩放再合并结果，最终获得推理速度上的大

近年来，大语言模型（LLM）及其底层的transformer架构已经成为了对话式AI的基石，并催生了广泛的消费级和企业应用程序。尽管有了长足的进步，但LLM使用的固定长度的上下文窗口极大地限制了对长对话或长文档推理的适用性。即使是使用最广泛的开源LLM，它们的最大输入长度只允许支持几十条消息回复或短文档推理。与此同时，受限于transformer架构的自注意力机构，简单地扩展transformer的上下文长度也会导致计算时间和内存成本成倍增加，这就使得全新的长上下文架构成为紧迫的研究课题。不过，即使我们能够克服上下文缩放的计算挑战，但最近的研究却表明，长上下文模型很难有效地利用额外的上下文。这

目录1.大模型语言模型(LLM)的概述2.AI大模型+软件开发新工序的意义

10月18日消息，英伟达是硬件领域的生成型人工智能之王，该公司的GPU为微软、OpenAI等公司的数据中心提供动力，运行着BingChat、ChatGPT等人工智能服务。今天，英伟达宣布了一款新的软件工具，旨在提升大型语言模型（LLM）在本地WindowsPC上的性能。在一篇博客文章中，英伟达宣布了其TensorRT-LLM开源库，这个库之前是为数据中心发布的，现在也可以用于WindowsPC。最大的特点是，如果WindowsPC配备英伟达GeForceRTXGPU，TensorRT-LLM可以让LLM在WindowsPC上的运行速度提高四倍。英伟达在文章中介绍了TensorRT-LLM对开发

我有一些文字，我必须能够在其中放置图片。我想要三个不同的图片位置：中心，左右。我的照片有标题。我用float:right;和float:left;，但是我的问题是将标题保留在图像区域内，而不是将其放在中心的地方margin-right:auto;和margin-left:auto;我必须保留HTML，我更喜欢避免JS。JSFIDDLE:https://jsfiddle.net/marionleherisson/zbozmamh/4/摘要：figure{position:relative;display:block;}.center{margin-left:auto;margin-right:a