草庐IT

微软斯坦福新算法,杜绝AI灭绝人类风险!GPT-4自我迭代,过程可控可解释

「递归自我进化AI统治人类」问题有解了?!许多AI大佬都将开发能自我迭代的大模型看作是人类开启自我毁灭之路的「捷径」。DeepMind联合创始人曾表示:能够自主进化的AI具有非常巨大的潜在风险因为如果大模型能通过自主改进自己的权重和框架,不断自我提升能力,不但模型的可解释性无从谈起,而且人类将完全无法预料和控制模型的输出。如果放手让大模型「自主自我进化」下去,模型可能会不断输出有害内容,而且如果未来能力进化得过于强大,可能反过来控制人类!而最近,微软和斯坦福的研究人员开发出一种新的系统,能够让模型不改变权重和框架,只针对目标任务进行自我迭代改进,也能自我改进输出质量。更重要的是,这个系统能大大

评估巴基斯坦的网络安全格局

本文首发微信公众号网络研究院,关注获取更多。巴基斯坦网络安全政策制定的历史可以追溯到2000年代初期,当时通过了2002年《电子交易条例》(ETO),主要涉及在国家和国际层面保护巴基斯坦的电子商务。2007年,联邦调查局(FIA)成立了国家网络犯罪响应中心(NR3C),负责调查和预防该国的网络犯罪。巴基斯坦政府于2014年启动了打击恐怖主义和极端主义的国家行动计划(NAP),其中包括加强该国网络安全的条款。随后,《预防电子犯罪法》(PECA)获得通过2016年国民议会通过了该法案。该法案引入了起诉网络犯罪的条款,包括黑客攻击、未经授权的数据访问和网络恐怖主义。除此之外,一项值得注意的举措是于2

LLM吞吐量提高2-4倍,模型越大效果越好!UC伯克利、斯坦福等开源高效内存管理机制PagedAttention

虽然大型语言模型(LLM)的性能表现足够惊艳,但每次接收用户请求时都需要耗费大量显存和计算资源,一旦请求数量超出预期,就极有可能面临ChatGPT刚发布时的宕机、排队、高延迟等窘境。想要打造一个高吞吐量的LLM服务,就需要模型在一个批次内处理尽可能多的请求,不过现有的系统大多在每次处理请求时申请大量的key-value(KV)缓存,如果管理效率不高,大量内存都会在碎片和冗余复制中被浪费掉,限制了batchsize的增长。最近,来自加州大学伯克利分校、斯坦福大学、加州大学圣迭戈分校的研究人员基于操作系统中经典的虚拟内存和分页技术,提出了一个新的注意力算法PagedAttention,并打造了一个

PoseiSwap 参赛,参与斯坦福、Nautilus Chain等联合主办的 Hackathon 活动

近日,由StanfordBlockchainAccelerator、ZebecProtocol、NautilusChain、RootzLab共同主办的“BoundlessHackathon@Stanford”主题的黑客松活动,目前已接受报名。该活动旨在帮助更多的优质开发者参与到Web3世界的发展中,推动链上设施的创新与应用,优胜项目,将得到资金(总奖池规模$50K)、资源等生态扶持。我们看到,本次黑客松活动由斯坦福大学作为主办方之一,与此同时本次黑客松也由DoraHacks提供技术支持,DoraHacks是黑客松活动早期发展的鼻祖生态,这意味着本次活动其整体的规格较高。而PoseiSwap作为

2022-06-15 斯坦福大学计算机公开课资源

①CS103计算的数学基础计算能力的理论极限是什么?计算机能解决哪些问题?哪些不能?我们如何以数学上的确定性来推理这些问题的答案?本课程探讨这些问题的答案,并作为离散数学、可计算性理论和复杂性理论的介绍。课程完成后,学生将能够轻松编写数学证明、推理离散结构、阅读和编写一阶逻辑语句,以及使用计算设备的数学模型。学习地址:https://cs61c.org/sp22/②CS106a编程方法计算机应用工程简介,强调现代软件工程原理:程序设计、分解、封装、抽象和测试。重点是良好的编程风格和各自语言的内置设施。使用Python编程语言。学习地址: https://web.stanford.edu/cla

斯坦福大学研究发现,AI 聊天机器人 ChatGPT 的表现很不稳定

9月7日消息,斯坦福大学的一项新研究发现,热门生成式人工智能(AI)聊天机器人ChatGPT的能力在几个月内有所波动。斯坦福大学的团队评估了ChatGPT在几个月内如何处理不同的任务。他们发现,ChatGPT的能力随时间的推移而出现了不一致。目前,ChatGPT有两个版本——免费的GPT-3.5模型和更智能、更快速的付费GPT-4版本。 研究人员发现,GPT-4在3月份能够有效地解决数学问题,识别质数的准确率为97.6%。三个月后,其准确率下降到了2.4%。而另一方面,GPT-3.5却变得更好,从7.4%的准确率提高到了86.8%。研究人员还注意到,在编写代码和视觉推理方面也有类似的波动。斯坦

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。防止大模型作恶的新法子来了!这下即使模型开源了,想恶意使用模型的人也很难让大模型“作恶”。不信就来看这项研究。斯坦福研究人员最近提出了一种新方法对大模型使用附加机制进行训练后,可以阻止它对有害任务的适应。他们把通过此方法训练出的模型称为“自毁模型”。自毁模型仍然能够高性能地处理有益任务,但在面对有害任务的时候会神奇地“变差”。目前该论文已被AAAI接收,并获得了最佳学生论文奖荣誉提名。先模拟,再毁掉越来越多大模型开源,让更多人可以参与到模型的研发和优化中,开发模型对社会有益的用途。然而,模型开源也同样意味着恶意使用大模

NLP七十年!斯坦福教授Manning长文梳理:十年后的基础模型能成AGI吗?

过去十年间,仅靠简单的神经网络计算,以及大规模的训练数据支持,自然语言处理领域取得了相当大的突破,由此训练得到的预训练语言模型,如BERT、GPT-3等模型都提供了强大的通用语言理解、生成和推理能力。前段时间,斯坦福大学大学教授ChristopherD.Manning在Daedalus期刊上发表了一篇关于「人类语言理解和推理」的论文,主要梳理自然语言处理的发展历史,并分析了基础模型的未来发展前景。论文链接:https://direct.mit.edu/daed/article/151/2/127/110621/Human-Language-Understanding-amp-Reasoning

java - OpenNLP 与斯坦福 CoreNLP

我一直在对这两个包进行一些比较,但不确定该往哪个方向发展。我正在寻找的简要内容是:命名实体识别(人、地点、组织等)。性别识别。一个不错的培训API。据我所知,OpenNLP和StanfordCoreNLP具有非常相似的功能。然而,StanfordCoreNLP看起来有更多的Activity,而OpenNLP在过去六个月中只有少数提交。根据我所看到的,OpenNLP似乎更容易训练新模型,并且可能仅仅因为这个原因就更具吸引力。但是,我的问题是其他人会从什么开始作为将NLP功能添加到Java应用程序的基础?我最担心的是OpenNLP是“刚刚成熟”还是半废弃。 最佳