草庐IT

涵盖500多项研究、50多个模型,代码大模型综述来了

随着BERT和GPT等预训练Transformer的出现,语言建模近些年来取得了显著进步。随着大型语言模型(LLM)的规模扩展至数以千万计的参数数量,LLM开始展现出通用人工智能的迹象,它们的应用也已经不局限于文本处理。Codex首次展现出了LLM在代码处理方面的出色能力,之后更是出现了GitHubCopilot这样的商业产品以及StarCoder和CodeLLaMA等开源代码模型。但是,预训练Transformer在代码处理方面的应用可以追溯到仅解码器(decoder-only)自回归模型成为主流技术之前的时期,而这一领域还尚没有一篇完整的综述。上海交通大学和蚂蚁集团的一个研究团队填补了这一

互联网新时代要来了(二)什么是AIGC?

什么是AIGC?最近,又火了一个词“**AIGC”**2022年被称为是AIGC元年。那么我们敬请期待,AIGC为我们迎接人工智能的下一个时代。TIPS:内容来自百度百科、知乎、腾讯、《AIGC白皮书》等网页什么是AIGC?1.什么是AIGC?2.AIGC发展趋势3.AIGC技术4.AIGC有哪些应用价值?5.AIGC给我们带来的改变6.AIGC面临的挑战1.什么是AIGC?AIGC即AIGeneratedContent,利用人工智能技术来生成内容,它被认为是继PGC、UGC之后的新型内容创作方式。AI绘画、AI写作等都属于AIGC的分支。2022年AIGC高速发展,这其中深度学习模型不断完善

公司来了个大牛:短短改了几行代码,接口吞吐量提升了 10 倍。。

作者:FishBones链接:https://juejin.cn/post/7185479136599769125背景公司的一个ToB系统,因为客户使用的也不多,没啥并发要求,就一直没有经过压测。这两天来了一个“大客户”,对并发量提出了要求:核心接口与几个重点使用场景单节点吞吐量要满足最低500/s的要求。当时一想,500/s吞吐量还不简单。Tomcat按照100个线程,那就是单线程1S内处理5个请求,200ms处理一个请求即可。这个没有问题,平时接口响应时间大部分都100ms左右,还不是分分钟满足的事情。然而压测一开,100的并发,吞吐量居然只有50...而且再一查,100的并发,CPU使用

GPT-4V在自动驾驶上应用前景如何?面向真实场景的全面测评来了

GPT-4V的发布让许多计算机视觉(CV)应用看到了新的可能。一些研究人员开始探索GPT-4V的实际应用潜力。最近,一篇题为《OntheRoadwithGPT-4V(ision):EarlyExplorationsofVisual-LanguageModelonAutonomousDriving》的论文针对自动驾驶场景对GPT-4V的能力进行了难度递增的测试,从情景理解到推理,再到作为真实场景驾驶员的连续判断和决策。论文地址:https://arxiv.org/pdf/2311.05332.pdf具体来说,论文对GPT-4V在自动驾驶领域的探索主要集中在以下几个方面:1、情景理解:该测试旨在评

2022年PMP最新报名流程来了! PMP考生看过来!

PMP考试是由美国项目管理协会发起的项目管理专业人士资格认证考试,在中国国内由中国国际人才交流基金会举办考试,考生在报名参加PMP考试前,需要了解PMP考试报名流程,熟悉报名过程,下面为大家详细介绍2022年PMP考试报名流程,供大家参考。一、账号注册在浏览器地址栏输入中文网站地址:进入网站后点击右上角【注册】按钮根据要求填写注册信息,成功注册后,点击“请先完善个人基本信息”会跳转如下界面。①姓(中文):单独输入中文姓。②名(中文):单独输入中文名。③姓(拼音):系统根据姓(中文)自动生成,若系统生成有误可手动修改。④名(拼音):系统根据姓(中文)自动生成,若系统生成有误可手动修改。⑤中间名(

解决LLaMA、BERT等部署难题:首个4-bit浮点量化LLM来了

大语言模型(LLM)压缩一直备受关注,后训练量化(Post-trainingQuantization) 是其中一种常用算法,但是现有PTQ方法大多数都是integer量化,且当比特数低于8时,量化后模型的准确率会下降非常多。想较于Integer(INT)量化,FloatingPoint(FP)量化能更好的表示长尾分布,因而越来越多的硬件平台开始支持FP量化。而这篇文章给出了大模型FP量化的解决方案。文章发表在EMNLP2023上。论文地址:https://arxiv.org/abs/2310.16836代码地址:https://github.com/nbasyl/LLM-FP4要了解本文,必须

Redis如何实现分页+多条件模糊查询?答案来了

导言Redis是一个高效的内存数据库,它支持包括String、List、Set、SortedSet和Hash等数据类型的存储,在Redis中通常根据数据的key查询其value值,Redis没有模糊条件查询,在面对一些需要分页、排序以及条件查询的场景时(如评论,时间线,检索等),只凭借Redis所提供的功能就不太好不处理了。本文不对Redis的特性做过多赘述。由于之前基于业务问题需要实现基于Redis的条件查询和分页功能,在百度上查询了不少文章,基本不是只有分页功能就是只有条件查询功能的实现,缺少两者组合的解决方案。因此,本文将基于Redis提供条件查询+分页的技术解决方案。注:本文只提供实现

千元机终于来了,华为鸿蒙或再次起飞

近期华为推出的Nova8SE大举降价,售价低至1699元,成为首款千元鸿蒙手机,这将成为华为鸿蒙系统发展的重大助力,可望推动鸿蒙系统用户数进一步飙升。此前据华为方面公布的数据,截至2021年底鸿蒙系统手机用户数已突破2亿,近期更已进一步增加至2.4亿,这主要是依靠华为手机的存量用户发展起来的。依托于现有的华为手机用户数,鸿蒙系统半年多时间就积累起如此巨量的用户,由此它也成为史上发展最快的手机操作系统,形成了与安卓和iOS三足鼎立之势。然而到了这个阶段,继续依托于华为手机存量用户发展鸿蒙系统终将达到天花板,毕竟不少华为手机用户手里的手机已经使用了4-5年时间,这几乎已是手机的极限,为了延长这些手

TypeScript 5.3 来了,一大波新特性~

根据TypeScript路线图,TypeScript5.3 计划于11月14日发布。下面是该版本带来的新特性:导入属性导入类型中稳定支持 resolution-mode所有模块模式均支持 resolution-modeswitch(true) 缩小范围对布尔值进行比较的缩小范围通过 Symbol.hasInstance 进行 instanceof 类型缩小实例字段上的 super 属性访问检查嵌入提示支持跳转到类型的定义通过跳过JSDoc解析进行优化通过比较非标准交集进行优化整合tsserverlibrary.js和typescript.js导入属性TypeScript5.3支持导入属性提案的

不是LlaMa套壳!李开复麾下大模型陷套壳争议,团队二次回应来了!

整理丨诺亚、小欧出品|51CTO技术栈(微信号:blog51cto)昨天科技圈社区HackerNews突然出现一则消息,矛头直指不久前发布的大模型Yi-34B,认为其除了两个张量被重新命名外,完全使用了Llama的架构。图片而根据公开信息,Yi系列开源大模型没有在开源License中提及Llama。虽然原贴评论寥寥,但还是引起了部分关注。毕竟“Yi”才发布不久,而且备受期待。今年3月,李开复在朋友圈发英雄帖,官宣组建零一万物团队。仅仅7个月后,零一万物就发布了开源中英双语大模型“Yi”。据有关资料显示,在获得创新工场、阿里云和其他未披露投资者的融资后,零一万物的估值已超过10亿美元。更令人瞩目