草庐IT

碾压Llama2!微软13亿参数phi-1.5,单个A100训练,刷新SOTA

模型越大,能力越强吗?然而,事实并非如此。近日,微软研究人员推出了一个模型phi-1.5,仅有13亿参数。论文地址:https://arxiv.org/pdf/2309.05463.pdf具体来说,在常识推理、语言技能,phi-1.5表现与其他模型相当。同时在多步推理上,远远超过其他大模型。phi-1.5展现出了许多大模型具备的能力,能够进行「一步一步地思考」,或者进行一些基本上下文学习。小模型,大用处当前,大模型的主要改进似乎主要与参数规模挂钩,最强大的模型接近万亿参数,训练的数据也需要万亿个token。那么,随着一个问题就来了:模型参数越大,性能就越高吗?这不仅仅是一个学术问题,回答这个问

首次去中心化抢劫?近2亿美元损失:跨链桥Nomad 被攻击事件分析

跨链互操作性协议Nomad桥经历了一场安全漏洞:黑客通过一系列交易拿走了桥内的1.9亿美元资金。Nomad允许在 Ethereum、Evmos、Milkomeda 与 Moonbeam之间转移代币。与其他在2022年已经变得很常见的漏洞不同,此次攻击中有数百个地址直接从桥接中收取代币。1事件起因是@spreekaway在推特上分享的一条推文,称大量的WBTC资产开始从跨链互操作性协议Nomad桥上撤离。随后加密KOL@0xfoobar也发推表示,Nomad桥正在被黑客攻击,WETH和WBTC正以每次百万美元的频次转出,合约中仍有1.26亿美元可能存在风险。提醒用户尽快提取资金。在接下来的几个小

【转载】百亿规模API网关服务Shepherd的设计与实现

插:前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。坚持不懈,越努力越幸运,大家一起学习鸭~~~以下文章来源于美团技术团队,作者充泽志洋李敏美团技术团队10000+工程师,如何支撑中国领先的生活服务电子商务平台?数亿消费者、数百万商户、2000多个行业、几千亿交易额背后是哪些技术在支撑?这里是美团、大众点评、美团外卖、美团配送、美团优选等技术团队的对外窗口。总第450篇2021年第020篇百亿规模API网关服务Shepherd的设计与实现在微服务架构下,服务拆分会让API的规模成倍增长,使用API网关来管理API逐渐成为一种趋势。美团统一API

20亿票房但不好看?Python分析《孤注一掷》豆瓣评论数据

前言环境使用Python3.8解释器Pycharm编辑器所需模块importparsel>>>pipinstallparselimportrequests>>>pipinstallrequestsimportcsv一.数据来源分析:明确需求:采集的网站是什么?https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score采集的数据是什么?评论相关数据抓包分析相关数据来源通过浏览器自带开发者工具进行抓包分析打开开发者工具:F12或者鼠标右键点击检查选择network刷新网页:让本网页的数据内容

马斯克斥资440亿美元入主推特:立马踢走CEO和CFO

雷递网 雷建平10月28日持续了半年的拉锯战后,全球首富、特斯拉CEO马斯克日前终于完成收购Twitter(推特)。新官上任三把火,马斯克入主Twitter后第一件事情,就是解雇TwitterCEO帕拉格·阿格拉瓦尔(ParagAgrawal)、CFO奈德·西格尔(NedSegal),及法律事务和政策主管维贾亚·加德(VijayaGadde)。ParagAgrawal和NedSegal在Twitter的旧金山总部被人护送出门,且不会再返回。马斯克认为这些高管曾误导过他。马斯克做的另一件事情是,带着特斯拉的工程师入驻Twitter,立刻进行代码评审。马斯克在社交媒体发文称:“thebirdisf

EMQX+阿里云飞天洛神云网络 NLB:MQTT 消息亿级并发、千万级吞吐性能达成

随着物联网技术的发展与各行业数字化进程的推进,全球物联网设备连接规模与日俱增。一个可靠高效的物联网系统需要具备高并发、大吞吐、低时延的数据处理能力,支撑海量物联网数据的接入与分析,从而进一步挖掘数据价值。于今年五月发布的EMQX5.0版本全球首个实现了单集群1亿并发连接支持,成为目前世界上最具扩展性的物联网MQTT消息服务器。基于EMQX这一强大的性能突破,近日,EMQ与阿里云旗下飞天洛神云网络展开合作,与NLB产品合作构建了新一代支持「亿级并发、千万级吞吐」的物联网消息服务系统。飞天洛神云网络打造的NLB网络型负载均衡NLB网络型负载均衡是阿里云飞天洛神云网络面向万物互联时代推出的全新一代高

60亿参数AI模型测试:Intel 2.4倍领先!唯一可替代NVIDIA

MLCommons官方公布针对60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的MLPerf推理v3.1的性能基准测试结果,IntelCPU处理器、AI加速器表现亮眼,在AI推理方面相当有竞争力。此前6月份披露的MLCommonsAI训练结果、HuggingFace性能基准测试成绩表明,IntelGaudi2AI加速器在先进的视觉语言模型上,表现完全可以超越NVIDIAH100股加速器,堪称可唯一替代NVIDIAH100/A100的可行方案,最新结果再次验证了这一点。GPT-J模型上,IntelGaudi2加速器的GPT-J-99、GPT-J-99.9服务器查询和离线样本的推理性能

70万预算从头开发千亿参数大模型,挑战成功

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。预算10万美元(约73万人民币),从头训练一个全新的千亿参数大模型。智源研究院与国内多所高校及南洋理工联合团队,挑战成功。要知道,当GPT-3的训练成本可是高达460万美元,近一些的Llama2据估算也大概是这个数。这个用10万美元训练出的大模型名叫FLM,拥有1010亿参数量,目前已经开源。得益于研究团队的新型训练策略,FLM只用了2.17%的花销,就达到了可以比肩GPT-3的效果,在开发社区引起不小关注。那么,FLM团队是如何把训练成本降低近50倍的呢?“成长策略”降低训练成本不管是租还是买,硬件的价格都摆在那动不

小米手机海外销量近1.4亿,或能说明小米OV为何不用鸿蒙了

鸿蒙系统由于华为手机的力推,在国内市场取得2亿多用户,与安卓和iOS形成三足鼎立之势,由此一些人士不断催促小米OV采用鸿蒙系统,然而小米手机在海外市场取得国产手机最辉煌的成绩,却说明小米OV暂时不应采用鸿蒙系统。华为手机曾在海外市场取得1.01亿出货量、海外出货量占比逼近五成,不过在2019年Q4由于谷歌不再给它授权GMS服务,导致它的海外手机出货量迅速下跌,无奈之下华为手机只好将重心转回国内市场。华为手机转回国内市场后,曾取得季度出货量暴涨近七成的成绩,在国内手机市场的份额一度逼近五成,更依靠国内市场的巨大出货量在2020年Q2击败三星取得全球手机市场第一名。伴随着华为手机在国内市场的出货量

百亿级数据 分库分表 后面怎么分页查询?

随着数据的日益增多,在架构上不得不分库分表,提高系统的读写速度,但是这种架构带来的问题也是很多,这篇文章就来讲一讲跨库/表分页查询的解决方案。架构背景笔者曾经做过大型的电商系统中的订单服务,在企业初期时业务量很少,单库单表基本扛得住,但是随着时间推移,数据量越来越多,订单服务在读写的性能上逐渐变差,架构组也尝试过各种优化方案,比如前面介绍过的:冷热分离、查询分离各种方案。虽说提升一些性能,但是在每日百万数据增长的情况下,也是杯水车薪。最终经过架构组的讨论,选择了分库分表;至于如何拆分,分片键如何选择等等细节不是本文重点,不再赘述。在分库分表之前先来拆解一下业务需求:C端用户需要查询自己所有的订