草庐IT

至少8篇顶会!英伟达LLM研究科学家岗位门槛狂卷,震惊前谷歌大脑科学家

机器学习领域的童鞋求职有多卷?英伟达大模型研究科学家毕业生要求,最低8篇顶会论文。一位华人研究员近来想申请英伟达工作,没想到岗位要求直接让她傻了眼。她表示,「这难道是对机器学习专业应届毕业生的『低』要求吗?」没想到,这个帖子瞬间引爆舆论。就连前谷歌大脑、StabilityAI的前高管DavidHa为之震惊。2023年大学毕业新生要求:「在知名会议(如CVPR、IEEE、NeurIPS等)上发表至少8篇论文」。可能事情发酵的太大了,英伟达也意识到了不对劲,立马删除了原职位的申请入口。有趣的是,没过多久,英伟达再次重发了关于这一职位申请的要求。现在的长这样:最近获得计算机科学/工程、电气工程等领域

为什么Python是数据科学家的首选语言

这篇文章全面探讨了Python作为数据科学领域首选语言的原因。从Python的历史、特性,到在数据科学中的应用实例,再到与其他数据科学语言的比较,以及在实际企业中的应用,我们深入剖析了Python的优势与挑战,最后对Python的未来进行了展望。引言在21世纪的数据时代,数据科学家是最令人艳羡的职业之一。他们使用各种工具和技术挖掘大量数据,从而帮助组织做出数据驱动的决策。在这些工具和技术中,Python语言以其易于学习、强大的功能和广泛的应用,已经成为了数据科学家的首选。Python和数据科学的关系Python是一种高级编程语言,由GuidovanRossum于1989年首次发布。这种语言的目

OpenAI科学家Karpathy周末造出「婴儿Llama2」!GPT-4辅助写500行纯C代码,速揽1.6k星

你有没有想过仅用C语言去推理一个Llama2的baby模型?没有?现在就能做到了!就在刚刚过去的这个周末,OpenAI科学家AndrejKarpathy做了一个非常有趣的项目——llama2.c。项目灵感正是来自于之前的明星项目——llama.cpp首先,在PyTorch中训练一个较小的Llama2模型。然后,用500行代码在纯C环境下进行推理,并且无需任何依赖项。最后得到的预训练模型(基于TinyStories),可以在MacBookAirM1CPU上用fp32以每秒18个token的速度生成故事样本。图片llama2.c一经发布,就在GitHub上速揽1.6k星,并且还在快速攀升中。图片项

给爆火的Llama 2划重点,Huggingface机器学习科学家写了篇分析文章

Meta发布的免费可商用版本Llama2刷屏整个网络。此前,Llama1版本因为开源协议问题,一直不可免费商用。现在,随着Llama2的发布,这一限制正式被打破。Llama2模型系列包含70亿、130亿和700亿三种模型,此外Meta还训练了一个340亿参数变体,但并没有发布,只在技术报告中提到了。发布之初,Llama-2-70B-Chat迅速登顶HuggingFace的OpenLLMLeaderboard。图片可以说,Llama2是Llama1模型的延续,不论是在数据质量、训练技术、性能评估、安全训练等方面都进行了实质性的技术扩展。Meta的这一发布,对于开源来说是一个巨大的飞跃,但对于闭源

能胜任统计学家?Transformers超强学习机制「自动算法选择」

ChatGPT等基于Transformer的大语言模型具备极强的在上下文中学习(In-ContextLearning,ICL)的能力:输入少量示例样本,即能够正确回答同类问题。如何理解这种ICL能力?本文作者实验发现并证明一种ICL的新机制:自动算法选择,可以允许单一Transformer模型在不同输入数据上选择执行完全不同的,适合该数据的学习算法,类似统计与机器学习专家能够现实完成的工作。基于量化的Transformer构造,文章一并给出Transformer实现ICL的一套全面的统计理论,包含近似精度,预测表现,以及预训练的样本复杂度。图片论文地址:https://arxiv.org/ab

斯坦福博士独作!大模型训练速度再翻倍,还官宣加入明星创业公司当首席科学家

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。现有大语言模型的训练和推理速度,还能再快一点——快多少?2-4倍。各种大模型都在用的FlashAttention今天正式发布第2代并开源,所有Transformer架构的模型都可使用它来加速。图片一代方法去年6月发布,无需任何近似即可加速注意力并减少内存占用。现在,FlashAttention-2将它再度升级,使其核心注意力操作的速度再提高2倍,端到端训练Transformer时的速度再提高1.3倍,并可在英伟达A100上训练时实现72%的模型FLOP利用率(一般模型都在50%上下)。图片鉴于现在炼一个大语言模型的成本

MIT李巨教授组发布「贾维斯助手CRESt」:实验科学家秒变钢铁侠,全自动化实验+主动学习

人工智能以及自主实验目前主要由Python等语言编写,但并非所有实验科学工作者都擅长这类编程语言,在真实世界实验中的影响力还是比较有限。不过,基于OpenAI最近发布的ChatGPTAPI函数调用功能[1],现有的技术已经足够支撑打造一个曾经只能在钢铁侠电影中看到的贾维斯智能助手。图片近日,MIT李巨教授组开发了一个实验科学家的人工智能助手CRESt(CopilotforReal-worldExperimentalScientist),其后端是用ChatGPT作为核心串联起:1.真实世界的机械臂进行自动化实验2.本地或网上专业的材料数据库3.优化材料配方的主动学习算法视频地址:https://

MIT打造实验科学家的大模型助手,语音聊天就能开展实验

目前,人工智能以及自主实验室主要由Python等语言编写,然而,并非所有实验科学工作者都擅长使用这类编程语言,因而其在真实世界实验中的影响力还是比较有限。最近,基于OpenAI发布的ChatGPTAPI函数调用功能,打造一个曾经只能在钢铁侠电影中看到的贾维斯智能助手已成为了可能。近日,来自MIT李巨教授团队开发了一个专为实验科学家量身打造的人工智能助手CRESt(CopilotforReal-worldExperimentalScientist),后端是用ChatGPT作为核心串联起来的,其具有以下特点:(1)可以调用真实世界的机械臂进行自动化实验,(2)自主查找本地或网上专业的材料数据库,(

用5000字长文记录华为仓库服务GaussDB(DWS)上手过程【这次高斯不是数学家】

这篇操作流程可以好好实践!快速上手本篇博客记录和说明华为仓库GaussDB(DWS)的使用步骤,如果你未购买,可以点击下述链接,从沙箱进行体验。沙箱体验链接作为一个初学者,下图就是一个非常完整的学习流程,图示如下,关键词在图片后面进行说明:Gsql客户端(PC端安装,也叫作实验桌面)这里理解成一台云端电脑即可,点击之后,系统会自动初始化一个可操作的设备,简单理解就是一台在浏览器运行的服务器。使用uname-a查看设备系统信息,实验设备配置如下:这里也可以切换到实验拓扑图,即网页中间区域的两个图标。VPC虚拟私有云,即VirtualPrivateCloud虚拟私有云是我们在华为云上一块独立的,私

科学家利用 AI 识别热门歌曲,准确率高达 97%

6月21日消息,一项新研究表明,人工智能(AI)可以准确地识别出热门歌曲,这可能会威胁到音乐制作人和选秀节目评委的工作。加州克莱蒙特研究生大学的科学家们使用了神经网络——一种模仿人脑的AI技术,来分析听众对24首歌曲的神经生理反应。他们发现,通过测量少数几个志愿者的大脑活动,就可以预测数百万人是否会喜欢这些歌曲。他们的方法被称为“神经预测”,其准确率高达97%。这项研究的高级作者、该校教授保罗・扎克在媒体发布会上说:“通过将机器学习应用于神经生理数据,我们几乎可以完美地识别出热门歌曲。33个人的神经活动可以预测数百万人是否会听新歌,这非常令人惊讶。以前从未有过这样的准确率。”IT之家注意到,这