草庐IT

LeCun转赞:在苹果M1/M2芯片上跑LLaMA!130亿参数模型仅需4GB内存

前不久,Meta前脚发布完开源大语言模型LLaMA,后脚就被网友放出了无门槛下载链接,「惨遭」开放。消息一出,圈内瞬间就热闹了起来,大家纷纷开始下载测试。但那些手头没有顶级显卡的朋友们,就只能望模型兴叹了。不过,问题不大。GeorgiGerganov在最近做了一个名为「llama.cpp」的项目——没有GPU也能跑LLaMA。项目地址:https://github.com/ggerganov/llama.cpp是的,这也包括搭载了苹果芯片的Mac。并且还获得了LeCun的转发支持。在M1/M2的Mac上跑LLaMA目前来说,比较全面的教程有两个,分别基于苹果的M1和M2处理器。第一篇:http