草庐IT

清华、哈工大把大模型压缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

自从大模型火爆出圈以后,人们对压缩大模型的愿望从未消减。这是因为,虽然大模型在很多方面表现出优秀的能力,但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示,进而节省空间占用。目前,主流方法可以在几乎不损失模型性能的情况下把已有模型压缩至4bit。然而,低于3bit的量化像一堵不可逾越的高墙,让研究人员望而生畏。图1:量化模型的困惑度在2bit时迅速上升近期,一篇由清华大学、哈尔滨工业大学合作发表在arXiv上的论文为突破这一阻碍带来了希望,在国内外学术圈引起了不小的关注。这篇论文也在一周前登上huggingface的

接手外包团队开发的微服务项目,我感觉我的头快要裂开了

嗨,大家好,我是飘渺。最近,我和小伙伴一起接手了一个由外包团队开发的微服务项目,这个项目采用了当前流行的SpringCloudAlibaba微服务架构,并且是基于一个“大名鼎鼎”的微服务开源脚手架(附带着模块代码截图,相信很多同学一看就能认出来)。然而,在这段时间里,我受到了来自"外包"和"微服务"这双重debuff的折磨。今天,我想和大家分享一下我在这几天中遇到的问题。希望这几个问题能引起大家的共鸣,以便在未来的微服务开发中避免再次陷入相似的困境。1、服务模块拆分不合理绝大部分网上的微服务开源框架都是基于后台管理进行模块拆分的。然而在实际业务开发中,应该以领域建模为基础来划分子服务。目前的服

【同样一段代码】,用 GPU 跑就是快多了~(要是CPU同时跑这两段,居然发现 CPU 利用率 接近100%了,快要崩了)| 区块链 面试题:如何保证区块链网络的安全性?| 共识机制,网络安全...

 “每颗心都需要爱,需要温柔,大方,需要理解。”  🎯作者主页:追光者♂🔥        🌸个人简介: 💖[1]计算机专业硕士研究生💖 🌿[2]2023年城市之星领跑者TOP1(哈尔滨)🌿 🌟[3]2022年度博客之星人工智能领域TOP4🌟 🏅[4]阿里云社区特邀专家博主🏅 &

MFC/QT 一些快要遗忘的细节:

1:企业应用中,MFC平台除了用常见的对话框模式还有一种常用的就是单文档模式,维护别人的代码,不容易区分,其实找与程序同名的cpp就知道了,比如项目名称为DoCMFCDemo,那么就看BOOLCDocMFCDemoApp::InitInstance()函数部分就可以了:单文档: CSingleDocTemplate*pDocTemplate; pDocTemplate=newCSingleDocTemplate(IDR_MAINFRAME,RUNTIME_CLASS(CMainUIModuleDoc),               RUNTIME_CLASS(CMainFrame), //主S

ruby-on-rails - Rails 将普通旧字符串作为 BLOB 保存到 SQlite?我快要疯了!

我不知道为什么会这样,但Rails正在将字符串作为BLOB保存到SQLite。在我的应用程序中创建新用户之前,我在保存到数据库之前获取他们的纯字符串密码和MD5:classUser但是,密码字段每次都作为一个怪异的BLOB进入SQLite!我什至可以说的唯一方法是在将表导出到SQL时,我可以看到该字段的真实性质:INSERTINTO"users"VALUES(24,'john.doe@example.com',X'3639366432396530393430613439353737343866653366633965666432326133');什么鬼??所以现在当我尝试通过查找他们的

ruby-on-rails - Rails 将普通旧字符串作为 BLOB 保存到 SQlite?我快要疯了!

我不知道为什么会这样,但Rails正在将字符串作为BLOB保存到SQLite。在我的应用程序中创建新用户之前,我在保存到数据库之前获取他们的纯字符串密码和MD5:classUser但是,密码字段每次都作为一个怪异的BLOB进入SQLite!我什至可以说的唯一方法是在将表导出到SQL时,我可以看到该字段的真实性质:INSERTINTO"users"VALUES(24,'john.doe@example.com',X'3639366432396530393430613439353737343866653366633965666432326133');什么鬼??所以现在当我尝试通过查找他们的

50多年前,大神在操作系统中埋的雷,快要爆了......

1969年,贝尔实验室的大神KenThompson的老婆休假,带着儿子回娘家,时间长达三周。趁这段时间,他决定开发一个操作系统:Unix。正在如火如荼地敲代码的时候,Ken突然卡壳了,这是一件非同寻常的事情,之前的开发都是一帆风顺,行云流水的。因为他意识到有个非常重大的问题,必须马上解决。这个问题就是:如何在Unix中表示日期和时间?这个问题非常重要,因为日期和时间管理对于任何操作系统来说都是关键功能,包括文件时间戳、程序调度、日志记录等。最容易想到,也是最简单的办法就是用一个字符串来表示,例如:1970-09-1700:00:30.751有年月日,时分秒,还有细粒度的微妙,并且可读性非常强。