草庐IT

哈工大

全部标签

清华、哈工大把大模型压缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!

自从大模型火爆出圈以后,人们对压缩大模型的愿望从未消减。这是因为,虽然大模型在很多方面表现出优秀的能力,但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示,进而节省空间占用。目前,主流方法可以在几乎不损失模型性能的情况下把已有模型压缩至4bit。然而,低于3bit的量化像一堵不可逾越的高墙,让研究人员望而生畏。图1:量化模型的困惑度在2bit时迅速上升近期,一篇由清华大学、哈尔滨工业大学合作发表在arXiv上的论文为突破这一阻碍带来了希望,在国内外学术圈引起了不小的关注。这篇论文也在一周前登上huggingface的

哈工大csapp-LAB3程序优化

实验报告实验(三)题    目     优化              专      业   人工智能(未来技术)   学    号   7203610716             班    级   20WJ102               学      生   孙铭蔚              指导教师   刘宏伟                 实验地点   G712                实验日期   2022.04.16            计算学部目 录第1章实验基本信息.......................................-3-1.1实验目的.

哈工大联合快手提出CogGPT:大模型也需要认知迭代

在认知科学领域,人类通过持续学习改变认知的过程被称为认知迭代(CognitiveDynamics)。形象地说,认知迭代就像是我们大脑的「软件更新」过程,手机应用通过不断的更新来修复bug和增加新功能,我们的大脑也通过不断学习新知识、经验,来改善和优化思考方式。从我们判断感冒吃什么药效果好,到一代代数学家如何证明费马大定理,无论是个人的心智发展还是人类文明的进步,认知迭代都扮演了不可或缺的角色。如今,像GPT-4等大型语言模型(LargeLanguageModels,LLMs)为通用人工智能(ArtificialGeneralIntelligence,AGI)的发展带来希望的同时,也暴露出一个显

Ubuntu软件源、pip源大全,国内网站网址,阿里云、网易163、搜狐、华为、清华、北大、中科大、上交、山大、吉大、哈工大、兰大、北理、浙大

文章目录一、企业镜像源1、阿里云2、网易1633、搜狐镜像4、华为二:高校镜像源1、清华源2、北京大学3、中国科学技术大学源(USTC)4、上海交通大学5、山东大学6、吉林大学开源镜像站7、哈尔滨工业大学开源镜像站8、西安交通大学软件镜像站9、兰州大学10、北京理工11、浙江大学三:pip镜像源1、清华镜像源2、豆瓣镜像源3、阿里镜像源4、中国科学技术大学5、中国科技大学6、中国科学技术大学7、华中理工大学8、山东理工大学一、企业镜像源1、阿里云网址:https://developer.aliyun.com/mirror/选择ubuntu然后会找到软件源的网址2、网易163网址:http://

每日一看大模型新闻(2023.11.15)大模型「幻觉」,看这一篇就够了 | 哈工大华为出品;零一万物公布对Yi-34B训练过程;英伟达合作微软推出AI代工服务

1.产品发布1.1Adobe将推出分离背景噪音的AI音频工具发布日期:2023-11-15AdobeisusingAItobreakapartmessyaudio-TheVerge主要内容:Adobe在开发ProjectSoundLift的新音频工具,该工具使用AI将掌声等元素与人的声音分离。用户可以将音频文件导入到应用程序中,选择希望该工具过滤掉的声音,包括掌声、笑声、闹钟、演讲、人群、交通和打字等。ProjectSoundLift将自动检测每种声音并生成单独的文件,用户可以在AdobePremierePro中单独导入和编辑每个轨道,从而调整背景噪音的音量,同时增强主轨道的清晰度。该功能的推

哈工大2023春算法与设计期末试题

一、判断题(2分*10)O低阶函数具有传递性、自反性、对称性o(g(n))∩ω(g(n))为空忘了o大写小写了qwq对于一个实例问题,算法能正确地得到结果,那么就称这个算法能解决这个问题回忆的感觉不是很精确,反正是考对算法解决问题的定义贪心算法一定能得到最优解。T(n)=2T(⌊n/2⌋+17)+nT(n)=O(nlogn)无向图G=(V,E)的最小生成树有|V|-1条边f(n)=o(g(n))n→+∞时,g(n)和f(n)的差距微不足道忘了o大写小写了qwq分治算法总时间复杂度=划分原问题的时间复杂度+求解子问题的时间复杂度分支界限法、A*算法可以得到最优解二分图G的最大匹配是完美匹配二、简

2023春哈工大数据库系统期末题型和感想

今年的期末就突出一个题量大。画出删除一个元素的b+树才给3分,给8个数画出存入线性hash表的过程竟然也只给三分,还有不少大题各有诸多2分3分四分的小问。我最后一题刚读上题就收卷了(是一个补全日志的6分题),但是之前看到我们考场有提前交卷的,羡慕学霸。题型:5问5分选择8问8分填空1.20分查询(2问8分关系代数查询,3问12分sql语句查询)2.求闭包最小函数依赖候选码分解3.自己选一个系统,要求至少10个实体,联系包含一对多一对一多对多,画出ER图,写出关系模式(我是考查课,考试课的题没看)4.3分画出删除一个元素的b+树,3分给8个数,hash(x)=xmod16,b=2,θ=0.8,画

哈工大信息内容安全实验

前面的话:这次的实验是分为ABC三级,如图,大部分同学都会选择A或B级,本组选择微博管控(B级),但也成功实现对图片和视频的分析(A级)加入数据库,界面友好,对一种功能进行多种实现方式,选择最优效果(加分项),由于整个项目很大,这里仅提供我们小组的实验报告,对每一个模块都提供链接,学弟学妹根据实际情况按需参考。B级主体下载链接:https://download.csdn.net/download/weixin_45937957/85596578目录第一章摘要本系统是基于python机器学习的微博流量分析与管控系统,主要针对微博的所有文字信息、图像信息和音视频信息进行捕获、分析和管控等。本系统会

轻大21级软工大数据实验(手把手教你入门Hadoop、hbase、spark)

写在最前面,如果你只是来找答案的,那么很遗憾,本文尽量避免给出最后结果,本文适合Linux0基础学生,给出详细的环境配置过程,实验本身其实很简单,供大家一起学习交流。实验11.编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务:向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;将HDFS中指定文件的内容输出到终端中;显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;给定HDFS中某一个目录,输出该目录下的所

横扫13个视觉语言任务!哈工深发布多模态大模型「九天」,性能直升5%

为了应对多模态大语言模型中视觉信息提取不充分的问题,哈尔滨工业大学(深圳)的研究人员提出了双层知识增强的多模态大语言模型-九天(JiuTian-LION)。论文链接: https://arxiv.org/abs/2311.11860 GitHub: https://github.com/rshaojimmy/JiuTian 项目主页: https://rshaojimmy.github.io/Projects/JiuTian-LION与现有的工作相比,九天首次分析了图像级理解任务和区域级定位任务之间的内部冲突,提出了分段指令微调策略和混合适配器来实现两种任务的互相提升。通过注入细粒度空间感知和