文章目录前言导读摘要预备知识语言模型ChatGPT性能暴涨的原因（涌现）GPT-1Transformer背景介绍模型精讲数据集及处理CommonCrawlC4GithubWikipediaGutenbergandBooks3ArXivStackExchange小结关键TrickPre-normalizationSwiGLURotaryEmbeddings实验分析和讨论训练Trick模型的损失和tokens之间的关系不同数据集比拼结果QA结果阅读理解数学QA代码生成MMLU部署环境Inference预测注意事项主要代码解析Transformer类TransformerBlock类Attentio

前几天，Meta发布了LIMA大模型，在LLaMA-65B的基础上，无需使用RLHF，只用了1000个精心准备的样本数据进行微调，就达到了和GPT-4相媲美的程度。这激发了我探索LLaMA65B大模型的兴趣。之前的一系列大模型相关文章都是在LLaMA7B/13B模型参数上面进行微调，文本使用LoRA技术对LLaMA30B/65B大模型进行微调。相关代码放置在GitHub上面：llm-action。环境准备基础环境配置如下：操作系统:CentOS7CPUs:单个节点具有1TB内存的IntelCPU，物理CPU个数为64，每颗CPU核数为16GPUs:8卡A80080GBGPUsPython:3.

自己学习遇到的问题，记录一哈，使用Windows自带的命令行实现QtDesigner生成的ui文件转换成python的.py文件，具体步骤如下：（1）快捷键：WIN+R，输入cmd，打开命令行；（2）进项ui文件的目录下，G:直接转换到G盘，cd文件名是直接进入到该盘下的某一文件下，我这里是G盘的图像处理文件下；（3）在命令行中输入  pyuic5-o{输出文件名}{输入designer设计好的.ui后缀界面文件}，我这里是pyuic5-oimagetest.py imagetest.ui；（4）返回至文件夹下，可以发现文件夹下新增一个imagetest.py文件；然后就可以进行后续其他操作啦

本文我们将使用Web3.py这个Python库直接查询以太坊数据。Web3.py是一个为与Ethereum区块链交互而建立的Python库。有了它，我们可以为去中心化的应用程序建立各种核心功能。我们可以直接与智能合约互动，收集区块链数据，并发送交易。让我们开始安装Web3.py。pipinstallweb3Web3.py的功能是连接到以太坊网络的节点，以检索数据和向网络广播数据。节点存储区块链数据，所以我们可以查询以太坊区块链的状态来收集我们需要的数据。数据检索对我们来说是一个有效的免费操作，因为唯一的成本是节点正在进行的存储和计算。有了这个库，我们可以连接到自己的节点或网络上的现有节点来建立

LLaMA(大规模机器学习和分析)是一个先进的软件平台，是Meta推出AI语言模型LLaMA，一个有着上百亿数量级参数的大语言模型用于大规模部署和管理机器学习模型。借助LLaMA，组织可以高效地在大型数据集上训练和部署模型，缩短投放市场的时间，并提高预测模型的准确性。安装LLaMA是一个简单的过程，可以在内部或云中完成。该平台需要一个现代的Linux发行版和许多依赖项，包括ApacheHadoop、ApacheSpark和ApacheKafka。安装这些依赖项并配置它们一起工作可能是一个复杂的过程，但是LLaMA提供了详细的文档和支持来帮助用户成功地部署平台。安装了LLaMA，用户就可以利用其

Python打包exe有很多可以用的如pyinstallerpy2exe cx_Freezenuitkapy2apppy0xidizer 其中cx_Freeze没用过 nuitka是把py代码转为C++代码再重新编译优点是运行速度快占用空间小缺点是转换重新编译等耗时长py2app是把Python脚本打包成Mac程序的py0xidizer是把Python脚本打包成嵌入式程序的这篇文章总结以下pyinstall和py2exe的用法 注：以下都是windows下 pyinstaller 安装：pipinstallerpyinstaller  使用：pyinstaller[参数][参数2][...]要

代码链接：https://github.com/WongKinYiu/yolov7输入指令pythontest.py--datadata/coco.yaml--img640--batch32--conf0.001--iou0.65--device0--weightsyolov7.pt--nameyolov7_640_val参数解析if__name__=='__main__':parser=argparse.ArgumentParser(prog='test.py')parser.add_argument('--weights',nargs='+',type=str,default='/kaxi

项目场景及问题描述：许多GitHub上的项目拉下来是.ipynb格式，如果不用jupyternotebook打开，用pycharm打开，看到的是一个个cells，看代码逻辑不太方便；或者通过jupyternotebook打开，但运行、修改、保存中间过程有不方便的地方，想转为.py文件，下面提供两种方法来实现ipynb文件转为py文件。解决方案：方法一：通过终端指令进行转换如果你想将xxx.ipynb文件转换为xxx.py文件，打开终端，在xxx.ipynb文件所在目录下，执行命令：jupyternbconvert--toscriptxxx.ipynb执行后，xxx.py文件将会出现在与xxx.

查找项目运行环境，目的是找到opencv的安装环境，在pycharm中查看环境方式如下图所示 本人路径为：D:\Anacondas\envs\keypoints\Lib\site-packages\cv2，将路径下的从cv2.pyd复制粘贴，放到上级目录site-packages下，问题即可解决。 

看到很多人用Qt设计师制作UI，引入资源文件qrc时，需要将qrc转为py文件。如何将qrc转换为py文件，网上教程很多，这里就不说明。但是我按照教程操作后，还是不行，看到网上也有许多人遇到，都没有找到解决办法，这里记录一下我自己的处理方法，不一定对所有人都试用。转换后依然报错：转换后也会遇到"Nomodulenamed'resc_rc'"这个问题解决办法:1、将UI文件中的importres_rc(qrc转换为py的包）删除 。2、在需要引用此UI文件的程序中引入rc包：importres_rc（需要注意引入路径不要出错，你的可能是importui.rec）这样就不会报错了，我这边是这样解决