文章目录前言一、环境安装1.python环境：Python3.10。2.安装一些pip库numpy、tokenizers、prompt_toolkit3.安装pytorch1.13.1+CUDA11.7二、运行记录1、下载代码2、下载训练参数3、编辑代码运行总结前言看到知乎一篇教程，大佬自己弄得ai小说续写，用我的18年老笔记本居然也跑起来了，1.5b模型续写效果：以下只是记录，正文请跳转知乎原文查看：https://zhuanlan.zhihu.com/p/609154637一、环境安装【建议先把pip源切换为国内清华源】1.python环境：Python3.10。使用anaconda创建环

0x0.前言ReceptanceWeightedKeyValue（RWKV）是pengbo提出的一个新的语言模型架构，它使用了线性的注意力机制，把Transformer的高效并行训练与RNN的高效推理相结合，使得模型在训练期间可以并行，并在推理的时候保持恒定的计算和内存复杂度。目前RWKV的社区已经非常火了，我们从huggingface上可以看到RWKV已经训练了多个百亿参数的模型，特别是RWKVWorld模型支持世界所有语言的生成+对话+任务+代码，功能十分全面。此外还有很多开发者基于RWKV的微调模型。在部署方面RWKV社区也取得了长足的发展，例如ChatRWKV，rwkv.cpp，RWK