草庐IT

谷歌没开源的PaLM,网友给开源了!千亿参数微缩版:最大只有10亿,8k上下文

谷歌未开源的PaLM,网友竟给开源了。昨天,一位开发者在GitHub上开源了三种微缩版的PaLM模型:参数分别为1.5亿(PalM-150m),4.1亿(PalM-410m)和10亿(PalM-1b)。项目地址:https://github.com/conceptofmind/PaLM这三种模型在谷歌C4数据集进行了训练,上下文长度为8k。未来,还有20亿参数的模型正在训练中。谷歌C4数据集开源PaLM使用4.1亿参数模型生成的示例:Mydogisverycute,butnotverygoodatsocializingwithotherdogs.Thedoglovesallnewpeoplea