草庐IT

【AI开源大模型】Salesforce XGen-7B 支持长序列建模:在 8K 输入序列长度上训练的LLM

目录TLDRWhyXGen-7Bwith8KSequenceLength为什么选择具有8K序列长度的XGen-7BPre-trainingData 预训练数据TrainingDetails 培训详情ResultsonStandardBenchmarks标准基准的结果(i)MMLU (一)MMLU(ii)GeneralZero-shotResults(ii)一般零样本结果