草庐IT

TavernAI

全部标签

TavernAI+KoboldAI本地部署实现AI对话

必需的前提:(1)1个GPU,本文使用的是nvidia的,amd应该也可以但我没试过。显存6G或以上,大于等于16G更好;(2)科学的上网;(3)Windows系统。linux系统也是可以的,但是我没完整地试过。本文以Windows为准。另外最好会一些英语,因为目前KoboldAI对话模型对中文的支持都很差,当然可以用OpenAI的API。使用翻译插件也可以。本文主要是说明KoboldAI的本地部署,如果利用GoogleColab云端部署或使用OpenAI的API可参考该文章https://www.bilibili.com/read/cv22355581?from=search0.英语能力好的