本地部署的ai是一分钱没花。( m; }! n. k: w(欢迎访问老王论坛:laowang.vip)
现在用的是deepseek的V3模型的API连接酒馆(SillyTavern),买deepseek的官方的API,4月29号充了20块,到今天没用完还剩下2元多。花钱效果确实比本地部署的强了不是一点半点,效果对比图发在我帖子里了,感兴趣可以在我帖子里看看效果对比
图片好像发不出来?算了,简单说一下吧,我也是个小白,说的不对请谅解 T8 e S! D; i O# Y(欢迎访问老王论坛:laowang.vip)
首先,不推荐本地部署,因为性能限制关系不好弄长期记忆和插件,和ai的智商问题。比如我是3060的6G的显卡,通过ollamam本地部署的gemma的9B模型效果,回复响应时间在20秒上下,而且回复的效果不尽人意。