[自行打包] 本地酒馆语音对话 [1+15G][百度盘]

15267158147 · 发表于 2024-4-2 18:19:17

ctg2 发表于 2024-4-2 15:383 {0 U8 s" |. `: j' p) Y+ [5 U8 O（欢迎访问老王论坛：laowang.vip）
我内存32g，显存8g，是指显存太低了吗

是的，你可以换小一点的

15267158147 · 发表于 2024-4-2 18:20:19

dacunge520 发表于 2024-4-2 13:07: @& f8 T v& z) k. B; ], q! ]) L（欢迎访问老王论坛：laowang.vip）
A卡貌似不行，我已经换了3b、1b的低模型，但还是那样，打开启动器运行后，就运行结束，弹个窗「程序成功退 ...

你先无模型运行，然后在模型那里切换模型试试

15267158147 · 发表于 2024-4-2 18:21:32

dacunge520 发表于 2024-4-2 13:07
" F i! U; w h+ [6 y! nA卡貌似不行，我已经换了3b、1b的低模型，但还是那样，打开启动器运行后，就运行结束，弹个窗「程序成功退 ...

怎么说呢，你可以用其他的运行，在模型那里调

zczc202 · 发表于 2024-4-2 18:31:10

dacunge520 发表于 2024-4-2 13:079 R) E6 m' h0 y. t（欢迎访问老王论坛：laowang.vip）
A卡貌似不行，我已经换了3b、1b的低模型，但还是那样，打开启动器运行后，就运行结束，弹个窗「程序成功退 ...

你的模组在哪下载的？

wokeshi53 · 发表于 2024-4-2 18:49:30

.....佛了我试了半天之后，重新找b站的那个mega大佬发的下载，结果就可以使用了顺从

1746442091 · 发表于 2024-4-2 20:28:26

网页右下角加载成功，启动器报错：ERROR:The model could not be loaded because its checkpoint file in .bin/.pt/.safetensors format could not be located.是为啥

ctg2 · 发表于 2024-4-2 22:10:42

15267158147 发表于 2024-4-2 18:194 X; U- ^( _" s/ k（欢迎访问老王论坛：laowang.vip）
是的，你可以换小一点的

找不到什么东西啊

dacunge520 · 发表于 2024-4-2 23:11:35

15267158147 发表于 2024-4-2 18:21
/ ]7 O" W) B. o5 `! D; a怎么说呢，你可以用其他的运行，在模型那里调

唉，放弃了，按照你说的能打开了，但是对话都是空白，我也去频道看了看，说是内存爆了，但我看内存显存都好好的，麻烦，已经超过图一乐的心态了，不过还是支持大佬继续分享这类。

soulcallup · 发表于 2024-4-3 00:27:44

需要越狱吗？启动器启动没反应

lelebeidao · 发表于 2024-4-3 14:24:34

1746442091 发表于 2024-4-2 20:28( [7 N- Y2 [. w+ [（欢迎访问老王论坛：laowang.vip）
网页右下角加载成功，启动器报错：ERROR:The model could not be loaded because its checkpoint file in . ...

一样是这个问题

jkjkop · 发表于 2024-4-5 16:36:35

爆了，求补

摘星种树 · 发表于 2024-4-5 23:41:48

真的有人成功使用了吗？

灲雨 · 发表于 2024-4-6 03:07:26

楼主，能发一些角色卡吗？贵点没事，实在不懂怎么弄，可以打赏，十分感谢

1447007464 · 发表于 2024-4-6 15:31:57

这是什么情况？好几个模型都这样

15267158147 · 发表于 2024-4-6 17:07:48

灲雨发表于 2024-4-6 03:07
, p! ~, U! G! _( D6 {* U楼主，能发一些角色卡吗？贵点没事，实在不懂怎么弄，可以打赏，十分感谢 ...

角色卡这个东西你哪里都能找，也不用打赏，这是角色卡网站https://www.chub.ai/?search=&first=50&topics=&excludetopics=&page=1&sort=default&venus=false&min_tokens=50&first=50&page=1

kkgreed · 发表于 2024-4-6 22:05:11

问一下，网页里面显示模型加载成功，但是llm启动器里显示加载失败是怎么回事？怎么解？
ERROR:The model could not be loaded because its checkpoint file in .bin/.pt/.safetensors format could not be located.
这个是启动器里的失败提示

28791798851 · 发表于 2024-4-7 04:09:11

本帖最后由 28791798851 于 2024-4-7 04:38 编辑

dacunge520 发表于 2024-4-2 23:113 x; Z( e$ `* @- ^) `1 M（欢迎访问老王论坛：laowang.vip）
唉，放弃了，按照你说的能打开了，但是对话都是空白，我也去频道看了看，说是内存爆了，但我看内存显存都 ...

A卡有个解决方案是把CUDA代码转换为HIP代码就可以跑，不过很麻烦，可以借张卡就借吧

28791798851 · 发表于 2024-4-7 04:12:03

本帖最后由 28791798851 于 2024-4-7 04:59 编辑

kkgreed 发表于 2024-4-6 22:05
2 { B2 c& ~7 _9 j5 G- B& H$ U问一下，网页里面显示模型加载成功，但是llm启动器里显示加载失败是怎么回事？怎么解？; d* C0 f# _' ?1 m- \（欢迎访问老王论坛：laowang.vip）
ERROR:The model co ...

我也是这样的问题。这里说的是文件格式或者是下载过程中有损失，不知道问题出在哪里，同时发现我显存不够，换了低模型后可以用，下了个3b的

28791798851 · 发表于 2024-4-7 04:27:39

本贴模型配置大致如下：
24G以上内存
16G可以运行，但是加载7B模型时会爆内存，需要你用阳寿、运气和虚拟内存帮你顶过去，或者使用预量化模型
8-16G显存的显卡
7B模型以FP16+INT8混合模式运行需要接近8G显存
7B模型以FP16模式运行需要15G显存【可以用两张8G显卡拼凑使用】
最好是N卡9系以后产品，A卡需要折腾且有一定能力，小白可以直接放弃打出GG
不低于 E3 v2 或者 2-3代 i5 水平的CPU
至少能放下完整一个 RWKV 7B 模型的硬盘空间
一个RWKV 7B模型一般14G

28791798851 · 发表于 2024-4-7 04:57:28

逛了大半天，有点晕头转向的，大致明白了一些，本贴的这个模型对显卡要求有点高，选择低模型对应自己的显卡这点很重要，压缩包内有个下载一些模型的链接，最后还是从github上自己学习了一下，从头部署环境，用大佬的代码和数据集训练模型，得到模型后还要有相应的知识库然后再破甲，整了快五个小时，这个压缩包没有找到具体的出处，用起来有些问题实在不知道怎么解决

软件下载区

[Windows] [自行打包] 本地酒馆语音对话 [1+15G][百度盘]

你可以看看

你看看我吧

合作

站务管理

获得帮助

关于老王

更多发现