[转载搬运] 本地部署ai小说软件 [1+56][百度盘]

15267158147 · 发表于 2024-3-9 21:20:45

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有帐号？免费注册

x

本帖最后由 15267158147 于 2024-3-30 11:15 编辑

我内存不够了，我给你们一个启动器，你们下载之后它可以自己下载配置，记住不要更新，不然不能瑟瑟，还有里面的模型你们也自己下一下，把它放到一个空白的文件夹里再启动

15267158147 · 发表于 2024-3-10 11:21:47

本帖最后由 15267158147 于 2024-3-10 11:23 编辑

大是因为里面模型大，21G的大模型，14G的大模型，这模型你下了才知道有多折磨人，我帮你们下完了，就能直接用

15267158147 · 发表于 2024-3-10 12:11:46

本帖最后由 15267158147 于 2024-3-14 09:24 编辑

如果你的模型加载不出来，你可以看看左上角你的什么比较大，内存，显存还是gpu，然后你可以找到配置，找到模型参数的strategy选择不同的内存，显存还是gpu运行方式，然后点击转换，就可以转换成你可以用的模型，然后点击加载，等到加载完成，就可以对话，写小说了，如果以上方法都不能解决你的问题，那么可以去B站搜索akkv，有详细的教程

15267158147 · 发表于 2024-3-29 16:52:50

我看了一下，不能瑟瑟的原因可能是因为更新了版本，你们试试不要更新版本

qi79361439 · 发表于 2024-3-10 18:20:35

15267158147 发表于 2024-3-10 17:55
6 s( G6 t; F# |! Y3 I. d2 \6 u* s( w你不带脑子怪谁，我都教你怎么降低内存使用了，再说里面还有小模型，你不会看吗) B, J2 e2 l: @6 b! R; s（欢迎访问老王论坛：laowang.vip）
...

这么强的攻击性啊？你那几个模型我都试了，都是16G吃满然后加载极其缓慢，我放在M2的固态都要加载十几分钟，加载完之后，聊天模型也有问题，回答速度也极其缓慢

qi79361439 · 发表于 2024-3-10 18:40:46

15267158147 发表于 2024-3-10 18:25$ |3 e7 h7 y1 p, j) p2 A* B) ]（欢迎访问老王论坛：laowang.vip）
你不适合这个，别玩了

已经删了，解压完74G，太占地方了，5币就当支持你分享东西了

wewewer · 发表于 2024-3-10 12:12:33

15267158147 发表于 2024-3-10 12:067 u3 X# i& e6 ]$ g6 z（欢迎访问老王论坛：laowang.vip）
如果模型加载不出来，可以下载里面自带的小一点的模型

能加载出来，就是慢点，Python窗口开始动了就好了，楼主我这步没问题吧？你下载好的我可以不读直接用吗？我在右上角模型栏不知道那个是14或者21的模型。

15267158147 · 发表于 2024-3-10 12:06:12

如果模型加载不出来，可以下载里面自带的小一点的模型

qi79361439 · 发表于 2024-3-10 11:22:32

感谢分享，下着玩玩

jieyaofeng · 发表于 2024-3-15 00:30:01

咋破限啊，有点色色就被限制了

wewewer · 发表于 2024-3-10 12:00:46

yeyumao01 发表于 2024-3-10 11:11% n* m- b. z5 c, `( L1 y% W z（欢迎访问老王论坛：laowang.vip）
老哥，怎么说？

等会儿，正在读模型，目前情况是，不吃gpu 不吃cpu 但是16g运存，两个ddr4的内存条直接拉爆，运存一直是拉满状态，这状态持续了10分钟左右了，如果是32或者64运存的可能会快点。目前是这样，还没读完，

ssq841006 · 发表于 2024-4-13 17:46:31

network error什么意思？

3129281358 · 发表于 2024-3-10 10:01:08

56g 怎么这么大

昵称被占用 · 发表于 2024-3-10 10:55:55

有用过的老哥说说嘛？

wewewer · 发表于 2024-3-10 11:03:47

正在下载，等会儿回来反馈

yeyumao01 · 发表于 2024-3-10 11:11:07

wewewer 发表于 2024-3-10 11:03- a$ D' y; r& S. v6 C: M（欢迎访问老王论坛：laowang.vip）
正在下载，等会儿回来反馈

老哥，怎么说？

youcaiqing · 发表于 2024-3-10 11:43:15

这个，0购买量。有人试用过了么

15267158147 · 发表于 2024-3-10 12:05:07

wewewer 发表于 2024-3-10 12:00* U, K4 \% O* ?" {* \+ E) h8 G' h（欢迎访问老王论坛：laowang.vip）
等会儿，正在读模型，目前情况是，不吃gpu 不吃cpu 但是16g运存，两个ddr4的内存条直接拉爆，运存一直是 ...

你把那个配置又下角有一个载入显存乘数，你把那个拉到0，还有下面运用使用自定义cuda加速关了

15267158147 · 发表于 2024-3-10 12:13:59

wewewer 发表于 2024-3-10 12:12
+ h$ I8 @1 h- l- [能加载出来，就是慢点，Python窗口开始动了就好了，楼主我这步没问题吧？你下载好的我可以不读直接用吗？ ...

这个一定要读的，我给的都是21G，14G的大模型，所以加载可能会比较吃力，不读就用不了

wewewer · 发表于 2024-3-10 12:18:00

好了，可用，很顺畅，刚开始加载时候可能会慢一点，你可以按照楼主在评论区的方法加载，加载之后就没什么问题了，很顺畅，结果秒出，可以玩玩。

wewewer · 发表于 2024-3-10 12:19:15

15267158147 发表于 2024-3-10 12:13; o/ {5 y3 d' K) u* N* K! h（欢迎访问老王论坛：laowang.vip）
这个一定要读的，我给的都是21G，14G的大模型，所以加载可能会比较吃力，不读就用不了5 a# t0 s" Y9 ~7 N) E: m5 ?6 Y（欢迎访问老王论坛：laowang.vip）
...

ok了，我去玩了，谢谢楼主！

wewewer · 发表于 2024-3-10 12:36:17

15267158147 发表于 2024-3-10 12:13
$ w& X! }8 Q2 E8 R这个一定要读的，我给的都是21G，14G的大模型，所以加载可能会比较吃力，不读就用不了
9 d/ Z* l, a( Q ...

楼主，我有个问题，聊天或者续写右上角的模型选择栏只有3个绿✓，怎么才知道自己选的是你给的21 或者14啊？

15267158147 · 发表于 2024-3-10 12:40:46

wewewer 发表于 2024-3-10 12:36
; T5 y7 C& E7 w. I3 t楼主，我有个问题，聊天或者续写右上角的模型选择栏只有3个绿✓，怎么才知道自己选的是你给的21 或者14啊 ...

你可以打开模型文件，看看多大的，你就知道了

握君 · 发表于 2024-3-10 12:47:49

13900K 24C24T 占用80%
DDR4 3600C14 32G 占用70%（22G左右）
ROG 3080 12G 使用 GPU 2G配置显存占用4.5G左右
正在下载GPU 10G配置看看能不能速度更快
先玩着回头再来追评

qi79361439 · 发表于 2024-3-10 17:48:50

我是16G内存，不够用，直接吃满了然后就卡死了，可惜

软件下载区

[Windows] [转载搬运] 本地部署ai小说软件 [1+56][百度盘]

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

大模型运行

解决不能使用的办法

合作

站务管理

获得帮助

关于老王

更多发现

软件下载区

[Windows] [转载搬运] 本地部署ai小说软件 [1+56][百度盘]

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

大模型运行

解决不能使用的办法

重要提示

合作

站务管理

获得帮助

关于老王

更多发现