无忧启动论坛

标题: 调用本地大语言模型的单文件小工具 [打印本页]

作者: lhc0688 时间: 2024-3-7 18:53
标题: 调用本地大语言模型的单文件小工具
本帖最后由 lhc0688 于 2024-3-8 09:09 编辑

推荐一个调用本地大语言模型的单文件小工具koboldcpp，分GPU版和CPU版，均为单文件，无须配置复杂的python、git、cuda等环境，直接运行即可使用，非常简单方便；
使用方法：将需要调用的模型放在同一文件夹内，路径不能有中文，然后直接运行，根据提示选择模型文件，点加载即可；

虽然是单文件小工具，但功能很强大，不仅可以语言对话，而且还可以同时调用SD图像模型、以及指定自己语音模型，可以实现文、图、音同步；

软件界面：

官网下载链接：
GPU版：https://github.com/LostRuins/koboldcpp/releases/download/v1.60.1/koboldcpp.exe
CPU版：https://github.com/LostRuins/koboldcpp/releases/download/v1.60.1/koboldcpp_nocuda.exe

推荐开源模型，可CPU运行，对中文支持也较好：
https://huggingface.co/tastypear/CausalLM-7B-DPO-alpha-GGUF/blob/main/causallm_7b-dpo-alpha.Q5_K_M.gguf

作者: yyz2191958 时间: 2024-3-7 19:02
谢谢分享

作者: lhc0688 时间: 2024-3-7 19:03
不仅可以语言对话，而且还可以调用SD图像模型、以及自己语音模型，可以实现文、图、音同步；

作者: yyz2191958 时间: 2024-3-7 19:03
无法访问此网站检查 github.com.cnpmjs.org 中是否有拼写错误。
如果拼写无误，请尝试运行 Windows 网络诊断。
DNS_PROBE_FINISHED_NXDOMAIN

作者: yyz2191958 时间: 2024-3-7 19:06
要科学上网吗？

作者: lhc0688 时间: 2024-3-7 19:07
本帖最后由 lhc0688 于 2024-3-8 09:10 编辑

。。。

作者: lhc0688 时间: 2024-3-7 19:09
使用方法：将需要调用的模型放在同一文件夹内，路径不能有中文，然后直接运行，根据提示选择模型文件，点加载即可；

作者: nathan6498 时间: 2024-3-7 19:12
谢谢分享

作者: lhc0688 时间: 2024-3-7 19:14
本帖最后由 lhc0688 于 2024-3-8 09:10 编辑

。。。

作者: 紧急追踪 时间: 2024-3-7 19:52
感谢分享

作者: jobgan 时间: 2024-3-7 22:23
谢谢分享

作者: yc2428 时间: 2024-3-7 22:25
谢谢分享

作者: joejoe123 时间: 2024-3-7 23:09
CausalLM-14B-DPO-alpha-GGUF,这个14B更强吗？

作者: wn168cn@163.com 时间: 2024-3-7 23:20
谢谢分享

作者: leone 时间: 2024-3-8 00:51
谢谢分享！

作者: digital hero 时间: 2024-3-8 08:54
本帖最后由 digital hero 于 2024-3-8 09:44 编辑

从哪里可以看出来是通义千问？哦，看出来了

怎么让它不默认是在写小说？

作者: lhc0688 时间: 2024-3-8 09:08

digital hero 发表于 2024-3-8 08:54
从哪里可以看出来是通义千问？

基于通义训练的

作者: wang1126 时间: 2024-3-8 09:29
谢谢分享

作者: lhc0688 时间: 2024-3-8 10:03

digital hero 发表于 2024-3-8 08:54
从哪里可以看出来是通义千问？哦，看出来了

怎么让它不默认是在写小说？ ...

设置-对话模式

作者: xwei9277 时间: 2024-3-8 10:03
经测试，调用qwen 7b模型，回答问题不会超过120个字，所以回答一半就没有下文了，而ollama调用qwen 7b模型，会有一个完整的回答！

作者: lhc0688 时间: 2024-3-8 12:19

xwei9277 发表于 2024-3-8 10:03
经测试，调用qwen 7b模型，回答问题不会超过120个字，所以回答一半就没有下文了，而ollama调用qwen 7b模型 ...

Tokens调大，设到4096

作者: guong 时间: 2024-3-8 12:54
谢谢分享

作者: chibuzhu 时间: 2024-3-8 13:40
感谢分享

作者: pbmmm 时间: 2024-3-8 13:42
感谢分享

作者: fegr 时间: 2024-3-8 16:18
感谢分享

作者: daixq021 时间: 2024-3-8 17:42
官网下载太慢了，能否给一个网盘分流？

作者: 9527sss 时间: 2024-3-8 19:43
感谢分享

作者: Monkeydance 时间: 2024-3-9 09:44

感谢分享

作者: digital hero 时间: 2024-3-9 11:18
这个大模型dpo训练侧重是什么？从网站上没有看到。觉得回答问题比较发散

作者: 2267981144 时间: 2024-3-9 18:46
谢谢辛苦提供分享！

作者: 忘忧风 时间: 2024-3-9 19:08
感谢分享

作者: 2012liwanxi 时间: 2024-3-12 18:47
有没有下载了的，分流一下

作者: hehuiying 时间: 2024-4-1 07:10
谢谢分享

作者: wn168cn@163.com 时间: 2024-10-28 21:49
感谢分享

欢迎光临无忧启动论坛 (http://wuyou.net./)