调用本地大语言模型的单文件小工具

lhc0688 · 发表于 2024-3-7 18:53:31

本帖最后由 lhc0688 于 2024-3-8 09:09 编辑

推荐一个调用本地大语言模型的单文件小工具koboldcpp，分GPU版和CPU版，均为单文件，无须配置复杂的python、git、cuda等环境，直接运行即可使用，非常简单方便；
使用方法：将需要调用的模型放在同一文件夹内，路径不能有中文，然后直接运行，根据提示选择模型文件，点加载即可；

虽然是单文件小工具，但功能很强大，不仅可以语言对话，而且还可以同时调用SD图像模型、以及指定自己语音模型，可以实现文、图、音同步；

软件界面：

官网下载链接：
GPU版：https://github.com/LostRuins/koboldcpp/releases/download/v1.60.1/koboldcpp.exe
CPU版：https://github.com/LostRuins/koboldcpp/releases/download/v1.60.1/koboldcpp_nocuda.exe

推荐开源模型，可CPU运行，对中文支持也较好：
https://huggingface.co/tastypear/CausalLM-7B-DPO-alpha-GGUF/blob/main/causallm_7b-dpo-alpha.Q5_K_M.gguf

yyz2191958 · 发表于 2024-3-7 19:02:55

谢谢分享

lhc0688 · 发表于 2024-3-7 19:03:17

不仅可以语言对话，而且还可以调用SD图像模型、以及自己语音模型，可以实现文、图、音同步；

yyz2191958 · 发表于 2024-3-7 19:03:26

无法访问此网站检查 github.com.cnpmjs.org 中是否有拼写错误。
如果拼写无误，请尝试运行 Windows 网络诊断。
DNS_PROBE_FINISHED_NXDOMAIN

yyz2191958 · 发表于 2024-3-7 19:06:40

要科学上网吗？

lhc0688 · 发表于 2024-3-7 19:07:23

本帖最后由 lhc0688 于 2024-3-8 09:10 编辑

。。。

lhc0688 · 发表于 2024-3-7 19:09:47

使用方法：将需要调用的模型放在同一文件夹内，路径不能有中文，然后直接运行，根据提示选择模型文件，点加载即可；

nathan6498 · 发表于 2024-3-7 19:12:46

谢谢分享

lhc0688 · 发表于 2024-3-7 19:14:20

本帖最后由 lhc0688 于 2024-3-8 09:10 编辑

。。。

紧急追踪 · 发表于 2024-3-7 19:52:08

感谢分享

jobgan · 发表于 2024-3-7 22:23:20

谢谢分享

yc2428 · 发表于 2024-3-7 22:25:24

谢谢分享

joejoe123 · 发表于 2024-3-7 23:09:29

CausalLM-14B-DPO-alpha-GGUF,这个14B更强吗？

wn168cn@163.com · 发表于 2024-3-7 23:20:34

谢谢分享

leone · 发表于 2024-3-8 00:51:49

谢谢分享！

digital hero · 发表于 2024-3-8 08:54:45

本帖最后由 digital hero 于 2024-3-8 09:44 编辑

从哪里可以看出来是通义千问？哦，看出来了

怎么让它不默认是在写小说？

lhc0688 · 发表于 2024-3-8 09:08:18

digital hero 发表于 2024-3-8 08:54
从哪里可以看出来是通义千问？

基于通义训练的

wang1126 · 发表于 2024-3-8 09:29:36

谢谢分享

lhc0688 · 发表于 2024-3-8 10:03:50

digital hero 发表于 2024-3-8 08:54
从哪里可以看出来是通义千问？哦，看出来了

怎么让它不默认是在写小说？ ...

设置-对话模式

xwei9277 · 发表于 2024-3-8 10:03:57

经测试，调用qwen 7b模型，回答问题不会超过120个字，所以回答一半就没有下文了，而ollama调用qwen 7b模型，会有一个完整的回答！

lhc0688 · 发表于 2024-3-8 12:19:01

xwei9277 发表于 2024-3-8 10:03
经测试，调用qwen 7b模型，回答问题不会超过120个字，所以回答一半就没有下文了，而ollama调用qwen 7b模型 ...

Tokens调大，设到4096

guong · 发表于 2024-3-8 12:54:21

谢谢分享

chibuzhu · 发表于 2024-3-8 13:40:48

感谢分享

pbmmm · 发表于 2024-3-8 13:42:48

感谢分享

fegr · 发表于 2024-3-8 16:18:31

感谢分享

daixq021 · 发表于 2024-3-8 17:42:25

官网下载太慢了，能否给一个网盘分流？

9527sss · 发表于 2024-3-8 19:43:46

感谢分享

Monkeydance · 发表于 2024-3-9 09:44:30

感谢分享

digital hero · 发表于 2024-3-9 11:18:12

这个大模型dpo训练侧重是什么？从网站上没有看到。觉得回答问题比较发散

2267981144 · 发表于 2024-3-9 18:46:23

谢谢辛苦提供分享！

		自动登录	找回密码
密码			注册

[分享] 调用本地大语言模型的单文件小工具

点评

点评

点评

点评

点评