调用本地大语言模型的单文件小工具

lhc0688 · 发表于 2024-3-7 18:53:31

本帖最后由 lhc0688 于 2024-3-8 09:09 编辑

推荐一个调用本地大语言模型的单文件小工具koboldcpp，分GPU版和CPU版，均为单文件，无须配置复杂的python、git、cuda等环境，直接运行即可使用，非常简单方便；
使用方法：将需要调用的模型放在同一文件夹内，路径不能有中文，然后直接运行，根据提示选择模型文件，点加载即可；

虽然是单文件小工具，但功能很强大，不仅可以语言对话，而且还可以同时调用SD图像模型、以及指定自己语音模型，可以实现文、图、音同步；

软件界面：

官网下载链接：
GPU版：https://github.com/LostRuins/koboldcpp/releases/download/v1.60.1/koboldcpp.exe
CPU版：https://github.com/LostRuins/koboldcpp/releases/download/v1.60.1/koboldcpp_nocuda.exe

推荐开源模型，可CPU运行，对中文支持也较好：
https://huggingface.co/tastypear/CausalLM-7B-DPO-alpha-GGUF/blob/main/causallm_7b-dpo-alpha.Q5_K_M.gguf

wn168cn@163.com · 发表于 2024-10-28 21:49:36

感谢分享

hehuiying · 发表于 2024-4-1 07:10:12

谢谢分享

2012liwanxi · 发表于 2024-3-12 18:47:26

有没有下载了的，分流一下

忘忧风 · 发表于 2024-3-9 19:08:07

感谢分享

2267981144 · 发表于 2024-3-9 18:46:23

谢谢辛苦提供分享！

digital hero · 发表于 2024-3-9 11:18:12

这个大模型dpo训练侧重是什么？从网站上没有看到。觉得回答问题比较发散

Monkeydance · 发表于 2024-3-9 09:44:30

感谢分享

9527sss · 发表于 2024-3-8 19:43:46

感谢分享

daixq021 · 发表于 2024-3-8 17:42:25

官网下载太慢了，能否给一个网盘分流？

fegr · 发表于 2024-3-8 16:18:31

感谢分享

pbmmm · 发表于 2024-3-8 13:42:48

感谢分享

chibuzhu · 发表于 2024-3-8 13:40:48

感谢分享

guong · 发表于 2024-3-8 12:54:21

谢谢分享

lhc0688 · 发表于 2024-3-8 12:19:01

xwei9277 发表于 2024-3-8 10:03
经测试，调用qwen 7b模型，回答问题不会超过120个字，所以回答一半就没有下文了，而ollama调用qwen 7b模型 ...

Tokens调大，设到4096

xwei9277 · 发表于 2024-3-8 10:03:57

经测试，调用qwen 7b模型，回答问题不会超过120个字，所以回答一半就没有下文了，而ollama调用qwen 7b模型，会有一个完整的回答！

lhc0688 · 发表于 2024-3-8 10:03:50

digital hero 发表于 2024-3-8 08:54
从哪里可以看出来是通义千问？哦，看出来了

怎么让它不默认是在写小说？ ...

设置-对话模式

wang1126 · 发表于 2024-3-8 09:29:36

谢谢分享

lhc0688 · 发表于 2024-3-8 09:08:18

digital hero 发表于 2024-3-8 08:54
从哪里可以看出来是通义千问？

基于通义训练的

digital hero · 发表于 2024-3-8 08:54:45

本帖最后由 digital hero 于 2024-3-8 09:44 编辑

从哪里可以看出来是通义千问？哦，看出来了

怎么让它不默认是在写小说？

leone · 发表于 2024-3-8 00:51:49

谢谢分享！

wn168cn@163.com · 发表于 2024-3-7 23:20:34

谢谢分享

joejoe123 · 发表于 2024-3-7 23:09:29

CausalLM-14B-DPO-alpha-GGUF,这个14B更强吗？

yc2428 · 发表于 2024-3-7 22:25:24

谢谢分享

jobgan · 发表于 2024-3-7 22:23:20

谢谢分享

紧急追踪 · 发表于 2024-3-7 19:52:08

感谢分享

lhc0688 · 发表于 2024-3-7 19:14:20

本帖最后由 lhc0688 于 2024-3-8 09:10 编辑

。。。

nathan6498 · 发表于 2024-3-7 19:12:46

谢谢分享

lhc0688 · 发表于 2024-3-7 19:09:47

使用方法：将需要调用的模型放在同一文件夹内，路径不能有中文，然后直接运行，根据提示选择模型文件，点加载即可；

lhc0688 · 发表于 2024-3-7 19:07:23

本帖最后由 lhc0688 于 2024-3-8 09:10 编辑

。。。

		自动登录	找回密码
密码			注册

[分享] 调用本地大语言模型的单文件小工具

点评

点评

点评

点评