DeepSeek本地部署
目录
前言
DeepSeek是一款性能优异的国产LLM模型,本文简介下本地部署事项。
Ollama or LM Studio
倾向Ollama。理由如下:
-
Ollama开源,LM Studio闭源。 -
Ollama下载慢,可以通过重启下载获得暂时高速下载;而LM Studio即使全局代理也无速,可以手动下载放于本地目录,但需要注意文件夹嵌套路径。
Ollama下载,从模型库中选择默认的deepseek-r1:7b,在cmd中运行,
|
|
cmd or Open WebUI or Chatbox or Page Assist
倾向Page Assist。理由如下:
-
cmd中LaTeX显示不全,默认没有联网搜索。 -
Open WebUI使用繁琐。
-
Chatbox有
exe安装包,但也使用繁琐。 -
Page Assist是Chrome插件,直接上方勾选模型即可使用,下方还有联网选项,更多模型微调参数隐藏在右上角的设置中。
注意
每次运行结束之后,需要手动关闭
ollama_llama_server.exe进程,以免后台占用。