DeepSeek 本地部署指南

DeepSeek 本地部署指南

部署步骤

1. 安装 Ollama

   curl -fsSL https://ollama.com/install.sh | sh

   # 验证是否安装成功
   ollama --version

2. 下载 DeepSeek 模型

   ollama pull deepseek-r1:70b

此步骤耗时较长，建议使用 nohup 将下载过程放入后台。

1. 安装 Docker

# 安装必要的系统工具和依赖包 
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
# 下载 Docker 官方的 GPG 密钥并添加到系统中
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# 添加 Docker 的软件源到系统的 apt 源列表
sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# 更新系统的软件包索引
sudo apt-get -y update
# 安装 Docker 社区版（docker-ce）
sudo apt-get -y install docker-ce

2. 安装 NVIDIA Container Toolkit

# 首先配置 repo
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# 更新 repo
sudo apt-get update
# 安装 NVIDIA Container Toolkit
sudo apt-get install -y nvidia-container-toolkit

3. 部署 Open WebUI

sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always  ghcr.nju.edu.cn/open-webui/open-webui:cuda

建议使用国内镜像站 ghcr.nju.edu.cn/open-webui/open-webui 以加快下载速度。

最后通过 127.0.0.1:3000 访问 WebUI，效果图如下：

常见问题与解决方案

问题 1：模型较大，下载困难

• 解决方案：从镜像站下载模型后，使用 ollama 指定路径加载¹。

问题 2：外网模型迁移到内网

• 解决方案²：
  1. 直接在内网安装部署。
  2. 在外网环境安装后，使用 Docker 迁移到内网。

问题 3：模型性能优化

• 建议³：
  1. 将上下文长度设置为 16384（16K）。
  2. 线程数设为 62（保留 2 个核心）。
  3. 启用 mlock 防止内存分页。
  4. 保持连接存活时间为 3 小时。

问题 4：如何判断模型是否加载到 GPU

• 解决方案：使用 ollama ps 命令查看模型加载情况。

  ollama ps

Processor 列显示模型加载到的内存类型（GPU 或 CPU）。

问题 5：修改 Ollama 模型存储位置⁴

• 注意：修改存储位置后，确保 ollama models 和 ollama 目录的权限正确，建议将用户名和群组改为 ollama:ollama。