DeepSeek-R1 私有化部署 ubuntu22.04 3060显卡

2025年 2月 9日 477点热度 0人点赞 1条评论

引言

春节期间，最火的应该就是DeepSeek了，抖音、知乎等等海外也引爆了，讨论比较多
查看网上的资料，发现DeepSeek火爆，主要有以下几个原因：
- 低成本：其研发成本仅为557万美元，极大地降低了AI模型的开发门槛。
- 开源免费：DeepSeek是开源的，全球开发者可以自由使用和测试，这吸引了大量用户。
- 减少GPU依赖：DeepSeek有效降低了大规模训练对GPU资源的依赖，推动了AI产业链的重塑。
- 国际关注：DeepSeek在国际上引起了广泛关注，尤其是在中国和美国的科技圈，被视为AI领域的“黑马”。

使用方式

方式一：官网访问
- 打开访问地址：https://chat.deepseek.com
- 但是不稳定，由于太火爆，服务中断比较频繁
方式二：三方平台
- 因为DeepSeek是开源的，只要有资源，公司就可以自己部署
- 以下测试可以正常使用
- 国家超算中心：https://chat.scnet.cn/#/home
  - 提供了蒸馏的 7B、32B版本
- 红衣教主周鸿祎的纳米搜索
  - 网页版本地址：https://www.n.cn/
  - app需要下载"纳米搜索"
  - 在2025年1月30日，升级“360专线版”为“DeepSeek-R1 满血高速专线版”
方式三：私有化部署
- 如果自己有电脑，可以本机部署。或者部署到云服务器上

私有化部署

前置条件

由于我本地部署是在linux + nvidia上，分享linux端的部署
硬件系统
- linux系统 ubuntu 22.04
- 显卡 nvidia（英伟达），熟称的N卡，我的显卡是：3060 12G显存
软件
- linux安装ollama、open-webui（可选）、docker、nvidia驱动，如果有小伙伴不会安装，可以留言，单独出一篇如何安装

部署

提示
- 我本地环境是安装了pve的主机，显卡做了直通虚拟机ubuntu上。这个和linux的物理机使用方式是一样的
- 自己家用台式机安装linux也是一样的
- 硬件平台：垃圾佬必备，组装价1000左右
  - 主板：华南金牌豪华大版
  - cpu：e5-2680 v2
  - 内存：不知名内存 ddr3 64G
  - 固态：七彩虹512G
  - 电源：金河田 600W
- 系统：pve8，安装了ubuntu22.04的虚拟机，显卡直通到虚拟机中
查看软件安装情况
- docker容器
- 在终端执行：docker ps 查看是否安装docker
- 注意：
  - docker需要支持容器使用gpu，查看是否安装了 NVIDIA Container Toolkit
  - 验证是否安装
```
docker run --rm --gpus all nvidia/cuda:12.4-base nvidia-smi
```
  - docker拉取镜像的时候，会很慢，或者直接超时，可以上网查询代理镜像配置
  - 或者有科学上网的方式，可以配置 Docker Daemon， 添加代理地址，加速拉取过程
- nvidia显卡驱动
- 显卡驱动可以直接在nvidia官网下载linux版本
- 在终端执行：nvidia-smi ，查看是否有以下输出
- ollama
- 简介：获得运行用的大语言的模型。
- 官网：https://ollama.com/
- 使用docker直接拉取ollama镜像
  - 路径 /data/docker-data/ollama需要更改为实际的本机路径，用于存储下载的模型等
  - 拉取镜像
  关键需要配置：--gpus=all参数,使用gpu推理。如果不配置，那么运行的时候使用的是cpu推理，比较慢
```
docker run -d --gpus=all -v /data/docker-data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
```
  - 成功启动之后，ollama就运行在11434端口上了
  - 搜索模型：
  - 在ollama官网地址栏上输入 “deepseek”
  - 进入ollama的docker
```
 docker exec -it 418987da92ac /bin/bash
```
  - 拉取DeepSeek-R1模型，本次拉取的是14b模型，启动之后显存占用大约10G左右
```
ollama run deepseek-r1:14b
```
  - 拉取成功后，可以直接输入内容和模型交互
  - 现在是可以交互了，但是不太方便，可以安装open-webui，方便通过界面直接交互访问
- open-webui
- 官网：https://openwebui.com
- github地址：https://github.com/open-webui/open-webui
- 使用docker compose的方式启动
  - 新建一个目录，在目录中新建docker-compose.yml文件，内容如下
```
version: '3.8'

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "8080:8080"
    volumes:
      - ./data:/app/backend/data
    extra_hosts:
      - "host.docker.internal:host-gateway"
      - "api.openai.com:127.0.0.1"
```
  - 启动
```
docker compose up -d
```
  - 启动之后，可以直接访问：http://[本机地址]:8080 打开界面，新建一个账户登录
  - 使用 nvidia-smi 查看发现，显存占用大概10G左右
  - 推理过程中，GPU占用大概85%左右