在BigCloud系统使用昇腾910bGPU与MindIE镜像部署DeepSeek模型指南

本文介绍如何基于华为BigCloud操作系统，利用昇腾（Ascend）GPU硬件加速能力，通过华为云MindIE（MindSpore Inference Engine）Docker镜像快速部署DeepSeek大语言模型。/usr/local/Ascend/mindie/2.0.T3/mindie-service/2.执行命令，启动服务。覆盖安装或升级请按照“固件->驱动”的顺序。在安装驱动固件前，

搞什么滚去学习

923人浏览 · 2025-04-09 17:30:20

搞什么滚去学习 · 2025-04-09 17:30:20 发布

在BigCloud系统使用昇腾910bGPU与MindIE镜像部署DeepSeek模型指南

本文介绍如何基于华为BigCloud操作系统，利用昇腾（Ascend）GPU硬件加速能力，通过华为云MindIE（MindSpore Inference Engine）Docker镜像快速部署DeepSeek大语言模型。本方案充分发挥华为软硬件协同优势，提供高效推理服务。

一、环境准备

1.1昇腾驱动与固件

确保BigCloud系统已正确安装昇腾GPU驱动及AI框架依赖

1.1.1检查环境是否安装好了昇腾GPU驱动

系统是否安装过软件包：执行lsmod | grep drv_pcie_host命令查询系统是否安装过软件包，如无内容表示未安装过软件包。可以直接安装软件包。如有内容，表示安装过软件包。需要先卸载驱动包后，再安装新版本软件包。(如果版本新也可以选择跳过1.2)
检测芯片是否正常在位：可通过iBMC查询NPU芯片名称方法：登录iBMC Web管理网站，选择“系统管理 >系统信息>其他>PCle卡”，查看NPU型号信息。

在这里插入图片描述

验证驱动状态

npu-smi info

在这里插入图片描述

1.1.2 如果检查没有,需要安装驱动固件

操作系统环境检查
在安装驱动固件前，需要安装前确认操作系统，并检查环境

执行如下命令，查询服务器当前运行环境的操作系统架构及版本。

uname -m && cat /etc/*release

如果对版本没有具体要求可以下载社区版驱动固件驱动地址
根据自己的操作系统选择
以root用户创建运行用户
示例：

# groupadd HwHiAiUser
# useradd -g HwHiAiUser -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash

安装依赖：执行命令检查依赖是否存在，若未安装，需要相应操作系统厂商网站获取并安装。

make -v
gcc -v
rpm -qa | grep dkms
rpm -qa | grep gcc
rpm -qa | grep kernel-devel-$(uname -r)

上传驱动固件安装包
将下载的驱动固件安装包上传至服务器

安装驱动
首次安装请按照“驱动->固件”的顺序；覆盖安装或升级请按照“固件->驱动”的顺序。

切换至root用户，执行如下命令，进入软件包所在路径（如“/opt”）。

cd /opt

执行如下命令，增加软件包的可执行权限。

chmod +x Ascend-hdk-310p-npu-driver_x.x.x_linux-{arch}.run

执行如下命令，校验run安装包的一致性和完整性。

./Ascend-hdk-310p-npu-driver_x.x.x_linux-{arch}.run --check

若出现如下回显信息，表示软件包校验成功。

Verifying archive integrity... 100% SHA256 checksums are OK. All good.

执行如下命令，完成驱动安装，软件包默认安装路径为“/usr/local/Ascend”。

./Ascend-hdk-310p-npu-driver_x.x.x_linux-{arch}.run --full

若系统出现如下关键回显信息，则表示驱动安装成功。

Driver package installed successfully!

（可选）根据系统提示信息决定是否重启系统，若需要重启，请执行以下命令；否则，请跳过此步骤。

1.2安装docker服务

只提供思路这个网上一大堆

#!/bin/bash
# 参数：$1=后端ECS内网IP（通过Terraform变量传递）

# --------------------- Docker安装 ---------------------
install_docker() {
    # 检测Docker是否已安装
    if command -v docker &> /dev/null; then
        log "检测到Docker已安装，跳过安装步骤"
        return 0
    fi

    log "开始安装Docker..."
    
    # 持续尝试下载直到成功
    while : ; do
        log "尝试下载Docker..."
        if wget -O /tmp/docker.tgz "https://download.docker.com/linux/static/stable/x86_64/docker-26.0.0.tgz"; then
            log "下载Docker成功"
            break
        else
            log "下载失败，等待5秒后重试..."
            sleep 5
        fi
    done

   
    tar zxvf /tmp/docker.tgz -C /usr/bin/ --strip-components=1|| die "解压Docker失败"
    
    
    # 配置systemd服务
    cat > /usr/lib/systemd/system/docker.service <<EOF
[Unit]
Description=Docker Application Container Engine
After=network-online.target
Wants=network-online.target

[Service]
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP \$MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s

[Install]
WantedBy=multi-user.target
EOF

        systemctl daemon-reload || die "重载systemd失败"
        systemctl start docker.service || die "启动Docker失败"
        systemctl enable docker || die "设置Docker开机启动失败"
        log "Docker安装成功"
}

# --------------------- 主流程 ---------------------
main() {
    install_docker    # 安装Docker
}

# --------------------- 工具函数 ---------------------
log() { echo "$(date '+%Y-%m-%d %H:%M:%S') - $1"; }
die() { log "$1"; exit 1; }

# 执行主流程
main "$@"

1.3安装python3服务

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel git


wget https://www.python.org/ftp/python/3.12.9/Python-3.12.9.tgz

tar -zxvf Python-3.12.9.tgz

cd Python-3.12.9/

./configure

make && make install

ln -sf /usr/local/bin/python3 /usr/bin/python3
ln -sf /usr/local/bin/pip3 /usr/bin/pip3
python -V

tar -xf node-v14.15.4-linux-x64.tar.xz

ln -s /opt/node-v14.15.4-linux-x64/bin/node /usr/bin

node -v

ln -s /opt/node-v14.15.4-linux-x64/bin/npm /usr/bin

npm -v

npm  install -g pm2

ln -s /opt/node-v14.15.4-linux-x64/bin/pm2 /usr/bin

pm2 -v


git clone https://gitee.com/shanghai-ronghui-information/pudong-python.git



Cd 到 fastapp.py所在目录 

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

然后 启动


 pm2 start fastapp.py --name sjmhdataapi -x --interpreter python3

二、使用Hugging Face CLI下载权重（需提前安装git-lfs）

2.1.安装依赖

pip install -U huggingface_hub

2.2 设置环境变量

export HF_ENDPOINT=https://hf-mirror.com
# 建议将上面这一行写入 ~/.bashrc

2.3 下载模型

huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Llama-70B --local-dir deepseek

三、获取 MindIE 镜像并运行

3.1 获取链接

https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c343
9d48f

3.2 选择“镜像版本”，点击“申请权限”（这个要等待审批，审批通过后方可下载下方

镜像）
在这里插入图片描述

3.3 执行命令创建docker

docker run \
  # 容器基础配置
  --name deepseek \
  -itd \
  --net=host \
  --shm-size=500g \
  --privileged=true \
  -w /home \
  
  # 昇腾设备映射
  --device=/dev/davinci_manager \
  --device=/dev/hisi_hdc \
  --device=/dev/devmm_svm \
  
  # 卷挂载配置
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  -v /usr/local/sbin:/usr/local/sbin \
  -v /deepseek:/deepseek \ #权重下载位置
  -v /tmp:/tmp \
  -v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
  
  # 代理设置
  -e http_proxy=$http_proxy \
  -e https_proxy=$https_proxy \
  
  # 镜像与入口点
  --entrypoint=bash \
  swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.T3.1-800I-A2-py311-openeuler24.03-lts

3.4 进入 docker

docker exec -it {docker的name} /bin/bash

3.5 配置 MindIE

3.5.1 配置环境

source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh
source /usr/local/Ascend/atb-models/set_env.sh
source /usr/local/Ascend//mindie/set_env.sh
source /usr/local/Ascend/mindie/2.0.T3/mindie-service/set_env.sh