NVIDIA BlueField-3 DPU — 硬件操作与压力测试指南

版本: V2.9.2 | 硬件: NVIDIA BlueField-3 B3220/B3140H | DOCA: 2.9.2 | OFED: 24.10 适用系统: Debian 12 / RHEL 8.5+ / Ubuntu 20.04+ / CentOS 8+

1. 概述

1.1 什么是 BlueField-3 DPU

NVIDIA BlueField-3 DPU（Data Processing Unit）是第三代数据中心基础设施处理器，将高性能网络（ConnectX-7）与 Arm 计算核心集成在单一芯片上，用于卸载和加速基础设施任务。

BlueField-3 相比 BlueField-2 的 memcpy 延迟最高提升 61%，STREAM 内存带宽最高提升 82%。

1.2 软件栈架构

┌──────────────────────────────────────────┐
│              用户应用 / 工作负载            │
├──────────────────────────────────────────┤
│  DOCA SDK (驱动、库、工具、加速框架)        │
├──────────────┬───────────────────────────┤
│  DPU OS      │  NIC Firmware (ConnectX-7) │
│  (Linux Arm) │                             │
├──────────────┼───────────────────────────┤
│  BMC FW      │  主机驱动 (DOCA-Host)       │
├──────────────┴───────────────────────────┤
│           BlueField-3 硬件                 │
└──────────────────────────────────────────┘

1.3 操作模式

模式切换通过 mlxconfig 配置 INTERNAL_CPU_OFFLOAD_ENGINE 参数：

• DPU 模式: INTERNAL_CPU_OFFLOAD_ENGINE=0
• NIC 模式: INTERNAL_CPU_OFFLOAD_ENGINE=1

注意：模式切换需要冷断电重启（cold power cycle），普通 reboot 不生效。

1.4 本地版本概况

重要提示 (2025年1月起)：MLNX_OFED 作为独立产品已停止功能更新，新功能仅通过 DOCA-OFED 交付。BF3 主机端必须使用 DOCA-Host 驱动。

2. 如何下载 BF3 OS

2.1 NVIDIA 官方下载

2.2 本地网络下载📁 本地下载

2.3 BFB 镜像类型

2.4 主机操作系统兼容性

3. 如何安装 BF3 OS ★

3.1 前置准备

3.1.1 确认 DPU 已被主机识别

$ lspci | grep -i mellanox
# 应显示 BlueField-3 设备（Device ID: a2dc）

$ lspci -d :a2dc
# 确认 BlueField-3 设备存在

3.1.2 确认 DPU 处于正确模式

$ mlxconfig -d /dev/mst/mt4123_pciconf0 query | grep -i INTERNAL_CPU
# DPU 模式下应为 EMBEDDED_CPU_MODE(1) 或 INTERNAL_CPU_OFFLOAD_ENGINE=0

3.1.3 启用 rshim 服务

$ sudo systemctl enable rshim
$ sudo systemctl start rshim
$ ls /dev/rshim0/
# 确认出现 console 等设备文件

注意：如果 /dev/rshim0/ 不存在，检查 DPU 是否正确插入 PCIe 插槽，并确认系统已安装 rshim 驱动（包含在 DOCA-Host 包中）。

3.1.4 安装依赖工具

# Debian/Ubuntu
$ sudo apt-get update && sudo apt-get install -y jq pv python3-pip git minicom

# RHEL/CentOS
$ sudo yum install -y epel-release
$ sudo yum install -y jq pv python3-pip git minicom

3.2 手动安装方式（bfb-install）★

步骤 1：安装 DOCA Host 驱动

$ sudo dpkg -i doca-host_2.9.2-012201-24.10-debian125_amd64.deb
$ sudo apt-get -y -f install    # 修复可能的依赖问题

重要：BlueField-3 主机端必须使用 DOCA-Host 而非传统的 MLNX_OFED。DOCA-Host 推荐使用 doca-all profile（包含完整功能套件）。

DOCA Host 提供的安装 profiles：

步骤 2：部署 BFB Bundle 到 DPU

$ sudo bfb-install --rshim rshim0 --bfb velinux-bf-bundle-2.9.2-31_25.02_debian-12_5.15_prod.bfb --rootfs image.bin

该命令执行以下操作：

1. 通过 rshim 将 BFB 推送到 DPU
2. 刷新 DPU eMMC 存储
3. 部署根文件系统
4. DPU 自动重启进入新操作系统

等待约 60 秒，DPU 将完成重启。

步骤 3：监控部署进度

$ sudo cat /dev/rshim0/misc
# 等待显示: "INFO[MISC]: DPU is ready"

典型的安装输出流程：

Pushing bfb [====================] 100%
INFO[PSC]: PSC BL1 START
INFO[BL2]: DDR POST passed
INFO[UEFI]: eMMC init
INFO[UEFI]: PCIe enum start
INFO[MISC]: Ubuntu installation started
INFO[MISC]: Installing OS image
INFO[MISC]: NIC firmware update done
INFO[MISC]: DPU is ready

注意：安装过程中严禁重启系统或 DPU，否则可能导致 DPU 不可用。如意外中断，重新运行 bfb-install 即可恢复。

步骤 4：验证安装

$ minicom -D /dev/rshim0/console -b 115200 -o -S <(echo -e "cat /etc/mlnx-release\nuname -a\nexit\n")
# 输出应包含 "BlueField"

$ minicom -D /dev/rshim0/console -b 115200 -o -S <(echo -e "cat /etc/mlnx-release\nexit\n") 2>/dev/null | grep "BlueField"

步骤 5：带密码配置的安装（可选）

如需提前设置 DPU OS 密码、BMC 配置等，可通过 bf.cfg 文件：

# 生成密码 hash
$ openssl passwd -1

# 创建 bf.cfg
$ echo 'ubuntu_PASSWORD=$1$xxxx$xxxxxxxxxxxxxxxxxxxx' > bf.cfg

# 可选 bf.cfg 参数
$ cat >> bf.cfg << 'EOF'
BMC_USER="root"
BMC_PASSWORD="0penBmc"
BMC_REBOOT="yes"
WITH_NIC_FW_UPDATE="yes"
EOF

# 带配置安装
$ sudo bfb-install --rshim rshim0 --bfb <image.bfb> --config bf.cfg

3.3 自动化脚本安装（推荐批量部署）★

自动化脚本 BF3_OS_Install.sh.sh（V2.9.2）实现无人值守的 6 步安装流程。

准备文件

将以下 3 个文件放在脚本同一目录下：

• doca-host_2.9.2-012201-24.10-debian125_amd64.deb
• velinux-bf-bundle-2.9.2-31_25.02_debian-12_5.15_prod.bfb
• image.bin

执行脚本

$ chmod +x BF3_OS_Install.sh.sh
$ sudo ./BF3_OS_Install.sh.sh

脚本自动执行的 6 个步骤：

安装日志写入 bf3_autoinstall.log。

3.4 BFB 镜像登录凭证

3.5 固件升级顺序

如需更新多组件固件，须按以下顺序执行：

Bundle (ATF+UEFI+BMC+CEC+NIC) → CEC → BMC → BIOS → OPN

注意：升级 BIOS/OPN 前必须停止主机端 rshim 服务：

$ sudo systemctl stop rshim

3.6 安装后主机网络配置

配置主机端 tmfifo_net0 以与 DPU 通信：

$ ip addr add 192.168.100.1/24 dev tmfifo_net0
$ ping 192.168.100.2        # 验证 DPU 网络连通性

DPU 端默认 IP：192.168.100.2（tmfifo_net0 内核设备接口）。

3.7 ByteDance 主板热键解锁（如适用）

ByteDance 新主板需执行热键解锁后才能访问 HDD 进入系统：

# 确认 BMC IP 可达
$ ping 192.168.1.10

# 执行解锁（三组 raw 命令 + 重启）
$ ipmitool -I lanplus -H 192.168.1.10 -U toutiao -P toutiao\!@# raw 0x3e 0x5c 0x00 1 0x81
$ ipmitool -I lanplus -H 192.168.1.10 -U toutiao -P toutiao\!@# raw 0x3e 0x5c 0x0a 1 0x81
$ ipmitool -I lanplus -H 192.168.1.10 -U toutiao -P toutiao\!@# raw 0x3e 0x5c 0x0b 1 0x81
$ ipmitool -I lanplus -H 192.168.1.10 -U toutiao -P toutiao\!@# power cycle

4. 如何操作 BF3 DPU 卡 ★

4.1 与 DPU 通信的三种方式

4.2 登录 DPU 控制台

# 方式 1：minicom 串口
$ sudo minicom -D /dev/rshim0/console -b 115200
# 登录: root / 111111

# 方式 2：SSH 通过 tmfifo_net0（需先配置网络）
$ ssh root@192.168.100.2

4.3 IB / ETH 模式切换

DPU 支持 InfiniBand（IB）和 Ethernet（ETH）两种网络模式。

查询当前模式

$ mlxconfig -d /dev/mst/mt4123_pciconf0 query | grep LINK_TYPE

切换到 Ethernet 模式

$ mlxconfig -d /dev/mst/mt4123_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2
$ reboot    # 必须重启生效

切换到 InfiniBand 模式

$ mlxconfig -d /dev/mst/mt4123_pciconf0 set LINK_TYPE_P1=1 LINK_TYPE_P2=1
$ reboot    # 必须重启生效

LINK_TYPE 值：1 = InfiniBand，2 = Ethernet

4.4 常用管理命令

4.5 DPU OS 日常操作

# 登录 DPU OS 后
$ ls                              # 查看目录
$ mkdir -p <your_directory>       # 创建工作目录
$ cd BF3_Stress_package_script/bf3_stress
$ ls
$ ./main.sh                       # 执行压力测试脚本
$ mv -vi report <your_name>       # 重命名测试报告（避免下次运行覆盖）
$ scp -r <your_name> root@192.168.100.1:    # 将结果复制到主机

# 从主机复制文件到 DPU
$ scp -r ~/.ssh/id_rsa root@192.168.100.2:/root/

4.6 DPU 固件 OOB 更新（OobUpdate.sh）

OobUpdate.sh 是基于 Redfish API 的带外固件更新工具，从任意可访问 DPU BMC 的控制器主机（Linux）执行。

支持的更新模块

参数对照表

更新示例

更新 BMC 固件：

$ ./OobUpdate.sh -U root -P Nvidia20240604-- -H 10.237.121.98 -T BMC -F /opt/bf3-bmc-24.04-5_ipn.fwpkg

输出示例：

Start to upload firmware
Process: 100% ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
Restart BMC to make new firmware take effect
OLD BMC Firmware Version: BF-24.03-4
New BMC Firmware Version: BF-24.04-5

更新 CEC 固件：

$ ./OobUpdate.sh -U root -P Nvidia20240604-- -H 10.237.121.98 -T CEC -F /opt/cec1736-ecfw-00.02.0182.0000-n02-rel-debug.fwpkg

输出示例：

Start to upload firmware
Restart CEC to make new firmware take effect
OLD CEC Firmware Version: 00.02.0180.0000_n02
New CEC Firmware Version: 00.02.0182.0000_n02

更新 BIOS（ATF + UEFI）：

$ ./OobUpdate.sh -U root -P Nvidia20240604-- -H 10.237.121.98 -T BIOS -F /opt/BlueField-4.7.0.13127_preboot-install.bfb

输出示例：

Start to upload firmware
Wait for BIOS ready
Old BIOS Firmware Version:
    ATF--v2.2(release):4.8.0-14-gc58efcd, UEFI--4.8.0-11-gbd389cc
New BIOS Firmware Version:
    ATF--v2.2(release):4.7.0-25-g5569834, UEFI--4.7.0-42-g13081ae

更新 Bundle（全组件固件）：

$ ./OobUpdate.sh -U root -P Nvidia20240604-- -H 10.237.121.98 -T BUNDLE -F /opt/bf-fwbundle-2.10.0-147_25.01-prod.bfb

输出示例：

Start to do Simple Update (HTTP)
Wait for DPU(ARM) boot completion
Restart CEC to make new firmware take effect
Restart BMC to make new firmware take effect
                     OLD Version              NEW Version
 BMC :               BF-24.10-24              BF-25.01-4
 CEC :               00.02.0195.0000_n02      00.02.0195.0000_n02
 ATF :               v2.2:4.9.2-14            v2.2:4.10.0-41
 NIC :               32.43.2566               32.44.1036
 UEFI :              4.9.2-25                 4.10.0-81

更新 FRU 自定义数据：

$ ./OobUpdate.sh -U root -P Nvidia20240604-- -H 10.237.121.98 -T FRU \
    -s "Product:Manufacturer=OEM" \
    -s "Product:SerialNumber=AB12345CD6" \
    -s "Product:PartNumber=100-1D2B3-456V-789"

FRU 支持的 OEM 字段：

注意：FRU 写入后需依次执行：1) 重启 DPU（更新 SMBIOS 表），2) 重启 BMC（更新 FRU 信息）。

前置条件

安装 Python requests 模块（离线）

$ cd dpu-update-main-Bytedance-v1.2
$ sudo pip3 install packages/requests-2.27.1-py2.py3-none-any.whl

4.7 BMC Redfish API 操作

BMC 公开 Redfish REST API 用于管理操作。

查询固件版本

$ curl -k -u root:<password> https://<bmc_ip>/redfish/v1/UpdateService/FirmwareInventory

触发固件升级（Multipart HTTP Push，推荐方式）

$ curl -k -u root:'<password>' \
    https://<bmc_ip>/redfish/v1/UpdateService/update-multipart \
    -F 'UpdateParameters={};type=application/octet-stream' \
    -F UpdateFile=@<package_path>

触发固件升级（SimpleUpdate SCP 方式）

$ curl -k -u root:'<password>' \
    -H "Content-Type: application/json" \
    -X POST \
    -d '{
        "TransferProtocol": "SCP",
        "ImageURI": "<remote_server_ip>/<path_to_bfb>",
        "Targets": ["redfish/v1/UpdateService/FirmwareInventory/DPU_OS"],
        "Username": "<username>"
    }' \
    https://<bmc_ip>/redfish/v1/UpdateService/Actions/UpdateService.SimpleUpdate

电源控制

# 查询电源状态
$ curl -k -u root:<password> https://<bmc_ip>/redfish/v1/Systems/Bluefield

# 强制重启
$ curl -k -u root:<password> -X POST \
    https://<bmc_ip>/redfish/v1/Systems/Bluefield/Actions/ComputerSystem.Reset \
    -H "Content-Type: application/json" \
    -d '{"ResetType": "ForceRestart"}'

5. 如何对 BF3 卡进行压力测试 ★

5.1 测试维度概览

5.2 RDMA 带宽测试 (ib_write_bw) ★

测试拓扑

┌──────────┐           ┌──────────┐
│  mlx5_0  │── Server  │          │
│  (DPU)   │           │          │
├──────────┤           │  DPU OS  │
│  mlx5_1  │── Client  │          │
│  (DPU)   │──→ 192.168.200.3      │
└──────────┘           └──────────┘

服务端（DPU OS 上执行）

$ ib_write_bw -a -b -F --report_gbits -d mlx5_0 -q 1 -x 3 -p 10000 -t 1000

客户端（DPU OS 上执行）

$ ib_write_bw -a -b --report_gbits -d mlx5_1 -F 192.168.200.3 -q 1 -x 3 -p 10000 -t 1000

关键性能调优参数

自动化 RDMA 测试脚本（bf3_host.sh）

function bf3_dpu_os_rdma_test()
{
    mkdir bf3
    netdevice_1=`ifconfig -a|egrep -i "enp|ens"|grep -v enx |sed -n 1p|awk '{print$1}'|tr -d ":"`
    echo "Cycle:$i device:${netdevice_1}" >>bf3/rdma_server.log

    netdevice_2=`ifconfig -a|egrep -i "enp|ens"|grep -v enx |sed -n 2p|awk '{print$1}'|tr -d ":"`
    echo "Cycle:$i device:${netdevice_2}" >>bf3/rdma_client.log

    # 服务端
    ib_write_bw -a -b -F --report_gbits -d mlx5_0 -q 1 -x 3 -p 10000 -t 1000 >>bf3/rdma_server.log &
    sleep 3
    # 客户端
    ib_write_bw -a -b -F 192.168.200.3 --report_gbits -d mlx5_1 -q 1 -x 3 -p 10000 -t 1000 >>bf3/rdma_client.log &
}
bf3_dpu_os_rdma_test

5.3 DOCA Perftest（新一代 RDMA 测试工具）

NVIDIA 推荐使用 doca_perftest 替代传统 perftest，优势包括：原生 GPU/DMA 内存类型支持、JSON 输出、BlueField 特定卸载测试。

# 安装
$ sudo apt install doca-tools

# 服务端
$ doca_perftest --test=write_bw --device=mlx5_0 --server

# 客户端
$ doca_perftest --test=write_bw --device=mlx5_0 \
    --server-ip=192.168.100.2 \
    --msg-size=65536 \
    --num-iters=10000

可用测试类型：write_bw, write_lat, read_bw, read_lat, send_bw, send_lat

GPU Direct RDMA 测试：

# 主机内存（基线）
$ doca_perftest --test=write_bw --memory-type=host

# GPU 内存（GDR 路径）
$ doca_perftest --test=write_bw --memory-type=gpu --gpu-id=0

5.4 网络吞吐量测试 (iperf)

# 配置 MTU 9000（巨型帧）
$ ifconfig <interface> mtu 9000

# 服务端
$ iperf -s -p 8000

# 客户端（1 小时压力测试，8 并行流）
$ iperf -c <server_ip> -i 3 -P 8 -p 8000 -t 3600

5.5 链路上/下压力测试 (mlxreg)

通过操作 PMAOS 寄存器反复切换链路状态，验证物理层稳定性。

# 链路 Down
$ mlxreg -d 13:00.0 --set "admin_status=0xe,ase=1" --reg_name PMAOS \
    --indexes "module=0,slot_index=0" -y

# 链路 Up
$ mlxreg -d 13:00.0 --set "admin_status=0x1,ase=1" --reg_name PMAOS \
    --indexes "module=0,slot_index=0" -y

8 端口 PCIe 地址参考：13:00.0, 45:00.0, 4d:00.0, 59:00.0, 90:00.0, c2:00.0, ca:00.0, d6:00.0

验证命令：

# 统计 Link Up 次数（应与端口数一致）
$ dmesg | grep -i "Link up" | awk -F: '{print $2,$3,$NF}' | uniq | wc -l

# 统计 Link Down 次数
$ dmesg | grep -i "Link down" | awk -F: '{print $2,$3,$NF}' | uniq | wc -l

5.6 集成压力测试脚本

# 进入 BF3 压力测试脚本目录
$ cd BF3_Stress_package_script/bf3_stress

# 执行综合压力测试
$ ./main.sh

# 重命名报告文件（避免被下次运行覆盖）
$ mv -vi report <your_test_name>

# 将测试结果复制到主机
$ scp -r <your_test_name> root@192.168.100.1:

5.7 性能基准参考

5.8 高延迟链路 RDMA 优化

在长距离/高 RTT 链路上（如 5ms RTT），默认参数可能导致带宽低于 1Gbps。需要扩展 QP 和 TX 深度：

# 【差】默认参数（高延迟链路）：
$ ib_write_bw -d mlx5_0 -q 1 -x 3 -n 5 -s 100000000 --report_gbits -R <server>

# 【好】优化后（40G 高延迟链路）：
$ ib_write_bw -d mlx5_0 -q 16 -x 3 -n 100000 -t 1024 -s 100000000 --report_gbits -R <server>

原理：每个 QP 维护独立的发送窗口，多个 QP 叠加可倍增总在线数据量。

5.9 系统化 RDMA 测试工作流

1. 识别设备：ibv_devices 或 ibv_devinfo
2. 检查链路：ibstat — 确认 LinkUp 和正确速率
3. 基线测试：

   
      # 服务端
      $ ib_write_bw -d mlx5_0 -R --report_gbits
      # 客户端
      $ ib_write_bw -d mlx5_0 -R --report_gbits <server_ip>
   

4. QP 扩展找饱和点：

   
      $ for qps in 1 2 4 8 16; do
          ib_write_bw -d mlx5_0 -R -q $qps -s 1048576 --report_gbits <server_ip>
        done
   

5. 消息大小扫描（吞吐量曲线）：

   
      $ for size in 64 256 1024 4096 16384 65536 262144 1048576; do
          ib_write_bw -d mlx5_0 -R -s $size --report_gbits <server_ip>
        done
   

6. GPU Direct RDMA（如适用）：

   
      $ ib_write_bw -d mlx5_0 -R --use_cuda=0 --report_gbits <server_ip>
   

7. 切换 DOCA Perftest（BlueField-3 特定功能 + JSON CI/CD 集成）

5.10 测试验证清单

6. 常见问题排查

日志收集

# DPU OS 端
$ dmesg > dpu_dmesg.log
$ cat /var/log/syslog > dpu_syslog.log

# 主机端
$ dmesg | grep -i mlx > host_mlx.log
$ cat bf3_autoinstall.log    # 自动化安装日志

# Redfish 操作日志（OobUpdate）
$ ./OobUpdate.sh -o update.log [其他参数...]

7. 参考链接

7.1 NVIDIA 官方资源

7.2 内部参考文档

7.3 本地网络路径

参考文档: NVIDIA BlueField DPU简介.pptx (2023, Li.Cece) · BF3 DPU实际操作介绍.pptx (2023, Miracle) · BF3_manually install -OS 操作说明.docx · BF3_操作指南.docx · BF3 bundle升级指导书 (飞书, 2025) · BF3_debian-os_operating command_1.txt · NVIDIA 官方 BF3 BSP 部署文档 · DOCA Perftest Benchmarking Guide · DPUIdioBench (ICS 2025)

本手册覆盖: BF3 OS 安装（手动 + 自动化脚本）、DOCA-Host 驱动部署、DPU 操作与通信（3 种方式）、IB/ETH 模式切换、OOB 固件更新（6 种模块）、BMC Redfish API、RDMA 带宽测试（ib_write_bw + doca_perftest + 参数优化）、网络吞吐测试、链路上/下压力测试、集成压力脚本操作、性能基准参考