NVIDIA 模型在 AMD GPU 上的部署方案

★教程特色

本教程融合了 CSDN 技术博客与知乎深度专栏两类教程的优点：既有可照抄的保姆级步骤，也有讲清原理的深度分析。

02方案总览与对比

五条路径按"易用性 → 专业性"排列，先看全景再选路。

2.1 五条路径速览

2.2 选型决策流程

下面这张决策图是本章的核心：先判断显卡是否在 ROCm 官方支持列表，再根据运行环境与模型类型收敛到具体方案。

flowchart TD
    A[要在 AMD GPU 上运行模型] --> B{显卡在 ROCm 官方支持列表?}
    B -- 是 --> C[方案一: ROCm 生态
Linux 首选, 性能最佳]
    B -- 否 --> D{运行环境?}
    D -- Windows --> E[方案四: DirectML
仅需 DX12 驱动]
    D -- Linux --> F[方案二: ONNX 执行引擎]
    C --> G{模型含闭源 CUDA 程序?}
    G -- 是 --> H[方案三: ZLUDA
尝试性, 兼容性有限]
    G -- 否 --> I[方案五: HIP 移植
hipify 自动转换]
        

2.3 各方案详细对比

除性能与改动量外，还需综合评估学习成本、运行成本与长期维护风险。下表从更多维度展开对比：

2.4 常见误区澄清

04方案二 · ONNX + 通用执行引擎

把模型转成跨平台 ONNX 格式，用兼容 AMD 的执行引擎运行，适合不想配复杂环境的场景。

4.1 ONNX 是什么，为什么适合 AMD

ONNX（Open Neural Network Exchange）是微软与多家厂商推动的开放模型交换格式，把模型定义成一张与框架、硬件无关的计算图。配合 ONNX Runtime，同一份 .onnx 文件可以在 CPU、NVIDIA、AMD、Intel 等任意硬件上运行——这正是它适合 AMD 的原因：模型本身不绑定 CUDA，执行引擎负责对接具体硬件。

对 AMD 显卡，ONNX Runtime 提供两类执行提供者（Execution Provider）：Linux 下用 ROCm 执行提供者（性能最优），Windows 下用 DirectML 执行提供者（仅需 DX12 驱动，无需装 ROCm）。

4.2 导出模型为 ONNX（详细步骤）

用原框架（PyTorch / TensorFlow）将模型导出为 .onnx 文件。主流模型大多提供现成 ONNX 版本，也可用官方脚本导出。以 PyTorch 为例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")

# 构造示例输入（用于固定输入形状）
dummy = tokenizer("你好", return_tensors="pt")

# 导出为 ONNX（opset 版本建议 ≥ 17）
torch.onnx.export(
    model,
    (dummy["input_ids"], dummy["attention_mask"]),
    "qwen.onnx",
    input_names=["input_ids", "attention_mask"],
    output_names=["logits"],
    dynamic_axes={"input_ids": {0: "batch", 1: "seq"}},
    opset_version=17,
)

4.3 选择执行提供者

# 安装 ONNX Runtime（含 ROCm / DirectML 支持）
pip install onnxruntime-rocm   # Linux + ROCm
pip install onnxruntime-directml # Windows + DirectML

安装后可用以下代码查看当前环境可用的执行提供者，确认 AMD 后端是否就绪：

import onnxruntime as ort
print(ort.get_available_providers())
# Linux 期望包含 ROCMExecutionProvider
# Windows 期望包含 DmlExecutionProvider

4.4 加载并指定 AMD 设备（完整示例）

import onnxruntime as ort
import numpy as np

# Linux + ROCm
sess = ort.InferenceSession("qwen.onnx", providers=["ROCMExecutionProvider"])
# Windows 下改用：providers=["DmlExecutionProvider"]

# 构造输入并推理
input_ids = np.array([[1, 2, 3, 4]], dtype=np.int64)
outputs = sess.run(None, {"input_ids": input_ids})
print(outputs[0].shape)

4.5 性能调优与限制

ONNX 方案的优势是跨平台与低配置成本，但也需要了解其边界：

06方案四 · DirectML（Windows 懒人方案）

基于微软 DirectML 的 Windows 原生加速，仅需最新 AMD 显卡驱动，无需安装 ROCm。

6.1 DirectML 原理：为什么 Windows 用户可以"零配置"

DirectML 是微软提供的硬件加速 API，兼容所有 DX12 显卡（含 AMD）。它不依赖 CUDA 或 ROCm，而是直接对接 Windows 的 DX12 硬件抽象层——只要显卡驱动支持 DX12，DirectML 就能用。这意味着对 Windows 用户，这是真正的零环境配置路径。

DirectML 的执行路径是：应用 → PyTorch/TensorFlow/ONNX → DirectML → DX12 驱动 → AMD 显卡。相比 ROCm 的原生路径，中间多了一层 DX12 抽象，因此性能通常略低，但换来的是无需安装任何额外驱动或 SDK。

6.2 PyTorch + torch-directml（完整用法）

微软官方推荐的用法（2026 年已改为插件模型，不再使用 privateuseone:0 字符串）^[9]：

# 安装 torch-directml 插件
pip install torch-directml

# 使用示例
import torch
import torch_directml
dml = torch_directml.device()   # 返回设备对象，不是字符串

tensor1 = torch.tensor([1]).to(dml)
tensor2 = torch.tensor([2]).to(dml)
print((tensor1 + tensor2).item())

6.3 其他生态

• TensorFlow：官方 tensorflow-directml 包，直接使用 pip install tensorflow-directml 即可。
• AI 工具：多数本地 LLM 客户端、AI 绘画工具提供"DirectML 启动模式"，选择后自动识别 AMD 显卡。例如 Stable Diffusion WebUI 的 DirectML 分支、ComfyUI 的 DirectML 启动参数。
• ONNX Runtime：使用 DmlExecutionProvider（见第 4 章方案二）。
• LM Studio：Windows 版支持 Vulkan 后端（也是通过 DX12 层），安装后直接选择 AMD 显卡即可。

6.4 性能对比与建议

08实战案例：本地大模型与 AI 绘画

最常见的两类 AMD 部署场景，给出可直接照做的路径。

8.1 本地大模型（LLM）推理

本地大模型是 AMD 部署最成熟的场景，主流推理工具均已原生支持 AMD GPU：

8.2 Ollama 详细部署步骤（个人首选）

Ollama 是个人本地对话最省事的方案，原生支持 AMD ROCm 后端。以下为 Linux / WSL2 下的完整流程：

1. 安装 Ollama

   # Linux / WSL2 一键安装脚本
   curl -fsSL https://ollama.com/install.sh | sh
   
   # 验证安装并查看 GPU 支持
   ollama --version
   ollama ps

2. 拉取并运行模型

   # 拉取 Qwen2.5（自动选择 GGUF 量化格式）
   ollama pull qwen2.5:7b
   
   # 运行模型（首次启动会加载到 GPU）
   ollama run qwen2.5:7b "用一句话介绍 AMD ROCm"

3. 确认模型跑在 GPU 上

   ollama ps
   # 输出中 PROCESSOR 列为 100% GPU 即成功

4. （可选）配置并发与显存

   # 设置环境变量控制并发（默认 4 并发）
   export OLLAMA_NUM_PARALLEL=1
   export OLLAMA_MAX_LOADED_MODELS=1
   ollama serve

8.3 vLLM 生产级部署（高吞吐首选）

docker pull rocm/vllm:rocm7.14.0_rdna_ubuntu24.04_py3.14_pytorch_2.11.0_vllm_0.23.0

1. 启动 vLLM 服务（Docker 方式）

   docker run -it --rm \
     --device=/dev/kfd --device=/dev/dri \
     --group-add=video --group-add=render \
     --ipc=host --shm-size=16g \
     -p 8000:8000 \
     rocm/vllm:rocm7.14.0_rdna_ubuntu24.04_py3.14_pytorch_2.11.0_vllm_0.23.0 \
     --model Qwen/Qwen2.5-7B-Instruct \
     --gpu-memory-utilization 0.90 \
     --max-model-len 16384

2. 验证 OpenAI 兼容 API

   curl http://localhost:8000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{"model":"Qwen/Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"你好"}]}'

3. 启用自动 attention 后端优化

   # 让 vLLM 自动选择最优 attention 后端（ROCm 上关键优化）
   export VLLM_ROCM_USE_AITER=1

8.4 AI 绘画（Stable Diffusion / ComfyUI）

AI 绘画工具对 AMD 的支持同样成熟，以下为 ComfyUI 与 WebUI 的详细步骤：

1. ComfyUI（推荐） 2026 年 1 月的 Adrenalin 驱动已把 ComfyUI 作为可选一键安装项^[5]。Linux 下使用 ROCm 版 PyTorch 直接运行：

   # 克隆 ComfyUI 并安装依赖
   git clone https://github.com/comfyanonymous/ComfyUI.git
   cd ComfyUI
   pip install -r requirements.txt
   
   # 启动（ROCm 版 PyTorch 自动识别 AMD 显卡）
   python main.py --listen 0.0.0.0 --port 8188

   Windows 下可用 DirectML 分支：python main.py --directml。
2. Stable Diffusion WebUI 提供 ROCm 分支（Linux）与 DirectML 分支（Windows），选择对应启动参数即可自动识别 AMD 显卡：

   # Linux + ROCm
   ./webui.sh --use-rocm
   
   # Windows + DirectML
   ./webui-user.bat --use-directml

3. 性能提示 SD 系列模型对显存带宽敏感，RX 7900 XTX / RX 9070 XT 等大显存带宽的卡体验更佳；显存不足时配合 --medvram / --lowvram 参数。

8.5 常见模型适配速查

10多卡与分布式部署

多张 AMD 显卡的并行配置，RCCL 对标 NVIDIA NCCL。

10.1 RCCL 与多卡通信基础

多卡场景下，ROCm 使用 RCCL（对标 NCCL）做 GPU 间通信，PyTorch 的 DistributedDataParallel 等接口在 ROCm 上可直接复用。RCCL 支持三种通信路径：

先用 rocm-smi --showtopo 查看 GPU 拓扑，确认多卡之间的互联方式，这决定了通信带宽上限。

10.2 多卡推理

vLLM 支持张量并行（tensor parallel），可将大模型切分到多张卡：

# vLLM 张量并行：2 张 AMD 卡
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-72B-Instruct \
  --tensor-parallel-size 2

张量并行的原理是把模型的权重与计算按层切分到多张卡，每张卡只负责一部分，通过 RCCL 在每次前向传播时同步。72B 模型在单卡 48GB 上放不下时，可用 2 张 48GB 卡（如 2×W7900D）以张量并行方式运行。

10.3 多卡训练

# PyTorch DDP（ROCm 下自动使用 RCCL）
torchrun --nproc_per_node=2 train.py

PyTorch 的 DistributedDataParallel（DDP）在 ROCm 下会自动检测并使用 RCCL 后端，代码与 CUDA 环境完全一致。数据并行（DP）适合模型能放进单卡、但想加速训练的场景；模型放不下单卡时需用张量并行（TP）或流水线并行（PP）。

10.4 多卡系统配置要点

多卡系统在硬件与内核层面有几处必须注意的配置，否则可能出现系统不稳定或性能异常：

1. 内核参数 iommu=pt 多卡系统需在内核命令行加入 iommu=pt，否则可能出现系统不稳定或挂起（NCCL 警告）^[17]。

   # 编辑 GRUB 配置，在 GRUB_CMDLINE_LINUX 中加入 iommu=pt
   sudo sed -i 's/GRUB_CMDLINE_LINUX=""/GRUB_CMDLINE_LINUX="iommu=pt"/' /etc/default/grub
   sudo update-grub
   sudo reboot

2. 确认 NUMA 亲和性 多路 CPU 系统上，GPU 与 CPU 的 NUMA 节点亲和性影响通信性能，可用 rocm-smi --showtopo 查看并调整进程绑定。
3. PCIe 通道规划 消费级主板通常只有一条 PCIe x16 通道，多卡带宽受限，建议优先考虑单卡大显存方案。

12选型建议与决策矩阵

按你的场景对号入座，并对比五个方案的综合表现。

12.1 场景速查

12.2 综合对比

以下雷达图从四个维度对比五条路径（评分基于作者综合评估，供快速参考）：

12.3 成本与硬件选型

选型不仅看软件路径，还要结合硬件成本。下表给出不同预算档位的 AMD 显卡选型建议：

12.4 决策建议总结

14社区资源与开发者计划

AMD 正通过魔搭社区、Datawhale 等开源社区大力补齐 ROCm 生态，并提供免费算力与官方支持。本章把每条资源展开成可直接照做的详细教程。

14.1 魔搭社区 × AMD：ROCm 中国开发者专区

2025 年 12 月，AMD 携手 Datawhale 与魔搭社区（ModelScope）正式成立「AMD ROCm 中国开发者专区」，目标是打破硬件与软件开发之间的壁垒，为开发者提供系统学习、动手实践、技术共创与开源协作的一体化成长体系^[19]。

14.1.1 专区三大内容方向

14.1.2 如何加入与使用

1. 访问魔搭社区：打开 modelscope.cn，注册或登录账号（支持手机号 / 阿里云账号 / 微信）。
2. 进入学习中心：在社区顶部导航进入「学习」板块，搜索「AMD ROCm 中国开发者专区」，即可看到专区全部教程与活动入口。
3. 加入开发者社群：专区页面提供微信群二维码，扫码加入 Datawhale AMD 开发者社区群，获取答疑与组队学习机会。
4. 开始动手实践：配合 14.2 的激励计划领取免费算力，在魔搭 Notebook 中直接运行 ROCm 教程代码。

14.2 魔搭 × AMD 开发者激励计划：最高 1000+ 小时免费算力

魔搭社区联合 AMD 正式启动「开发者激励计划」，通过参与技术分享与动手实践，开发者可申请获得最高 1000 小时以上的 GPU 算力支持。计划包含三条完全独立、可叠加的任务路径^[20]：

14.2.1 Step 0：注册 AMD 开发者计划（必做，+100 小时）

1. 进入活动入口：登录魔搭社区 modelscope.cn，进入「我的 Notebook」页面，在主视觉区找到「AMD 开发者激励计划」入口并点击进入活动流程。
2. 跳转 AMD 官网注册：页面将跳转到 AMD 开发者计划网站，选择「使用魔搭账号授权登录」以绑定账号。
3. 完善个人资料：按提示填写个人基础信息（姓名、邮箱/手机号等），提交后立即成为 AMD Developer Program 成员，无需额外审核。
4. 返回启用 AMD GPU：回到魔搭「我的 Notebook」或新建 Notebook，在运行时环境列表中即可看到 AMD GPU 选项（如 MI300X）及对应镜像，选择后即可正常使用。

14.2.2 Option 1：发布原创技术文章（25 小时/篇，最多 50 小时）

1. 撰写文章：在魔搭社区「学习圈」板块发布原创技术文章。建议内容方向：ROCm 安装与配置经验、AMD GPU 大模型部署手记、Ryzen AI 开发初体验、AMD GPU 推理优化技巧等。
2. 添加标签：发布时选择话题标签 #AMD GPU 激励计划。
3. 等待审核：提交后进入审核队列，审核周期约 5 个工作日。评审维度包括原创度、技术相关性、代码/数据/结果完整性。
4. 获得算力：审核通过后，系统自动发放对应 GPU 小时数。

14.2.3 Option 2：发布 Notebook 代码实践（50 小时/篇，最多 150 小时）

1. 编写 Notebook：在魔搭社区「灵感集」板块发布基于 AMD GPU 的 Notebook 代码实践，例如 Stable Diffusion 部署、LLM 微调或部署、Skill Agent 搭建、推理优化实践、Agent 构建等。
2. 添加标签：发布时包含标签 #AMD GPU 激励计划。
3. 等待审核：提交后约 5 个工作日审核。评审维度包括自动化执行测试、代码注释完整性、环境搭建说明、技术相关性。
4. 获得算力：审核通过后系统自动发放 GPU 小时数。

14.2.4 Option 3：CreateSpace 部署应用（按需分配 700+ 小时）

在魔搭 CreateSpace 部署 AMD GPU 应用，需先加入专属组织以获得 AMD 独占 GPU 资源：

1. 申请加入组织：访问 modelscope.cn/organization/AMD_Dev（或搜索「AMD Developer Center」），点击「申请加入」，在申请理由中附上资质证明。
2. 提交资质：资质要求为已注册 AMD 开发者计划（Step 0），且已在魔搭发布至少 1 篇过审技术文章或 1 个高质量 AMD 相关 Notebook。申请理由中需填写 AMD 开发者账号 ID（在 AMD 开发者计划 → Profile 中可查）。
3. 等待审批：审批通过后成为组织成员，在 CreateSpace 创建或配置应用时即可选择 AMD 独占 GPU 资源（如 MI308X）及对应镜像。
4. 提交部署：提交应用后约 5 个工作日审核。评审权重：安全性 25% + 功能完整度 25% + AMD 技术相关性 20% + 用户体验 15% + 创新性 15%。
5. 获得算力：审核通过后系统自动发放对应 GPU 小时数（按应用质量由 AMD 团队最终确定）。

14.3 AMD AI 开发者计划（全球与中文站）

AMD AI Developer Program 面向全球开发者提供免费云算力、专属 AI 培训、专家支持与独家开发者资源^[21]。2026 年 5 月，AMD AI 开发者计划中文站（developer.amd.com.cn）正式上线，为中国开发者提供本地化体验^[22]。

14.3.1 全球版：AMD AI Developer Program

全球版申请流程：访问 developer.amd.com/ai-developer-program 注册并提交申请，说明计划如何使用 GPU 额度（推理/训练/微调），AMD 审核通过后即可在 Dashboard 的「Member Perks」中点击「Request Cloud Credits」领取^[21]。云额度通常自入账起 30 天内有效，仅适用于 AMD Instinct MI300X GPU。

14.3.2 中文站：AMD AI 开发者计划（中国区官方平台）

中文站针对中国网络环境做了本地化优化，无需科学上网即可访问，核心亮点如下：

14.3.3 中文站注册与领取算力（详细步骤）

1. 访问中文站：打开 developer.amd.com.cn/login，选择微信扫码、魔搭账号授权或手机号/邮箱验证码登录。
2. 完善注册表单：首次登录会跳转注册表单，按提示填写姓名、邮箱/手机号并完成验证，即可成为 AMD Developer Program 成员。
3. 完善信息领积分：进入会员中心，补全「个人基础信息 → 项目环境与偏好 → 学术身份」，提交后获得 100 积分。
4. 进入 Radeon Cloud：登录后在中文站首页一键进入 AMD 开发者云（Radeon Cloud），活动期间注册成员免费获得 100 小时中国区专属算力额度。
5. 选择模板创建工作区：平台内置开箱即用的技术模板与预配置工作区（如 ROCm + PyTorch），选择模板 → 启动工作区 → 在浏览器内进入开发环境，无需自行配置环境。

14.3.4 积分兑换云算力券（详细流程）

积分兑换的完整逻辑是：先在 AMD AI 开发者计划中文站消耗积分生成云算力券链接，再前往 AMD 开发者云平台完成兑换入账。兑换规则：1 积分 = 1 小时 GPU 云算力，100 积分起兑，兑换小时数不超过当前剩余可兑换积分数，云算力券通常自兑换日起 30 天内有效^[22]。

1. 进入兑换区：从中文站主页面或活动入口进入云算力兑换区域。
2. 发起兑换：在兑换活动页点击「立即兑换」，输入想兑换的云算力小时数，点击「去兑换」。
3. 复制兑换链接：兑换成功后复制生成的兑换链接。
4. 登录开发者云平台：访问 AMD 开发者云平台，使用 GitHub 或魔搭账号登录并完成授权。
5. 兑换入账：点击右上角头像进入 Profile → 点击「Redeem Credits」→ 在「Coupon Link」输入框粘贴兑换链接 → 点击「Redeem」完成兑换。

14.4 hello-rocm：Datawhale 的 ROCm 开源教程

Datawhale 主导的 hello-rocm 项目系统覆盖 AMD ROCm 平台大模型的完整使用链路，从环境安装（ROCm + PyTorch + uv）到部署、微调训练与 GPU 编程，并内置可安装到 AI 编程工具的 hello-rocm Skill^[23]。

14.4.1 项目定位与学习路径

hello-rocm 的目标是让 AMD GPU 不只是一块显卡，而是进入 AI 开发世界的真实起点。项目建议的学习顺序为：先完成环境安装（00-Environment），再学习部署（01-Deploy）与微调（02-Fine-tune），最后探索算子优化与 GPU 编程（03-Infra）。初学者可在环境就绪后从 LM Studio 或 vLLM 部署开始。

14.4.2 已支持模型与部署框架

hello-rocm 已覆盖主流大模型的「多框架推理 + 微调实践」，且持续扩充：

14.4.3 安装 hello-rocm Skill（装进你的 AI 助手）

如果你使用支持 Skills、Rules 或 Agent 配置的 AI 编程工具，可以直接使用项目内置的 hello-rocm Skill。它会根据仓库的目录结构、Reference 索引、GPU 架构表、部署教程和排障清单，自动定位到具体文档与官方链接。

1. 获取 Skill：克隆或下载 datawhalechina/hello-rocm 仓库，找到 src/hello-rocm-skill 目录。
2. 安装到工具：将 Skill 安装或加载到合适位置（例如 .claude/skills、.cursor/skills 或 .agents/skills）。
3. 开始使用：直接向 AI 助手提问，例如「我的 AMD GPU 能不能跑 ROCm？」「我想最快跑通一个本地大模型应该看哪篇？」「vLLM / Ollama / llama.cpp 在 ROCm 上怎么装？」「torch.cuda.is_available() 返回 False 怎么排查？」。

14.4.4 在 Radeon Cloud 上跑通第一个 ROCm 任务

hello-rocm 与 AMD Radeon Cloud 深度配套，平台预置了开箱即用的环境，建议起步路径：

1. 启动工作区：在 Radeon Cloud 启动一个内置 ROCm + PyTorch 模板的工作区。
2. 跑通推理：参考仓库 01-deploy 的 Gemma4 / Qwen3 / Qwen3.5 部署教程完成推理。
3. 体验训练：进入 02-fine-tune 完成 LoRA 微调实战。
4. 进阶底层：学习 03-infra 算子优化，了解 GPU 底层原理。

14.5 SWIFT：魔搭生态的 AMD 微调框架

SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是魔搭社区开源的模型微调与部署框架，已正式支持 AMD ROCm 训练^[24]。配合魔搭的 AMD GPU 算力，可在 Notebook 中直接完成 LoRA / 全参微调，与 14.2 的激励计划形成「算力 + 工具」闭环。

14.5.1 环境准备

在 AMD ROCm 环境下使用 SWIFT 前，先确认环境满足要求：

# 1. 确认 GPU 与 ROCm 环境（rocm-smi 能看到 GPU 设备）
rocm-smi

# 2. 确认 PyTorch 为 ROCm 版本
python -c "import torch; print(torch.version.hip)"

# 3. 安装 SWIFT（推荐使用国内源加速）
pip install ms-swift -U -i https://pypi.tuna.tsinghua.edu.cn/simple

# 4. 验证安装
swift --version

14.5.2 环境检查（多卡场景）

SWIFT 官方 AMD 支持文档建议在训练前用 rocm-smi 检查 GPU 拓扑（XGMI 互联、NUMA 亲和性），确保多卡通信正常^[24]。单卡场景可跳过此步。

# 查看 GPU 拓扑（XGMI 互联与 NUMA 节点）
rocm-smi --showtopo

# 查看显存使用
rocm-smi --showmeminfo vram

14.5.3 LoRA 微调示例（命令行）

以 Qwen 系列模型为例，使用 SWIFT 命令行即可完成 LoRA 微调：

# 使用魔搭模型 ID 直接微调（自动从 ModelScope 下载）
swift sft \
  --model Qwen/Qwen2.5-7B-Instruct \
  --train_type lora \
  --dataset "AI-ModelScope/alpaca-cleaned#1000" \
  --output_dir output/qwen-lora \
  --max_length 2048 \
  --batch_size 1 \
  --gradient_accumulation_steps 4 \
  --learning_rate 1e-4 \
  --num_train_epochs 1

14.6 免费算力与学习资源速查

下表汇总了本章介绍的全部资源，方便快速对比选择：

14.6.1 实战案例：白嫖 48GB 显存跑 DeepSeek

魔搭社区已有开发者利用 AMD AI 开发者计划提供的免费云 GPU（Radeon PRO W7900D，48GB 显存）完成 DeepSeek 的私有化部署实战，全程零成本，适合零基础读者跟着做^[25]。核心步骤概览：

1. 注册领取算力：访问 AMD AI 开发者计划专属注册链接，用手机号注册登录，进入「AMD 开发者云」→ 点击「Create Template」，Container Image 选择 AMD OneClick Base (rocm7.2.1-py3.12)，创建后点击「Launch」进入云端终端。
2. 检查环境：依次运行 rocm-smi（确认 GPU 挂载）、rocminfo | grep gfx（确认架构 gfx1100）、ls /dev/dri/renderD*（确认 GPU 数量）、amd-smi static --vram（确认 48GB 显存）、pip show vllm（确认 vLLM 已预装）。
3. 设置环境变量：export PYTORCH_ROCM_ARCH="gfx1100"、export HSA_OVERRIDE_GFX_VERSION=11.0.0、export HF_ENDPOINT=https://hf-mirror.com。
4. 下载模型：用魔搭下载 deepseek-ai/DeepSeek-R1-Distill-Qwen-14B（约 28GB，FP16），国内直连速度快。
5. 启动 vLLM：vllm serve /workspace/models/DeepSeek-R1-14B --max-model-len 16384 --gpu-memory-utilization 0.90 --trust-remote-code --port 8000，出现 Application startup complete 即成功。
6. 打通公网：用 ngrok 将本地 8000 端口映射为公网地址，即可在 Cherry Studio / OpenCode 等客户端中配置 OpenAI 兼容 API 使用。

14.6.2 如何选择适合自己的路径