—
**系统信息**
- 操作系统：Ubuntu 24.04.3 LTS，内核版本 6.17.0-22-generic，x86_64 架构
- CPU：AMD EPYC 7K62 48-Core Processor
- 内存：ddr4 256G
- 主板：H12D-8D
- GPU 0：NVIDIA RTX PRO 6000 Blackwell Workstation Edition (96GB) — 总线地址：c4:00.0；仅用于计算任务------出现故障
- 驱动程序：595.71.05 (NVIDIA UNIX Open Kernel Module)
- CUDA：13.2
- GSP 固件版本：595.71.05
- PCIe 接口：PCIe 4.0 x16 @ 16.0 GT/s（下行带宽 252.048 Gb/s）
- 故障的 GPU 识别
- 产品名称：NVIDIA RTX PRO 6000 Blackwell Workstation Edition
- 序列号：1795125094715
- GPU UUID：GPU-b5ad617d-85e7-c017-6c7b-10203f923d88
- VBIOS 版本：98.02.81.00.07
- 主板部件编号：*
- 设备 ID：0x2BB110DE
- 子系统 ID：0x204B10DE
**工作负载**
系统中运行 vLLM 推理服务器（通过 Docker 镜像 `docker.io/vllm/vllm-openai:v0.20.2` 部署），加载的模型为 Qwen3.6-27B-nvfp4 。服务配置了较高的 `gpu_memory_utilization`（约 0.90），待机较多,少有高负载,进行间歇性推理任务;
**故障行为**
- GPU 突然从系统中"消失"，`nvidia-smi` 报错 `Unable to determine the device handle for GPU0: Unknown Error`，或仅显示 `No devices were found`。
- 系统并未完全冻结：宿主机操作系统、其他 PCIe 设备（网卡、NVMe）均正常工作，可通过 SSH 或本地终端登录。
- 正在运行的应用程序（vLLM 容器）未能完全退出，但推理请求全部失败，返回内部错误（如 `MODEL_EXECUTION_FAILED`）。
- 无法通过 `nvidia-smi --gpu-reset -i 0` 或重新加载内核模块恢复，必须执行完全冷启动（断电 30 秒以上）才能恢复正常。
- 内核日志 `dmesg` 中无任何 Xid 错误或 GSP 超时信息，仅在模块卸载时出现 `kmem_cache_destroy` 和 `nvidia_dev_put_uuid` 警告，表明驱动内部状态已损坏。
—
已尝试的缓解措施（均未能阻止故障复现）
nvidia-bug-report.log.gz (11.6 MB)
在问题发生前后，已按社区和官方建议尝试了以下所有软件层面的缓解手段，但 GPU 仍然在持续负载下随机"掉落"：
1.内核启动参数调整
在 /etc/default/grub 的 GRUB_CMDLINE_LINUX_DEFAULT 中添加了以下参数并已更新 GRUB：
iommu=pt（仅适用于 AMD 平台，绕过有缺陷的 VBIOS BAR 分配问题）
pci=realloc（强制重分配 PCI 资源）
pcie_aspm=off（彻底关闭 PCIe 活动状态电源管理）
snd_hda_intel.blacklist=yes modprobe.blacklist=snd_hda_intel（禁用 GPU 上的音频控制器）
2.持久模式与守护进程
已启用 nvidia-persistenced 并将 GPU 持久模式设置为 1（nvidia-smi -pm 1），确保驱动在无负载时不被卸载。
3.GPU 重置尝试
在故障发生后，尝试执行 nvidia-smi --gpu-reset -i 0，命令执行失败（GPU 已无法响应），无法恢复。
3.唯一恢复方式
上述所有方法均无效，唯一能让 GPU 恢复正常的操作是完全冷启动（关机并拔掉电源线等待 30 秒以上后重新开机）。
电源连接使用 全新海韵1300w pcie5.1 tx1300 atx3 专项供电;