NVIDIA H100NVL
NVIDIA 顯示卡
NVIDIA H100 NVL 是專為大型語言模型推論設計的 Hopper 架構資料中心 GPU，單卡配置 94GB HBM3 高頻寬記憶體，記憶體頻寬達 3.9 TB/s。內建 Transformer Engine 支援 FP8 精度，在大模型推論上相較前代有數倍效能提升。採用 PCIe 5.0 雙插槽被動散熱設計，可透過 NVLink 橋接器兩兩相連取得 600 GB/s 的卡間頻寬，並支援多實例 GPU（MIG）最多切分為 7 個獨立實例。時唯科技提供 H100 NVL 搭配 4U／6U GPU 伺服器的整機建置與導入服務。
規格
| 架構 | NVIDIA Hopper 架構（GH100） 第 4 代 Tensor 核心 內建 Transformer Engine（支援 FP8） |
|---|---|
| 顯示記憶體 | 94GB HBM3 高頻寬記憶體 記憶體頻寬 3.9 TB/s |
| 系統介面 | PCIe 5.0 x16 |
| 卡間互連 | 支援 NVLink 橋接器，卡間頻寬 600 GB/s |
| 虛擬化 | 多實例 GPU（MIG），最多切分為 7 個獨立實例 支援 NVIDIA vGPU |
| 功耗 | 最大功耗 350W ～ 400W（可設定） |
| 散熱與尺寸 | 被動式散熱（依賴機箱風流） 雙插槽全高全長，適用機架式伺服器 |
| 軟體支援 | CUDA、TensorRT-LLM、NVIDIA AI Enterprise、NCCL |
| 適用場景 | 大型語言模型推論、生成式 AI 服務、深度學習訓練、高效能運算 HPC |