NVIDIA H200NVL
NVIDIA Graphics Card
Based on the NVIDIA Hopper™ architecture, the NVIDIA H200 is the first GPU to offer 141 gigabytes (GB) of HBM3e memory at 4.8 terabytes per second (TB/s) —that’s nearly double the capacity of the NVIDIA H100 GPU with 1.4X more memory bandwidth. The H200’s larger and faster memory accelerates generative AI and LLMs, while advancing scientific computing for HPC workloads with better energy efficiency and lower total cost of ownership.
Specifications
| 架構 | NVIDIA Hopper 架構（H200）第 4 代 Tensor 核心，內建 Transformer Engine，支援 FP8 |
|---|---|
| 顯示記憶體 | 141GB HBM3e 高頻寬記憶體，記憶體頻寬 4.8 TB/s |
| 系統介面 | PCIe 5.0 x16 |
| 卡間互連 | 支援 NVIDIA NVLink Bridge，2-way / 4-way NVLink，最高 900 GB/s / GPU；4-way 可達 1.8 TB/s |
| 虛擬化 | 多實例 GPU（MIG），最多切分為 7 個 GPU Instance；H200 NVL 每個 Instance 約 16.5GB |
| 功耗 | 最大功耗 600W（可設定） |
| 散熱與尺寸 | 雙槽 PCIe、主動式散熱（氣冷），適用於伺服器與資料中心環境 |
| 軟體支援 | CUDA、TensorRT-LLM、NVIDIA AI Enterprise、NCCL、NVIDIA NIM |
| 適用場景 | 大型語言模型推論、生成式 AI、AI 模型訓練、HPC 高效能運算、AI 資料中心 |