search製品名・スペックから検索
NVIDIA H100 vs NVIDIA A100 vs NVIDIA RTX 6000Ada ベンチマーク
NVIDIA エリートパートナー 株式会社ジーデップ・アドバンスでは最新のデータセンター向けGPU「NVIDIA H100」と従来の「NVIDIA A100」そして2023年1月から出荷が始まった「NVIDIA RTX 6000Ada」のAI学習ベンチマークを取得しました。
尚、この結果は2023年7月6日時点で入手可能なドライバーやCUDA、学習モデルの最新バージョンを用いたものであり、今後ソフトウェアのバージョンアップ等により性能値が変化する場合がありますことをご了承下さい。
ベンチマーク対象カード
検証比較対象としたカードは以下の通りです。
| NVIDIA RTX 6000Ada | NVIDIA A100 | NVIDIA H100 | |
| アーキテクチャ | Ada Lovelace | Ampere | Ada Lovelace |
| メモリ容量 | 48GB GDDR6 | 80GB HBMe2 | 80GB HBMe2 |
| メモリ帯域 |
最大960GB/s |
最大1,935GB/s |
最大1,935GB/s |
| メモリバス幅 | 384bit | 5120bit | 5120bit |
| CUDAコア数 | 18176 | 6912 | 14,592 |
| Tensorコア数 | 568 | 432 | 456 |
| RTコア数 | 142 | 0 | 0 |
| インターフェース | PCIe Gen4 x16 | PCIe Gen4 x16 | PCIe Gen5 x16 |
| NVLink | 非対応 | 対応 | 対応 |
| 熱設計電力(TDP) | 300W | 300W | 350W |
| 冷却方法 | アクティブ | パッシブ | パッシブ |
「NVIDIA RTX 6000Ada」は2023年1月から出荷が開始されたNVIDIA社のハイエンドグラフィックカードです。NVIDIA Ada Lovelaceアーキテクチャを採用し、第3世代の RT コア、第4世代の Tensor コア、次世代 CUDA® コアを搭載し 48GB の広帯域GDDR6メモリと組み合わせることにより、高いAI学習性能及び推論性能を実現します。
さらに、グラフィック性能としても前世代となるNVIDIA RTX A6000と比較して約2倍の性能パフォーマンスを提供し、レンダリング、グラフィックス、NVIDIA Omniverseを使ったコンテンツ制作などの開発や研究もさらに加速出来ます。
検証機
GSV-741SI4U4G
CPU:Intel(R) Xeon(R) Gold 6430 2100 MHz x2
MEMORY:DDR5 256GB
OS:Ubuntu 22.04.1 LTS (Jammy Jellyfish)
Kernel:5.15.0-73-generic
CUDA:12.0
検証結果
学習件数/秒で RTX 6000Ada のパフォーマンスを1とした場合の比較
| GPU | resnet50 | bert base FP16 | bert base FP32 | bert large FP16 | bert large FP32 |
| RTX 6000Ada |
1.00 |
1.00 | 1.00 | 1.00 | 1.00 |
| RTX 6000Ada x 2枚 | 1.96 | 1.91 | 1.91 | 1.87 | 1.87 |
| RTX 6000Ada x 4枚 | 3.89 | 3.74 | 3.81 | 3.70 | 3.65 |
| A100 80GB | 1.50 | 1.38 | 1.56 | 1.47 | 1.43 |
| A100 80GB x 2枚 | 2.98 | 2.75 | 3.07 | 2.90 | 2.80 |
| H100 | 1.77 | 1.91 | 2.00 | 2.15 | 1.96 |
| H100 80GB x 2枚 | 3.52 | 3.78 | 3.95 | 4.21 | 3.77 |
結果考察
RTX 6000Ada を2枚使用した学習スピードは NVIDIA A100 を1枚を利用した時よりも約30％程高速になることが確認されました。これは AdaLovelaceアーキテクチャの採用とCUDAコア数、Tensorコア数の違い、2枚で96GBになるGPUメモリなどが要因と思われます。
RTX 6000Ada のリテールプライスは税別約110万円(2枚で220万円）、アカデミックやインセプションパートナー向けの特別価格が一枚税別約90万円（2枚で180万円）ほどとなっています。これに対してNVIDIA A100は1枚約220万円の価格設定となりますので、RTX6000AdaはAI学習においても非常にコストパフォーマンスの高い製品という結果となりました。
2023年7月現在 NVIDIA A100 の納期が未定で実質的に受注停止の状況です。LLM等大規模なAI学習については「RTX 6000Ada」の複数枚利用がコスト的にも性能的にもお勧めです。
（2023年8月 データセンター向けGPU「NVIDIA L40S」が受注開始になりました。こちらも合わせてご検討下さい）
・予算に合わせて1枚単位で増設可能
予算に合わせて増設や交換が可能で、ワークステーションモデルであれば最大4枚、サーバーモデルであれば最大8枚搭載も可能
・TDP300Wのアクティブファンクーリング
ビデオカード自体に冷却ファンが搭載されたアクティブクーリングですので搭載対応モデルが多様で、静音性が高い構成も可能です。
・ビデオ出力端子が付き
4つの DisplayPort 1.4 出力端子が備わっているため別途ビデオカード、ビデオチップが不要です。
尚、この結果は2023年7月7日時点のドライバーやCUDA、学習モデルを利用したものであり、今後ソフトウェアのバージョンアップ等により性能値が変化する場合があります。また、本ベンチマーク数値は一定の条件下で測定されたものであり、製品の性能を保証するものではございません。
NVIDIA RTX™ 6000 Ada のご案内
NVIDIA RTX A6000 Adaは NVIDIA Ada Lovelaceアーキテクチャを採用したワークステーション向けGPUです。第3世代の RT コア、第4世代の Tensor コア、次世代 CUDA® コアを 48GB の広帯域GDDR6メモリと組み合わせることにより、かつてないコンピューティング パフォーマンスを実現します。
