RTX 6000 Ada vs RTX A6000 AIベンチマーク速報
NVIDIA エリートパートナー 株式会社ジーデップ・アドバンスでは2023年1月から出荷が始まった「NVIDIA RTX 6000Ada」のAI学習ベンチマークを取得しました。
Geforeシリーズや、RTX A6000 と比較してどの程度のパフォーマンスがあるのか速報値として公表致します。尚、この結果は2022年1月23日時点で入手可能なドライバーやCUDA、学習モデルの最新バージョンを用いたものであり、今後ソフトウェアのバージョンアップ等により性能値が変化する場合がありますことをご了承下さい。
※2023年7月取得 NVIDIA H100 vs NVIDIA A100 vs NVIDIA RTX 6000Ada ベンチマーク はこちらから
ベンチマーク対象カード
検証比較対象としたカードは以下の通りです。
RTX 6000 Ada | RTX A6000 | Geforce RTX 4090 | Geforce RTX 3090 | |
アーキテクチャ | Ada Lovelace | Ampere | Ada Lovelace | Ampere |
メモリ容量 | 48GB GDDR6 | 48GB GDDR6 | 24GB GDDR6X | 24GB GDDR6X |
メモリ帯域 | 最大960GB/s | 最大768GB/s | 最大1008GB/s | 最大936GB/s |
メモリバス幅 | 384bit | 384bit | 384bit | 384bit |
CUDAコア数 | 18176 | 10752 | 16384 | 10496 |
Tensorコア数 | 568 | 336 | 512 | 328 |
RTコア数 | 142 | 84 | 128 | 82 |
インターフェース | PCIe Gen4 x16 | PCIe Gen4 x16 | PCIe Gen4 x16 | PCIe Gen4 x16 |
NVLink | 非対応 | 対応 | 非対応 | 非対応 |
熱設計電力(TDP) | 300W | 300W | 450W | 350W |
冷却方法 | アクティブ | アクティブ | アクティブ | アクティブ |
Geforce RTX 4090 は Geforce RTX 3090 の後継として 2022年10月12日に発売が開始された AdaLovelaceアーキテクチャのGPUです。Ampere世代のGPUと比較して約1.5倍のCUDAコア、Tensorコア、RTコアを搭載し、消費電力は450Wと今回比較するカードの中では最大となります。対して 2023年1月から出荷の始まったRTX 6000 Ada も AdaLovelaceアーキテクチャを搭載し、RTX4090を上回るCUDAコア、Tensorコア、RTコアを搭載し、メモリ容量も48GB GDDR6とアクティブファンのグラフィックカードとしては最大容量となります。RTX 6000 Ada は今回からNVLINK™非対応となっています。これはマザーボード側のPCI-Expressの帯域がGen3の2倍のGen4が標準となり広帯域化してきたため、エクスターナルなインターフェースの見直しが入ったタイミングと推察します。ただ、そもそもNVLINK™やNVSwitch™で繋がっているSXMフォームファクターのGPUシステムとは異なり、PCI-Expressで常時接続されているGPUシステムでNVLINK™を利用するにはそのための前処理が必要となりますので、通信量の少ない処理ですとオーバーヘッドとなり、あまり恩恵が得にくい事象も過去にはありました。今回は2枚の NVIDIA RTX A6000 と1枚のRTX 6000 Ada、2枚のRTX 6000 Adaとの比較も検証しています。
検証機
GWS-TRP/4G
CPU:AMD Ryzen Threadripper PRO 5965WX 24-Cores
MEMORY:DDR4 128GB
SSD:NVMe M.2 960GB
OS:Ubuntu 22.04.1 LTS (Jammy Jellyfish)
Kernel:5.15.0-57-generic
CUDA:12.0
検証結果
学習件数/秒で Geforce RTX 3090 のパフォーマンスを1とした場合の比較
Pytorch FP32 | resnet50 | bert base | bert large |
RTX 3090 24GB x1 | 1 | 1 | 1 |
RTX 4090 24GB x1 | 1.31 | 1.52 | 1.72 |
RTX A6000 48GB x1 | 0.99 | 0.93 | 1.34 |
RTX 6000 Ada 48GB x1 | 1.39 | 1.84 | 2.62 |
RTX A6000 48GB x2 | 1.96 | 1.84 | 2.58 |
RTX 6000 Ada 48GB x2 | 2.72 | 3.45 | 4.46 |
結果考察
今回の NVIDIA RTX 6000 Ada のベンチマークでは、一部の学習モデルで従来のRTX A6000の約2倍のパフォーマンスを確認できました。また、bart base や bart large など自然言語系の学習では RTX 6000Ada 1枚で、2枚のRTX A6000と同等かそれ以上の値を示しており、コストパフォーマンスの妥当性を示した結果となりました。
RTX 6000 Ada は300Wで動作する3年保証ビジネスユースのカードであり、最新のAda Lovelaceアーキテクチャを搭載したフラッグシップモデルです。本結果から、ご予算さえ合えば充分選択肢として検討する価値のあるカードと言えると思います。
尚、この結果は2022年1月23日時点のドライバーやCUDA、学習モデルを利用したものであり、今後ソフトウェアのバージョンアップ等により性能値が変化する場合があります。また、本ベンチマーク数値は一定の条件下で測定されたものであり、製品の性能を保証するものではございません。
アカデミックキャンペーンのご案内
NVIDIA エリートパートナー 株式会社ジーデップ・アドバンスでは、今回ベンチーマークを取得した「NVIDIA RTX 6000 Ada」と「NVIDIA RTX A6000」のアカデミックキャンペーンを展開中です。ぜひこの機会に高性能なGPUカードをご検討下さい。