Advance with you
株式会社ジーデップ・アドバンス

NVIDIA エリートパートナー

LLMなどの大規模AI開発向けアプリケーションリソースマネージメントツール 「 G-Suite 」

 

OSネイティブ環境+コンテナ環境のハイブリッドアプリケーションリソースマネージメントツール G-Suite

 

G-SuiteG-Works LLM Application Suite for Linux ジー・スイート)


G-Suite(G-Works LLM Application Suite for Linux ジー・スイート)は、これまで当社が提供してきた「G-Works」の仕組み(Deep Learning の主要なフレームワークを、各世代のGPU に最適化してビルドしたソフトウェア群)を継承し、さらに発展させたOS ネイティブ環境+コンテナ環境のハイブリッドアプリケーションリソースマネージメントツールです。
G-Suite はジーデップ・アドバンス製品にインストールされるソフトウェアで、インターネット上のWeb サイトから様々なレシピやサポートツール群をダウンロードし、簡易解説書やチュートリアルを含むアプリケーション実行環境を構築することが可能です。最適化されたフレームワークが実装されているためユーザーが面倒な構築作業を行うことなく届いたその日からAIの研究開発を開始することが可能です。

 

OSネイティブ環境+コンテナ環境のハイブリッドアプリケーションリソースマネージメントツール G-Suite

 

項目 G-Suite G-Works
使用ユーザー 一般ユーザー 特権ユーザー
ユーザーインターフェース Text graphics menu dialog Command line
Python  miniforge カスタムビルド
仮想環境 conda env python -m venv
仮想環境切り替え gsuitectl env selector menu envmodule load …
Deep Learning Framework miniforge + pip カスタムビルド
インターネット配信 設定レシピ+スクリプト Binary+スクリプト
インストール位置 ユーザー領域 /home/<user>等 + システム領域 /opt等 システム領域 /opt等
CUDA/NVHPC/Driver gsuitectl gdepctl bridge gsuitectl
WandB Support Yes Yes
LLM Support Yes No
Bioinformatics Support Yes No
Jupyterlab integration tool Yes No
MIG Selector Yes No
MIG Slurm reconfiguration tool Yes No
NGC Support Yes No
Docker to Singularity Image Converter Integrated in the menu Separate command
CUDA Aware Yes Yes
ライセンス 一部有償の場合有 GDEPカスタマー無償

 

 

OSネイティブ環境+コンテナ環境のハイブリッドアプリケーションリソースマネージメントツール G-Suite

 

 

 

Python環境構築における課題の解決


Pythonアプリケーションの環境セットアップにおいて、マシンのOS、ハードウェアやそのサポートソフトなど、多くの点を確認しなければなりません。

また、1つのPython環境に複数のアプリケーションを組み込む場合、モジュール依存性のバッティングなど、多岐に渡る問題が起こり、容易に環境構築できず試行錯誤を繰り返すことで時間を要します。

 

① 環境構築以前に起きる問題

Python環境構築時に起きる問題をG-Suiteが解決

 

② ユーザビリティ問題(使いやすさ)

 

各Python 開発環境でjupyter lab※を全て同じ環境になるように構築するには、構築に関するノウハウの蓄積が必要なため、ユーザーにとって負担が大きい。

 

③ リソースの有効活用問題(ジョブ管理)

 

空いているGPUリソースを自動的に選択して効率よく使用するためには一定の知識とソフトウェア環境の調整が必要。

 

これらの様々な課題を総合的に解決し、ユーザーの利便性を最大化することを目指して設計されたのがG-Suite

 

OS ネイティブ環境+コンテナ環境のハイブリッドアプリケーションリソースマネージメントツール G-Suiteの紹介

 

LLMなどの大規模言語解析 AI開発向けOSネイティブ環境+コンテナ環境のハイブリッドアプリケーションリソースマネージメントツール G-Suiteの概要


G-Suite では、ソフトウェアのモジュール構成定義ファイルやチュートリアル環境と簡易解説書、それに付随するスクリプト群の集合体を
「レシピ」と名付けています。このレシピのメニューから必要なものをダウンロードし、簡単に正しくセットアップできることが最大の特徴となっています。

 

Miniforgeを用いたネイティブ環境のPythonアプリケーションを、Web上に用意されたレシピの中からメニュー選択することで、容易にマシン上にセットアップできます。

 

 

G-Suiteの主な機能

 

G-Suite は、開発環境に含まれるconda パッケージモジュール※1 とpip パッケージモジュール※2 全てを詳細なバージョンを含んだ形で記録済み。それらの出力結果を利用して失敗しない開発環境の再構築が可能。

 

① Condaコマンド機能


pythonのベースバージョンやモジュール群でインストール内容の違う状態をいくつも切り替えて使うことのできる仮想環境

Pythonや他のプログラミング言語のパッケージ管理システムおよび環境管理システムのconda パッケージモジュールとPythonのパッケージ管理システムで、Pythonのライブラリやモジュールを簡単にインストール、アップデート、削除するためのpip パッケージモジュールを含み、失敗しない開発環境の再構築が可能。

 

② G-Suite Control機能


G-Suiteは「gsuitectl(ジースイートコントロール)」というコマンドラインツールからダイアログ形式の選択メニューを提供。メニューは階層化されておりメインメニュー、サブメニュー、レシピ選択、実行、などが簡単に操作可能。

 

構成確認済みPython環境レシピをネットワーク配布やGPU世代に応じたPython環境レシピ自動選択、アプリケーション領域別メニューなど簡単に操作可能。

 



G-SuiteはPythonアプリケーション環境を提供する以外にも、アプリケーションの実行に必要なツールやファイル群
、サンプルコードや簡易解説書を同時インストールするため、ユーザーはすぐに利用が可能になります。


 

③ その他の機能


G-Suiteはその他にもいくつかの特徴的な機能を搭載。

Jupyter-kernel + Slurm GPUリソース指定自動セットアップ、Container + GPU(MIG)バインドサポート、Slurmリソース管理統合、NVIDIA GPU Cloud のDocker イメージメニュー検索+シーケンシャルダウンロードスケジューリングサポートの機能があります。

 

NCG Container Menuの画面サンプル

 

これらメニューアイテムの一部はローカル環境にインストール。
大半はWeb上に配置され、随時追加・更新されていく予定。

NVIDIA GPU Cloud のDocker イメージメニュー検索+シーケンシャルダウンロードスケジューリングサポートとしてNVIDIAのGPUを活用したアプリケーションを開発する際、NGCからDockerイメージを効率的に取得するために、スクリプトを使用してそれらのタスクを一時的に保存し、順番に実行する。

 

 

ご購入前のご案内

G-Suite お問い合わせ G-Suite お問い合わせ

 

 

trending_flat