5.27. Keras¶
本システムでは、NVIDIA NGC(NVIDIA GPU Cloud)で提供されている最適化済みTensorFlowコンテナイメージ(Keras同梱)をSingularityで取得・実行することで、GPUを活用したKerasによる深層学習環境を利用できます。
コンテナイメージ例(NGC) |
実行キュー |
|---|---|
|
A_002
A_001
CA_001
DA_002
|
注意
コンテナイメージの取得(pull)はフロントエンドノードで事前に実行してください。
必要となるデータセット等も事前にフロントエンドノードでダウンロードしてください。
イメージの取得方法や詳細なオプションについては Singularity使用方法 のページも併せてご確認ください。
5.27.1. コンテナイメージの準備(フロントエンドノード)¶
フロントエンドノード上で、NVIDIA NGCレジストリからKerasが含まれるTensorFlowイメージをpullしてSingularityイメージファイル( .sif )を作成します。
イメージのpullはホームディレクトリ配下で実行してください。作成後はホーム領域のクォータ圧迫を避けるため、キャッシュクリアを行ってください(詳細は Singularity使用方法 を参照)。
・NGCからTensorFlow(Keras含む)コンテナイメージを取得(例: 24.09-tf2-py3)
$ singularity pull tensorflow_24.09-tf2-py3.sif docker://nvcr.io/nvidia/tensorflow:24.09-tf2-py3
※ 利用可能なタグ(バージョン)は、 NVIDIA NGC Catalog (TensorFlow) をご参照ください。
5.27.2. ジョブスクリプトの書式¶
アクセラレータ搭載サーバ上でGPUを利用して実行するジョブスクリプトの書式です。
--nv オプションを付与することで、コンテナ内からNVIDIA GPUが認識されます。
#!/bin/sh
#PBS -l select=1[:ncpus=CPU数][:ngpus=GPU数][:mem=メモリ容量]
#PBS -q CA_001
#PBS -N ジョブ名
cd $PBS_O_WORKDIR
singularity exec --nv <イメージファイル名.sif> python 入力ファイル > 出力ファイル 2> エラー出力ファイル
5.27.3. 実行例¶
共有GPUキュー(CA_001)を使用し、2 CPUコア、2 GPU、メモリ64GBでスクリプト cifar100.py を実行する例です。
#!/bin/sh
#PBS -l select=1:ncpus=2:ngpus=2:mem=64gb
#PBS -q CA_001
#PBS -N Keras_job
cd $PBS_O_WORKDIR
singularity exec --nv tensorflow_24.09-tf2-py3.sif python cifar100.py > cifar100.out 2> cifar100.err