====== QUANTUM ESPRESSO ======
QUANTUM ESPRESSOを使用可能な計算機サーバは以下の通りです。
  * [[application:quantum_espresso#大規模並列計算サーバ|大規模並列計算サーバ]]
  * [[application:quantum_espresso#アクセラレータサーバ|アクセラレータサーバ]]
  * [[application:quantum_espresso#並列計算・インフォマティクスサーバ|並列計算・インフォマティクスサーバ]]
  * [[application:quantum_espresso#仮想サーバ|仮想サーバ]]
\\
===== 大規模並列計算サーバ =====
以下のバージョンが利用可能です。\\
^バージョン  ^実行モジュールのパス  ^
|6.2.1  |/work/app/QuantumESPRESSO/current  |
|6.3  |/work/app/QuantumESPRESSO/qe-6.3  |
|6.4.1  |/work/app/QuantumESPRESSO/qe-6.4.1  |
|6.5  |/work/app/QuantumESPRESSO/qe-6.5  |
|6.6  |/work/app/QuantumESPRESSO/qe-6.6  |
|6.7  |/work/app/QuantumESPRESSO/qe-6.7  |
|6.8  |/work/app/QuantumESPRESSO/qe-6.8  |
|7.0  |/work/app/QuantumESPRESSO/qe-7.0  |
|7.1  |/work/app/QuantumESPRESSO/qe-7.1  |
|7.2  |/work/app/QuantumESPRESSO/qe-7.2  |
|7.3  |/work/app/QuantumESPRESSO/qe-7.3  |

\\
ジョブ投入用のスクリプトは以下の通りです。
<code>
#!/bin/sh
#PBS -l select=ノード数
#PBS -q キュー名
#PBS -N ジョブ名

DIRNAME=`basename $PBS_O_WORKDIR`
WORKDIR=/work/$USER/$PBS_JOBID
mkdir -p $WORKDIR
cp -raf  $PBS_O_WORKDIR $WORKDIR
cd $WORKDIR/$DIRNAME

aprun [ -n 並列数 ][ -N ノードあたりの並列数 ] -j 1 /work/app/QuantumESPRESSO/current/bin/pw.x < 入力ファイル > 出力ファイル 2> エラー出力ファイル

cd; if cp -raf $WORKDIR/$DIRNAME $PBS_O_WORKDIR/.. ; then rm -rf $WORKDIR; fi
</code>
\\
例）
<code>
#!/bin/sh
#PBS -l select=1
#PBS -q P_016
#PBS -N espresso

DIRNAME=`basename $PBS_O_WORKDIR`
WORKDIR=/work/$USER/$PBS_JOBID
mkdir -p $WORKDIR
cp -raf  $PBS_O_WORKDIR $WORKDIR
cd $WORKDIR/$DIRNAME 

aprun -n 36 -N 36 -j 1 /work/app/QuantumESPRESSO/current/bin/pw.x < cluster4.in > qe.out 2> qe.err

cd; if cp -raf $WORKDIR/$DIRNAME $PBS_O_WORKDIR/.. ; then rm -rf $WORKDIR; fi
</code>
\\
===== アクセラレータサーバ =====
以下のバージョンが利用可能です。

\\
^バージョン  ^実行モジュールのパス  ^実行キュー  ^
|6.1\\ (gpu tag v1.0)  |/usr/local/app/QuantumESPRESSO/current  |A_004  |
|6.4.1(gpu)  |/usr/local/app/QuantumESPRESSO/qe-gpu-6.4.1  |A_004  |
|6.5(gpu)  |/usr/local/app/QuantumESPRESSO/qe-gpu-6.5  |A_004  |
|6.6(gpu)  |/usr/local/app/QuantumESPRESSO/qe-gpu-6.6\\ <color red>*「pgi 20.4」「CUDA 10.1.243」へ切り替えてください</color>  |A_004  |
|6.7(gpu)  |/usr/local/app/QuantumESPRESSO/qe-gpu-6.7\\ <color red>*「pgi 20.4」「CUDA 10.2.89」へ切り替えてください\\ *環境変数LD_LIBRARY_PATHに「/opt/intel/mkl/lib/intel64」を追加してください</color>  |A_004  |
|6.8(gpu)  |/usr/local/app/QuantumESPRESSO/qe-gpu-6.8\\ <color red>*「nvhpc 20.9」「CUDA 10.2.89」へ切り替えてください\\ *環境変数 LD_LIBRARY_PATHに「/opt/intel/mkl/lib/intel64」を追加してください</color>  |A_004  |
|7.0(gpu)  |/usr/local/app/QuantumESPRESSO/qe-gpu-7.0\\ <color red>*「nvhpc 20.9」「CUDA 10.2.89」へ切り替えてください\\ *環境変数 LD_LIBRARY_PATHに「/opt/intel/mkl/lib/intel64」を追加してください</color>  |A_004  |
|7.1(gpu)  |/usr/local/app/QuantumESPRESSO/qe-gpu-7.1\\ <color red>*「nvhpc 20.9」「CUDA 10.2.89」へ切り替えてください\\ *環境変数 LD_LIBRARY_PATHに「/opt/intel/mkl/lib/intel64」を追加してください</color>  |A_004  |
|7.2(gpu)  |/usr/local/app/QuantumESPRESSO/qe-gpu-7.2\\ <color red>*「nvhpc 20.9」「CUDA 10.2.89」へ切り替えてください\\ *環境変数 LD_LIBRARY_PATHに「/opt/intel/mkl/lib/intel64」を追加してください</color>  |A_004  |
|7.3(gpu)  |/usr/local/app/QuantumESPRESSO/qe-gpu-7.3\\ <color red>*「cudatoolkit」をアンロードしてください\\ *「nvhpc 23.1」へ切り替えてください\\ *環境変数 LD_LIBRARY_PATHに「/opt/intel/mkl/lib/intel64」を追加してください\\ * mpirunに「%%--%%mca btl_smcuda_use_cuda_ipc 0」を指定してください</color>  |A_004  |

\\
アクセラレータサーバへのジョブ投入用のスクリプトは以下の通りです。
<code>
#!/bin/sh
#PBS -l select=ノード数
#PBS -q キュー名
#PBS -N ジョブ名

module switch intel PrgEnv-pgi/18.5

DIRNAME=`basename $PBS_O_WORKDIR`
WORKDIR=/work/$USER/$PBS_JOBID
mkdir -p $WORKDIR
cp -raf  $PBS_O_WORKDIR $WORKDIR
cd $WORKDIR/$DIRNAME

mpirun [ -np 並列数 ] [ -N ノードあたりの並列数 ] -hostfile $PBS_NODEFILE /usr/local/app/QuantumESPRESSO/current/bin/pw.x < 入力ファイル > 出力ファイル 2> エラー出力ファイル

cd; if cp -raf $WORKDIR/$DIRNAME $PBS_O_WORKDIR/.. ; then rm -rf $WORKDIR; fi
</code>
\\
例）
<code>
#!/bin/sh
#PBS -l select=1
#PBS -q A_004
#PBS -N espresso

module switch intel PrgEnv-pgi/18.5

DIRNAME=`basename $PBS_O_WORKDIR`
WORKDIR=/work/$USER/$PBS_JOBID
mkdir -p $WORKDIR
cp -raf  $PBS_O_WORKDIR $WORKDIR
cd $WORKDIR/$DIRNAME

mpirun -np 10 -N 10 -hostfile $PBS_NODEFILE /usr/local/app/QuantumESPRESSO/current/bin/pw.x < cluster4.in > qe.out 2> qe.err

cd; if cp -raf $WORKDIR/$DIRNAME $PBS_O_WORKDIR/.. ; then rm -rf $WORKDIR; fi
</code>
\\
並列数は10までを指定可能です。\\
\\
例) 6.7(gpu)
<code>
#!/bin/sh
#PBS -l select=1
#PBS -q A_004
#PBS -N espresso

module switch intel PrgEnv-pgi/20.4
module switch cudatoolkit cudatoolkit/10.2.89

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/intel/mkl/lib/intel64

DIRNAME=`basename $PBS_O_WORKDIR`
WORKDIR=/work/$USER/$PBS_JOBID
mkdir -p $WORKDIR
cp -raf $PBS_O_WORKDIR $WORKDIR
cd $WORKDIR/$DIRNAME

mpirun -np 10 -N 10 -hostfile $PBS_NODEFILE /usr/local/app/QuantumESPRESSO/qe-gpu-6.7/bin/pw.x < cluster4.in > qe.out 2> qe.err

cd; if cp -raf $WORKDIR/$DIRNAME $PBS_O_WORKDIR/.. ; then rm -rf $WORKDIR; fi

</code>
\\
並列数は10までを指定可能です。\\
\\
例) 7.2(gpu)
<code>
#!/bin/sh
#PBS -l select=1
#PBS -q A_004
#PBS -N espresso

module switch intel nvhpc/20.9
module switch cudatoolkit cudatoolkit/10.2.89

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/intel/mkl/lib/intel64

DIRNAME=`basename $PBS_O_WORKDIR`
WORKDIR=/work/$USER/$PBS_JOBID
mkdir -p $WORKDIR
cp -raf  $PBS_O_WORKDIR $WORKDIR
cd $WORKDIR/$DIRNAME

mpirun -np 10 -N 10 -hostfile $PBS_NODEFILE /usr/local/app/QuantumESPRESSO/qe-gpu-7.2/bin/pw.x < cluster4.in > qe.out 2> qe.err

cd; if cp -raf $WORKDIR/$DIRNAME $PBS_O_WORKDIR/.. ; then rm -rf $WORKDIR; fi

</code>
\\
並列数は10までを指定可能です。\\
\\
例) 7.3(gpu)
<code>
#!/bin/sh
#PBS -l select=1
#PBS -q A_004
#PBS -N espresso

module unload cudatoolkit
module switch intel nvhpc/23.1

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/intel/mkl/lib/intel64

DIRNAME=`basename $PBS_O_WORKDIR`
WORKDIR=/work/$USER/$PBS_JOBID
mkdir -p $WORKDIR
cp -raf  $PBS_O_WORKDIR $WORKDIR
cd $WORKDIR/$DIRNAME

mpirun -np 10 -N 10 -hostfile $PBS_NODEFILE --mca btl_smcuda_use_cuda_ipc 0 /usr/local/app/QuantumESPRESSO/qe-gpu-7.3/bin/pw.x < cluster4.in　> qe.out 2> pe.err

cd; if cp -raf $WORKDIR/$DIRNAME $PBS_O_WORKDIR/.. ; then rm -rf $WORKDIR; fi
</code>
\\
並列数は10までを指定可能です。\\
\\
===== 並列計算・インフォマティクスサーバ =====
以下のバージョンが利用可能です。
^バージョン  ^実行モジュールのパス  ^実行キュー  ^
|6.2.1	|/usr/local/app/QuantumESPRESSO/current  |C_002\\ C_004  |
|6.4.1  |/usr/local/app/QuantumESPRESSO/qe-6.4.1  |C_002\\ C_004  |

\\
並列計算・インフォマティクスサーバへのジョブ投入用のスクリプトは以下の通りです。
<code>
#!/bin/sh
#PBS -l select=ノード数
#PBS -q キュー名
#PBS -N ジョブ名

DIRNAME=`basename $PBS_O_WORKDIR`
WORKDIR=/work/$USER/$PBS_JOBID
mkdir -p $WORKDIR
cp -raf  $PBS_O_WORKDIR $WORKDIR
cd $WORKDIR/$DIRNAME

mpirun [ -np 並列数 ][ -ppn ノードあたりの並列数 ] -hostfile $PBS_NODEFILE  /usr/local/app/QuantumESPRESSO/current/bin/pw.x < 入力ファイル > 出力ファイル 2> エラー出力ファイル

cd; if cp -raf $WORKDIR/$DIRNAME $PBS_O_WORKDIR/.. ; then rm -rf $WORKDIR; fi
</code>
\\
例）
<code>
#!/bin/sh
#PBS -l select=1
#PBS -q C_002
#PBS -N espresso

DIRNAME=`basename $PBS_O_WORKDIR`
WORKDIR=/work/$USER/$PBS_JOBID
mkdir -p $WORKDIR
cp -raf  $PBS_O_WORKDIR $WORKDIR
cd $WORKDIR/$DIRNAME

mpirun -np 36 -ppn 36 -hostfile $PBS_NODEFILE   /usr/local/app/QuantumESPRESSO/current/bin/pw.x < cluster4.in > qe.out 2> qe.err

cd; if cp -raf $WORKDIR/$DIRNAME $PBS_O_WORKDIR/.. ; then rm -rf $WORKDIR; fi
</code>
\\
===== 仮想サーバ =====
以下のバージョンが利用可能です。
^バージョン  ^実行モジュールのパス  ^
|6.2.1  |/usr/local/app/QuantumESPRESSO/current  |
|6.4.1  |/usr/local/app/QuantumESPRESSO/qe-6.4.1  |

\\
以下のコマンドを実行します。
<code>
mpirun [ -np 並列数 ][ -ppn ノードあたりの並列数 ] -hostfile ホストファイル /usr/local/app/QuantumESPRESSO/current/bin/pw.x < 入力ファイル > 出力ファイル
</code>
\\
例）
<code>	
mpirun -np 2 -hostfile hostfile /usr/local/app/QuantumESPRESSO/current/bin/pw.x < cluster4.in > qe.out
</code>