4. キャッシュを活かした設定¶
4.1. キャッシュ設定でできること¶
第1階層ストレージでは、ジョブの特性に合わせて、以下のキャッシュ設定を行うことにより、ファイルへの高速アクセスが期待できます。
キャッシュを有効に使うことにより、ファイルアクセスの高速化が期待できる機能もあります。
4.2. 第2階層ストレージキャッシュ領域¶
第2階層ストレージキャッシュ領域に読み込んだファイルをキャッシュするかどうかの設定を行います。
第2階層ストレージ上のファイルに対して複数の読み込みが発生する場合は、キャッシュを有効活用できます。
pjsub --llioオプション |
設定範囲 |
説明 |
|---|---|---|
sio-read-cache={on|off} |
on or off |
第2階層ストレージキャッシュ領域に読み込んだファイルをキャッシュするかの設定です。 on: キャッシュする。 off: キャッシュしない。 |
4.3. 計算ノード内キャッシュ¶
プログラムのメモリ使用量が少ない場合、キャッシュとして設定することにより、ファイルへの高速アクセスが期待できます。
計算ノード内キャッシュを設定するパラメータを以下に示します。
pjsub --llioオプション |
設定範囲 |
説明 |
|---|---|---|
cn-cache-size=SIZE |
0MiB～32768MiB |
計算ノード内に獲得する第1階層ストレージのキャッシュのサイズを指定します。 |
cn-cached-write-size=SIZE |
0MiB～cn-cache-size指定値 |
計算ノード内キャッシュの使用有無を切り替える書込みサイズの閾値を指定します。 |
cn-read-cache={on|off} |
on or off |
第1階層ストレージから読み込んだファイルを計算ノード内キャッシュにキャッシュするかどうかの動作を指定します。 on : 有効にする。 off : 無効にする。 |
4.3.1. cn-cache-size¶
cn-cache-sizeで、第1階層ストレージのキャッシュ領域のサイズを指定します。 アプリケーションで使用しない領域を第1階層ストレージのキャッシュ領域として使用することで、キャッシュ効果が得られます。
4.3.2. cn-cached-write-size¶
cn-cached-write-sizeで指定した閾値を超えないデータは、計算ノードキャッシュを使って書込みを行います。
閾値を超えるデータは、計算ノードキャッシュを使わずに書込みを行います。
4.3.3. cn-read-cache¶
cn-read-cacheをonに設定した場合、第1階層ストレージから読み込んだファイル情報をノード内にキャッシュします。
アプリケーションが読み込むデータ量に対して、十分なキャッシュ領域を確保できない場合、読み込んだデータがキャッシュから追い出され、キャッシュミスの発生により、期待する性能に達しない可能性があります。
4.4. 自動先読み機能¶
自動先読み機能は、ジョブが階層化ストレージ内の連続した領域を読み込もうとした場合、自動的に計算ノード内キャッシュに先読みすることにより、読み込み処理の高速化が期待できます。
自動先読み機能を有効にする場合、計算ノード内キャッシュ も適切に行う必要があります。
pjsub --llioオプション |
設定範囲 |
説明 |
|---|---|---|
auto-readahead={on|off} |
on or off |
自動先読み機能の動作を指定します。 on : 有効にする。 off : 無効にする。 |
4.5. 非同期クローズ¶
非同期クローズを有効にすることで、ジョブの経過時間を短縮できます。 同期が必要な場合は、fsync(2)を使用してください。
pjsub --llioオプション |
設定範囲 |
説明 |
|---|---|---|
async-close={on|off} |
on or off |
第1階層ストレージおよび第2階層ストレージ上のファイルのクローズを非同期クローズにするかどうかの動作を指定します。 on: 非同期クローズ (ファイルのクローズ時に書出し完了は保証されません) off: 同期クローズ (ファイルのクローズ時に書出し完了は保証されます) |
4.6. 未書出し情報ファイル¶
ジョブ終了時に、第2階層ストレージへの書き出しが完了していないファイルの情報の出力先を指定できます。 指定が無い場合は、標準エラー出力に出力されます。
pjsub --llioオプション |
説明 |
|---|---|
uncompleted-fileinfo-path=path |
第2階層ストレージへの書出しが完了していないファイル情報の出力先を指定します。 |
未書出し情報ファイルに関する詳細は、
LLIOユーザーズガイド「2.6 未書出しファイル一覧取得機能」
を参照してください。
4.7. LLIO性能情報¶
LLIO性能情報の出力設定方法を以下に示します。
pjsub --llioオプション |
説明 |
|---|---|
perf |
本オプションを指定した際には、LLIO性能情報を出力します。 |
perf-path=PATH |
LLIO性能情報の出力パスを設定できます。 |
LLIO性能情報に関する詳細は、LLIOユーザーズガイドの「2.7.2 LLIO性能情報」を参照してください。