8.1. 概要

スーパーコンピュータ「富岳」のストレージは、高速アクセスを可能とする第1階層ストレージと、データ保管可能な第2階層ストレージから構成されます。 第1階層ストレージ(LLIO)・第2階層ストレージ(FEFS)合わせて「階層化ストレージ」と呼びます。

ファイルシステムについて詳細な内容は、「プログラミングガイド-IO編-」をご参照ください。

ジョブ(計算ノード)からはLLIO(Lightweight Layered IO-Accelerator)を使用することで、第1階層ストレージ・第2階層ストレージへのIOが可能になります。

計算ノードからIOを行う方法は、階層化ストレージを経由してアクセスする方法と、第2階層ストレージに直接アクセスする方法が存在します。

LLIOとFEFSはそれぞれファイルアクセス方法に違いがあります。 アクセス方法の違いについては FEFS/LLIOへのファイル操作についてについてを参照ください。 また、LLIOの使用にあたっては 留意事項も参照ください。

../_images/OverView_03.png

LLIOは第1階層ストレージに次の3つの領域を提供しています。

LLIOはマニュアル「LLIO ユーザーズガイド」および「ジョブ運用ソフトウェア エンドユーザ向けガイド」を参照ください。

8.1.1. IO時間の短縮と領域の選択

IO時間を短縮する方法の一つとして階層化ストレージを利活用します。 階層化ストレージは、複数のサーバでIOを処理することにより高いIOスループットを実現しています。 高いIOスループットを実現するための利用方法はノード内テンプラリ領域/共有テンプラリ領域/第2階層ストレージキャッシュ領域の3種類あります。次表の項目の検討順にIO性能がスケールします。 各々の領域をアプリケーションの目的に応じて選択できます。 ジョブ実行の際に第1階層ストレージの領域は計算ノード当たり約87GiB割り当てられます。 割り当てられた87GiBをノード内テンポラリ領域/共有テンポラリ領域/第2階層ストレージのキャッシュ領域に分割して使用できます。

階層化ストレージの領域の利用検討順

検討順

領域名

参照範囲

アクセスパス

最大容量

1

ノード内テンポラリ領域

計算ノード内

$PJM_LOCALTMP

87GiB

2

共有テンポラリ領域

ジョブ内

$PJM_SHAREDTMP

87GiB * #nodes

3

第2階層ストレージのキャッシュ領域

全ての計算ノード

/vol000x/

87GiB * #nodes

4

第2階層ストレージ

全ての計算ノード

/2ndfs/

LLIOの適用の事例

領域名

適用事例

ノード内テンポラリ領域

ランク・ノード毎に独立して中間ファイルや一時ファイルの作成・参照

共有テンポラリ領域

ランク・ノード間でファイルを参照,巨大なファイルの操作

第2階層ストレージのキャッシュ領域

標準出力・標準エラー出力など、保存されるファイルの出力

../_images/AboutLLIO_02.png

第2階層ストレージのキャッシュ領域は、複数の読み込みが発生するなどキャッシュが活用できる場合には有効です。読み込みが一度しかなくキャッシュを活用しない場合は第2階層ストレージの利用が有効になる場合があります。

1ラック未満の小規模なジョブの場合、割当形状によっては第2階層ストレージのキャッシュ領域より第2階層ストレージの利用が有効になる場合があります。

利用の際は、それぞれの領域の利用条件や留意事項を確認してください。

8.1.2. 全プロセスから共通ファイルへの一斉アクセス

実行モジュールや「富岳」が提供するオープンソースソフトウェア (OSS) など、全てのプロセスから一斉にアクセスされるファイルは共通ファイル配布機能 (llio_transfer)を利用を推奨します。

理由はアクセスが集中した場合に、システムが高負荷となりI/Oのスローダウンが発生する可能性があるためです。

ジョブに割当たった各SIOに読み取り専用の共通ファイルを配布することにより、同一ファイルに対するアクセス負荷を分散した結果ファイルI/Oを高速化します。

利用の際は共通ファイルに関する注意事項も参照ください。