理化学研究所 計算科学研究センター

メニュー
メニュー
OVERVIEW 計算科学研究機構とは

高性能ビッグデータ研究チーム

大規模・高性能ビッグデータ処理基盤の確立

当研究チームでは、「京」、ポスト「京」、および、それ以上の規模を想定して、大規模ビッグデータ処理の高速化やスケール化のための研究開発を行っている。次世代のハードウェア技術により、高性能計算機の計算およびメモリ性能は飛躍的に向上してきている。これにより、高性能計算機は科学技術アプリケーションが要求する性能を満たしてきた。しかし、ファイルシステムへの大規模な入出力を要求するビッグデータ処理では、性能のスケール化が困難となっている。
これらの問題を解決するため、当研究チームでは、大規模ビッグデータ処理の高速化およびスケール化を容易にするための基盤ソフトウェアの研究開発を行っている。特に、並列I/Oの高速化・スケール化、階層型メモリ・ストレージ技術を活用した機械学習・深層学習の高速化・スケール化、スケーラブルなチェックポイント・リスタート、高速ネットワーク上でのデータ転送の効率化、ビッグデータとHPCの融合、仮想化・コンテナ技術の研究開発を行っている。
我々は国内外の企業、大学、国立研究所の研究者と積極的に連携し、高性能ビッグデータ処理基盤の確立を目指している。

おもな研究内容

階層型ユーザレベル・ファイルシステム
近年の高性能計算機は、バースト・バッファーと呼ばれる広帯域・低遅延のストレージ・アーキテクチャを採用している。これにより、メモリ性能に比べ、相対的に低帯域・高遅延の並列ファイルシステムを使用してきたビッグデータ処理の性能向上が見込まれる。しかし、このように高度に階層化されたストレージ・アーキテクチャでは、ハードウェアの性能をフルに活用することは容易ではない。
そこで我々は、この階層型ストレージを透過的かつ効率的に利用するためのファイルシステム、 HuronFS (hierarchical, user-level and on-demand filesystem) の研究開発を行っている。従来のファイルシステムとは違い、HuronFSはI/O性能のスケール化のために複数のメタデータサーバを備えている。また、I/O性能の高速化のために、局所性を考慮し、データをストレージ階層間で透過的に移動する。さらに、耐障害性も備えており、ハードウェアの故障に対するフェールオーバーも可能である。
機械学習、深層学習、人工知能の技術の飛躍的な向上により、高性能計算機におけるビッグデータ処理のI/O性能がますます重要となってきている。我々が開発した、この新しいファイルシステムにより、ビッグデータ処理の高速化やスケール化が容易となる。


HuronFSの概要

関連サイト

チームリーダー佐藤 賢斗

チームリーダー
佐藤 賢斗(さとう けんと)

略歴: 詳細を見る