理化学研究所 計算科学研究センター

メニュー
メニュー
Learnmore もっと知りたい

"A Flexible I/O Arbitration Framework for netCDF based Big Data Processing Workflows on High-End Supercomputers"

[ 2017年02月28日 ]

RIKEN International Symposium on Data Assimilation 2017
"A Flexible I/O Arbitration Framework for netCDF based Big Data Processing Workflows on High-End Supercomputers"

We present an initial study of a direct communication framework designed for complex workflows that eliminates unnecessary file I/O among components. Specifically, we propose an I/O arbitrator layer that provides direct parallel data transfer among job components that rely on the netCDF interface for performing I/O operations, with only minimal modifications to application code. We present the design and an early evaluation of the framework on the K Computer using up to 4800 nodes running RIKEN's experimental weather forecasting workflow as a case study.
http://www.data-assimilation.riken.jp/risda2017/

※Flash動画に関しては、PC端末より閲覧頂くようお願い致します。
PDFファイルに関しては、ページ最下部よりダウンロード頂けます

0
講師プロフィール
名前:Jianwei Liao 所属:Southwest University of China
略歴:外部ページ

>> 資料ダウンロード1
Copyright © 理化学研究所 計算科学研究機構 http://www.r-ccs.riken.jp/jp/ interdisciplinary Theoretical Science Research Group http://ithes.science-server.com/

eラーニングアーカイブ カテゴリー

  • 全コンテンツ(分野から探す方へ)
  • 講義(コースから探す方へ)
  • 講義(新着順に探す方へ)
  • 講演・シンポジウム