アクセス
Facebook
X
Instagram
YouTube
日本語
お問い合わせ
トップページ
研究活動
AI for Scienceプラットフォーム部門紹介
AI学習・推論データ管理基盤開発ユニット
AI学習・推論データ管理基盤開発ユニット
English
ユニットリーダー 佐藤 賢斗（さとう けんと）
kento.sato[at]riken.jp （拠点：神戸）- Emailの[at]は@にご変更ください。
- 2014
- 東京工業大学大学院 数理計算科学専攻 博士（理学）
- 2014
- 東京工業大学 学術国際情報センター ポスドク
- 2014
- 米国ローレンスリバモア国立研究所 ポスドク
- 2017
- 米国ローレンスリバモア国立研究所 研究員
- 2018
- 理化学研究所 計算科学研究センター（R-CCS） 高性能ビッグデータ研究チーム チームリーダー（現職）
- 2024
- 理化学研究所 計算科学研究センター（R-CCS） AI for Scienceプラットフォーム部門 AI学習・推論データ管理基盤開発ユニット ユニットリーダー（現職）
キーワード
- ビッグデータ処理基盤
- 深層学習処理基板
- 耐障害性技術
- 性能評価・解析
- HPC向けツール開発
研究概要
TRIP-AGISプロジェクトにおいてR-CCSは、AI for Science研究を推進するため、高性能計算機の運用やその高度化を目指したシステム開発をしています。当ユニットは、マルチモーダルAIモデルに対応する多様なデータを扱う科学研究向けの生成AIモデル（科学基盤モデル）の構築とその利活用のため、スーパーコンピュータ「富岳」やGPUを搭載したAI専用計算機の性能解析やシステムソフトウェア開発を行っています。また、科学基盤モデルを効率的に構築・利活用するためのデータ管理基盤の構築を行っています。さらに、TRIP-AGISで開発される自動化技術と連携し、莫大な量の多様なデータのリアルタイム処理を可能にするためのデータに関わる要素技術の研究開発を行っています。これにより高速な学習・推論サイクルを実現し、科学基盤モデルの開発および利活用の加速を目指しています。具体的には、次のような研究開発を行っています。(1) 階層メモリ/ストレージシステムを活用した学習および推論のためのデータ配置の最適化、(2) 大規模モデル学習および推論機構の高性能かつスケーラブルな耐障害技術の研究開発、(3) データ通信・転送、管理、モデル学習・推論を高度化するためのデータ圧縮技術の研究開発、(4) モデル学習・推論・利活用を効率化するためのワークフローシステムに関する研究開発、(5) その他 AI for Sciences研究を推進するための研究開発。
主な研究成果
連合学習 (Federated Learning)は、広域に分散したデータセットに対するモデル学習を可能にすることで学習データに内在するプライバシー情報の保護に繋がり、産業界や学術界から注目を集めている手法である。一方で広域ネットワークを利用したモデル学習の過程で、悪意のある攻撃者が学習中のモデルを悪用し、学習データに内在していたプライバシー情報の復元を可能にする技術も存在する。しかし、情報漏洩を防ぎ、かつ学習の収束を保証することで、プライバシー保護とモデルの精度の両方を同時に解決する良い解決策はまだ存在しない。そのため我々は、連合学習におけるパラメータ置換のためのLoss Differential Strategy (LDS)を提案した。提案手法のキーとなる考え方は、複数ユーザが参加するパラメータ置換により、クライアント側のモデルの性能を維持しつつ、モデルに対するプライバシー攻撃の効率を大幅に低下させることである。提案手法を評価するために、4つの典型的な深層学習データセットを用いて、メンバーシップ推論攻撃に対する有効性の検証を行った。評価の結果、MNISTに対する精度は99%に近く、FedAvgと比較して攻撃精度を10.1%低下させることができることがわかった。また、他の既存のプライバシー保護機構と比較しても、我々の手法は精度とプライバシー保護という点で優れていることを確認した。
主要論文
-
Taiyu Wang, Qinglin Yang, Kaiming Zhu, Junbo Wang, Chunhua Su, Kento Sato,
“LDS-FL: Loss Differential Strategy based Federated Learning for Privacy Preserving”
in IEEE Transactions on Information Forensics and Security, doi: 10.1109/TIFS.2023.3322328. , 2023 -
Satoru Hamamoto, Masaki Oura, Atsuomi Shundo, Daisuke Kawaguchi, SatoruYamamoto, Hidekazu Takano, Masayuki Uesugi, Akihisa Takeuchi, Takahiro Iwai, Yasuo Seto, Yasumasa Joti, Kento Sato, Keiji Tanaka & Takaki Hatsui
"Demonstration of efficient transfer learning in segmentation problem in synchrotron radiation X-ray CT data for epoxy resin"
Science and Technology of Advanced Materials: Methods, DOI: 10.1080/27660400.2023.2270529, 2023 -
Fu Xiang, Hao Tang, Huimin Liao, Xin Huang, Wubiao Xu, Shimeng Meng, Weiping Zhang, Luanzheng Guo and Kento Sato,
“A High-dimensional Algorithm-Based Fault Tolerance Scheme”
APDCM 2023, IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW), St. Petersburg, Florida USA, 2023, DOI: 10.1109/IPDPSW59300.2023.00061 -
Takaaki Fukai, Kento Sato and Takahiro Hirofuchi,
“Analyzing I/O Performance of a Hierarchical HPC Storage System for Distributed Deep Learning”
The 23rd International Conference on Parallel and Distributed Computing, Applications and Technologies (PDCAT’22), December, 2022, Sendai, Japan -
Xi Zhu, Junbo Wang, Wuhui Chen, Kento Sato,
“Model compression and privacy preserving framework for federated learning”
Future Generation Computer Systems, 2022, ISSN 0167-739X, https://doi.org/10.1016/j.future.2022.10.026 -
Amitangshu Pal, Junbo Wang, Yilang Wu, Krishna Kant, Zhi Liu, Kento Sato,
“Social Media Driven Big Data Analysis for Disaster Situation Awareness: A Tutorial”
in IEEE Transactions on Big Data, doi: 10.1109/TBDATA.2022.3158431, Mar., 2022 -
Feiyuan Liang, Qinglin Yang, Ruiqi Liu, Junbo Wang, Kento Sato, Jian Guo,
“Semi-Synchronous Federated Learning Protocol with Dynamic Aggregation in Internet of Vehicles”
in IEEE Transactions on Vehicular Technology, doi: 10.1109/TVT.2022.3148872, Feb., 2022 -
Akihiro Tabuchi, Koichi Shirahata, Masafumi Yamazaki, Akihiko Kasagi, Takumi Honda, Kouji Kurihara, Kentaro Kawakami, Tsuguchika Tabaru, Naoto Fukumoto, Akiyoshi Kuroda, Takaaki Fukai and Kento Sato,
“The 16,384-node Parallelism of 3D-CNN Training on An Arm CPU based Supercomputer”
28th IEEE International Conference on High Performance Computing, Data, and Analytics (HiPC2021), Nov, 2021 -
Steven Farrell, Murali Emani, Jacob Balma, Lukas Drescher, Aleksandr Drozd, Andreas Fink, Geoffrey Fox, David Kanter, Thorsten Kurth, Peter Mattson, Dawei Mu, Amit Ruhela, Kento Sato,,Koichi Shirahata, Tsuguchika Tabaru, Aristeidis Tsaris, Jan Balewski, Ben Cumming, Takumi Danjo, Jens Domke, Takaaki Fukai, Naoto Fukumoto, Tatsuya Fukushi, Balazs Gerofi, Takumi Honda, Toshiyuki Imamura, Akihiko Kasagi, Kentaro Kawakami, Shuhei Kudo, Akiyoshi Kuroda, Maxime Martinasso, Satoshi Matsuoka, Kazuki Minami, Prabhat Ram, Takashi Sawada, Mallikarjun Shankar, Tom St. John, Akihiro Tabuchi, Venkatram Vishwanath, Mohamed Wahib, Masafumi Yamazaki, Junqi Yin and Henrique Mendonca,
“MLPerf HPC: A Holistic Benchmark Suite for Scientific Machine Learning on HPC Systems”
The Workshop on Machine Learning in High Performance Computing Environments (MLHPC) 2021 in conjunction with SC21, Nov, 2021 -
Rupak Roy, Kento Sato, Subhadeep Bhattacharya, Xingang Fang, Yasumasa Joti, Takaki Hatsui, Toshiyuki Hiraki, Jian Guo and Weikuan Yu,
“Compression of Time Evolutionary Image Data through Predictive Deep Neural Networks”
In the proceedings of the 21 IEEE/ACM International Symposium on Cluster, Cloud and Internet Computing (CCGrid 2021), May, 2021
