トップページ
研究活動
AI for Scienceプラットフォーム部門紹介
AI for Science基盤モデル研究チーム
AI for Science基盤モデル研究チーム
English
チームプリンシパル 横田 理央
(よこた りお)rio.yokota [at] riken.jp (拠点:東京)
- Emailの[at]は@にご変更ください。
- 2009
- 慶應義塾大学大学院 理工学研究科 開放環境科学専攻 博士課程 修了
- 2009
- ブリストル大学 数学科 ポスドク研究員
- 2010
- ボストン大学 機械工学科 ポスドク研究員
- 2011
- アブドゥラ国王科学技術大学 Extreme Computing Research Center 常勤研究院
- 2015
- 東京工業大学 学術国際情報センター 准教授
- 2023
- 東京工業大学 学術国際情報センター 教授
- 2024
- 東京科学大学 総合研究院 スーパーコンピューティング研究センター 教授
- 2025
- 理化学研究所計算科学研究センター(R-CCS) AI for Scienceプラットフォーム部門 AI for Science基盤モデル研究チーム チームプリンシパル(現職)
キーワード
- 科学研究向けAI
- 基盤モデル
- 論理的推論モデル
- 大規模分散学習
- AIエージェント
研究概要
科学研究基盤モデル開発プログラム(Advanced General Intelligence for Science Program: TRIP-AGIS)は、大規模言語モデルなどの汎用的な基盤モデルの先端技術を開発・応用することで多様な分野における科学研究サイクルの飛躍的加速、科学研究の探索空間の拡大に貢献します。AI for Science基盤モデル研究チームでは、優れた論理的推論能力を有する基盤モデルを安価に構築・運用する技術を開発し、科学研究の各分野における研究構想の提案、実験計画の立案、プログラムの開発、実験・シミュレーションの試行錯誤、実験結果の分析等を補助する基盤モデルの構築を目指します。このために、各科学分野における基盤モデルとの適切なインターフェイス・インタラクションの模索、それを踏まえた基盤モデルのアーキテクチャの改良、それを検証するための科学研究向けの評価タスクの整備、次世代計算基盤で学習・推論を高速に行うための基盤ソフトウェアの整備等を行います。
主要論文
-
Nakamura, T., Mishra, M., Tedeschi, S., Chai, Y., Stillerman, J. T., Friedrich, F., Yadav, P., Laud, T., Chien, V. M., Zhuo, T. Y. et al.
Aurora-M: Open Source Continual Pre-training for Multilingual Language and Code
The 31st International Conference on Computational Linguistics (COLING), Industry Track, Abu Dhabi, UAE, Jan. 2025. -
Niwa, K., Ishii, H., Sawada, H., Fujino, A., Harada, N., Yokota, R.
Natural Gradient Primal-Dual Method for Decentralized Learning
Transactions on Signal and Information Processing over Networks, 10, 417-433, https://doi.org/10.1109/TSIPN.2024.3388948 (2024). -
Ma, Q, Yokota, R.
An Inherently Parallel H^2-ULV Factorization for Solving Dense Linear Systems on GPUs
International Journal of High Performance Computing Applications, 38(4), https://doi.org/10.1177/1094342024124202 (2024). -
Ootomo, H., Ozaki, K., Yokota, R.
DGEMM on Integer Matrix Multiplication Unit
International Journal of High Performance Computing Applications, 38(4), https://doi.org/10.1177/10943420241239588 (2024). -
Okazaki, N., Hattori, K., Hirai, S., Iida, H., Ohi, M., Fujii, K., Nakamura, T., Loem, M., Yokota, R., Mizuki, S.
Building a Large Japanese Web Corpus for Large Language Models
Conference on Language Modeling (COLM), Oct. 2024. -
Fujii, K., Nakamura, T., Loem, M., Iida, H., Ohi, M., Hattori, K., Hirai, S., Mizuki, S., Yokota, R., Okazaki, N.
Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities
Conference on Language Modeling (COLM), Oct. 2024. -
Otani, G., Tadokoro, R., Yamada, R., Asano, Y., Laina, I., Rupprecht, C., Inoue, N., Yokota, R., Kataoka, H., Aoki, Y.
Rethinking Image Super-Resolution from Training Data Perspectives
European Conference on Computer Vision (ECCV), Sep. 2024. -
Nakamura, R., Tadokoro, R., Yamada, R., Asano, Y., Laina, I., Rupprecht, C., Inoue, N., Yokota, R., Kataoka, H.
Scaling Backwards: Minimal Synthetic Pre-training?
European Conference on Computer Vision (ECCV), Sep. 2024. -
Yamada, R., Hara, K., Kataoka, H., Makihara, K., Inoue, N., Yokota, R., Satoh, Y.
Formula-Driven Visual-Geometric Pre-training
European Conference on Computer Vision (ECCV), Sep. 2024. -
Shen, Y., Daheim, N., Marconi, G. M., Nickl, P., Cong, B., Clement, B., Yokota, R., Gurevych, I., Cremers, D., Khan, M. E., Möllenhoff, T.
Variational Learning is Effective for Large Deep Networks
The 41st International Conference on Machine Learning (ICML), Jul. 2024.