塩野 大輝

About

大規模視覚言語モデル（LVLM）の開発・応用・分析に関する研究に従事。
鈴木 潤 教授の指導のもと、東北大学 大学院情報科学研究科 博士後期課程 3 年に在籍中。

Affiliation

  • 東北大学 大学院情報科学研究科 — 鈴木(潤)研究室 博士後期課程 3 年
  • ケンブリッジ大学 Department of Computer Science and Technology — Visiting Researcher (Departmental Visiting Student)
CV をダウンロード

Research Interests

  • Vision & Language
  • NLP

ニュース

  1. 2026.10

    ケンブリッジ大学の NLIP Seminar Series で「Large Vision-Language Models: How They See, Pass, and Answer」と題して講演しました。

  2. 2026.10

    共著論文「It's Not RoPE That Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention」が EMNLP 2026 に採択されました。

  3. 2026.09

    ケンブリッジ大学に留学し、Department of Computer Science and Technology の Andreas Vlachos 教授のもとで Visiting Researcher として研究を始めました。

  4. 2026.09

    共著書籍『マルチモーダルモデル入門』（技術評論社）が刊行されました。

  5. 2026.09

    論文「MOMIJI: 日本語大規模インターリーブ視覚言語データセット」が論文誌『自然言語処理』に採録されました。

  6. 2026.09

    共著論文「Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models」が ECCV 2026 に採択されました。

学歴

  1. 2024.04 – 2027.03（修了予定）

    東北大学（博士）

    大学院情報科学研究科 システム情報科学専攻 鈴木(潤)研究室

    指導教員: 鈴木 潤 教授

  2. 2022.04 – 2024.03

    東北大学（修士）

    大学院情報科学研究科 システム情報科学専攻 鈴木(潤)研究室

    指導教員: 鈴木 潤 教授

  3. 2018.04 – 2022.03

    東北大学（学士）

    工学部 電気情報物理工学科

職歴

  1. 2026.09 – 現在

    Visiting Researcher (Departmental Visiting Student) @ ケンブリッジ大学

    Department of Computer Science and Technology

    Andreas Vlachos 教授の受け入れのもと、Diana Galván Sosa 氏と密に連携して Vision & Language・自然言語処理の研究に従事

  2. 2024.04 – 2026.10

    Machine Learning Research Engineer Intern / Contractor @ Turing Inc.

    Fundamental AI Group

    大規模視覚言語モデル (LVLM) の学習 / 大規模日本語視覚-言語事前学習データセットの構築 / 日本語 Visual Instruction Tuning データセットの構築 に従事

  3. 2023.04 – 2027.03（予定）

    Research Assistant @ 東北大学 データ駆動科学・AI教育研究センター

    実験環境の構築、ドキュメント・データの整備、関連プロジェクトの運営などを通じた研究活動の支援

  4. 2023.03 – 2023.12

    Part-time Machine Learning Engineer @ Future Inc.

    Strategic AI Group

    OCR モデルの改善、外国人名を日本語の読みに変換するモデルの開発

業績

下線: 本人, *: 共同第一著者

ジャーナル（査読あり）3

  1. JNLP 2026

    MOMIJI: 日本語大規模インターリーブ視覚言語データセット

    塩野 大輝, 横井 慎吾, 犬塚 眞太郎, 髙橋 翼, 鈴木 潤, 山口 祐.

    自然言語処理, Volume 33, Issue 4（一般論文, 2026年12月15日 刊行予定）. 2026年9月18日 採録決定.

    採録論文一覧 train dataset code

  2. NGC 2026

    Instruction-Following Evaluation of Large Vision-Language Models

    Daiki Shiono, Shumpei Miyawaki, Ryota Tanaka, Jun Suzuki.

    New Generation Computing, Volume 44, Article 7, January 2026.

    publisher arXiv train dataset

  3. Advanced Robotics 2023

    Aoba_v3 bot: a multimodal chatbot system combining rules and various response generation models

    Shoji Moriya*, Daiki Shiono*, Riki Fujihara, Yosuke Kishinami, Subaru Kimura, Shusaku Sone, Reina Akama, Yuta Matsumoto, Jun Suzuki, Kentaro Inui. (*: equal contribution)

    Advanced Robotics, Volume 37, Issue 21, pp.1392-1405, August 2023.

    publisher

国際会議（査読あり）9

  1. EMNLP 2026

    It's Not RoPE That Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention

    Raito Kiya, Satoki Ohashi, Kosuke Sato, Go Kamoda, Ryosuke Takahashi, Yuji Yamamoto, Daiki Shiono, Keisuke Sakaguchi, Goro Kobayashi.

    Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP 2026), Budapest, Hungary, pp.31160-31184, October 2026.

    publisher arXiv poster code

  2. ECCV 2026

    Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models

    Futa Waseda, Shojiro Yamabe, Daiki Shiono, Kento Sasaki, Tsubasa Takahashi.

    Proceedings of the European Conference on Computer Vision (ECCV 2026), Malmö, Sweden, September 2026.

    publisher arXiv project poster slide train/eval dataset code

  3. CVPR 2026

    Text-Printed Image: Bridging the Image-Text Modality Gap for Text-centric Training of Large Vision-Language Models

    Shojiro Yamabe, Futa Waseda, Daiki Shiono, Tsubasa Takahashi.

    Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2026), Denver, USA, June 2026.

    publisher arXiv poster CVPR Compute Gold Star Award

  4. AAAI 2026

    STRIDE-QA: Visual Question Answering Dataset for Spatiotemporal Reasoning in Urban Driving Scenes

    Keishi Ishihara*, Kento Sasaki*, Tsubasa Takahashi, Daiki Shiono, Yu Yamaguchi. (*: equal contribution)

    Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2026), Singapore, January 2026.

    publisher arXiv project slide train dataset eval dataset code

  5. BabyLM 2025

    Batch-wise Convergent Pre-training: Step-by-Step Learning Inspired by Child Language Development

    Ko Yoshida, Daiki Shiono, Kai Sato, Toko Miura, Momoka Furuhashi, Jun Suzuki.

    Proceedings of the First BabyLM Workshop, Association for Computational Linguistics, Suzhou, China, pp.508-524, November 2025.

    publisher poster

  6. COLING 2025

    Evaluating Model Alignment with Human Perception: A Study on Shitsukan in LLMs and LVLMs

    Daiki Shiono, Ana Brassard, Yukiko Ishizuki, Jun Suzuki.

    Proceedings of the 31st International Conference on Computational Linguistics (COLING 2025), Abu Dhabi, UAE, January 2025.

    publisher poster eval dataset code

  7. NAACL SRW 2024

    Instruction-Following Evaluation for Large Vision-Language Models

    Daiki Shiono, Shumpei Miyawaki, Ryota Tanaka, Jun Suzuki.

    Non-archival submission for the 2024 Conference of the North American Chapter of the Association for Computational Linguistics Student Research Workshop (NAACL SRW 2024), Mexico City, Mexico, June 2024.

  8. NAACL SRW 2024

    Detecting Response Generation Not Requiring Factual Judgment

    Ryohei Kamei, Daiki Shiono, Reina Akama, Jun Suzuki.

    Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics Student Research Workshop (NAACL SRW 2024), Mexico City, Mexico, June 2024.

    publisher arXiv poster

  9. EACL SRW 2024

    Exploring Large Language Models' Understanding of Shitsukan

    Yukiko Ishizuki*, Daiki Shiono*, Ana Brassard, Jun Suzuki. (*: equal contribution)

    Non-archival submission for the 18th Conference of the European Chapter of the Association for Computational Linguistics Student Research Workshop (EACL SRW 2024), Malta, March 2024.

国内会議・シンポジウム・ワークショップ14

  1. NLP 2026

    MOMIJI: 日本語大規模インターリーブ視覚言語データセット

    塩野 大輝, 横井 慎吾, 犬塚 眞太郎, 髙橋 翼, 鈴木 潤, 山口 祐.

    言語処理学会第32回年次大会（NLP 2026）, 宇都宮, 栃木, pp.717-722, March 2026.

    pdf poster train dataset

  2. NLP 2026

    JCuisines: 日本の地域文化の理解にむけた郷土料理視覚言語ベンチマーク

    猪股 和樹, 吉田 遥音, 塩野 大輝, 赤間 怜奈, 坂口 慶祐.

    言語処理学会第32回年次大会（NLP 2026）, 宇都宮, 栃木, pp.711-716, March 2026.

    pdf poster

  3. NLP 2026

    注意機構における Attention Sink のバイアス項的解釈

    大橋 諭貴, 木谷 頼斗, 佐藤 宏亮, 高橋 良允, 鴨田 豪, 山本 悠士, 塩野 大輝, 坂口 慶祐, 小林 悟郎.

    言語処理学会第32回年次大会（NLP 2026）, 宇都宮, 栃木, pp.2591-2596, March 2026.

    pdf poster slide 若手奨励賞

  4. NLP 2026

    Attention Sink および Massive Activation の発生機序の分解

    木谷 頼斗, 大橋 諭貴, 佐藤 宏亮, 鴨田 豪, 高橋 良允, 山本 悠士, 塩野 大輝, 坂口 慶祐, 小林 悟郎.

    言語処理学会第32回年次大会（NLP 2026）, 宇都宮, 栃木, pp.2579-2584, March 2026.

    pdf poster slide 若手奨励賞

  5. FT-LLM 2026

    チーム dentaku FT-LLM 2026 (数学タスク) システム解説

    工藤 慧音, 日高 雅俊, 塩野 大輝, 鴨田 豪, 葉 夢宇, 高橋 良允, 青木 洋一, 矢野 一樹, 谷口 雅弥, 伊藤 拓海, 坂口 慶祐, 鈴木 潤.

    第2回「大規模言語モデルのファインチューニング技術と評価」ワークショップ（FT-LLM 2026）, 宇都宮, 栃木, March 2026.

    pdf poster slide collection code オープン部門 1位・総合部門 2位

  6. YANS 2025

    バッチ単位収束型事前学習：子どもの言語発達に着想を得た一歩ずつの学習

    吉田 倖, 塩野 大輝, 佐藤 魁, 古橋 萌々香, 三浦 東子, 鈴木 潤.

    NLP若手の会第20回シンポジウム（YANS 2025）, 浜松, 静岡, August 2025.

    奨励賞

  7. NLP 2025

    Padding vs. Packing: 大規模言語モデルのファインチューニングにおける学習効果の検証

    塩野 大輝, 田中 涼太, 宮脇 峻平, 工藤 慧音, 鈴木 潤.

    言語処理学会第31回年次大会（NLP 2025）, 長崎, pp.1698-1703, March 2025.

    pdf poster

  8. NLP 2025

    大規模視覚言語モデルの質感知覚能力の分析

    松田 陵佑, 塩野 大輝, Ana Brassard, 鈴木 潤.

    言語処理学会第31回年次大会（NLP 2025）, 長崎, pp.2550-2555, March 2025.

    pdf poster

  9. NLP 2025

    日本語バイト符号化マスク言語モデルの開発と分析

    工藤 慧音, 鴨田 豪, 塩野 大輝, 鈴木 潤.

    言語処理学会第31回年次大会（NLP 2025）, 長崎, pp.3356-3361, March 2025.

    pdf

  10. NLP 2024

    大規模視覚言語モデルに関する指示追従能力の検証

    塩野 大輝, 宮脇 峻平, 田中 涼太, 鈴木 潤.

    言語処理学会第30回年次大会（NLP 2024）, 神戸, pp.2057-2062, March 2024.

    pdf poster 委員特別賞

  11. NLP 2024

    事実正誤判定が不要な生成応答の検出に向けたデータセットの収集と分析

    亀井 遼平, 塩野 大輝, 赤間 怜奈, 鈴木 潤.

    言語処理学会第30回年次大会（NLP 2024）, 神戸, pp.2125-2130, March 2024.

    pdf slide

  12. YANS 2023

    生成応答に含まれる事実に基づかない情報の自動検出の試み

    亀井 遼平, 塩野 大輝, 赤間 怜奈, 鈴木 潤.

    NLP若手の会第18回シンポジウム（YANS 2023）, 浅草橋, August 2023.

    奨励賞 スポンサー賞（CyberAgent賞）

  13. NLP 2023

    画像キャプションを利用したIconQAタスクへのアプローチ

    塩野 大輝, 宮脇 峻平, 長澤 春希, 鈴木 潤.

    言語処理学会第29回年次大会（NLP 2023）, 宜野湾, pp.1857-1862, March 2023.

    pdf slide

  14. SIG-SLUD 2022

    aoba_v3 bot: 多様な応答生成モデルとルールベースを統合したマルチモーダル雑談対話システム

    守屋 彰二*, 塩野 大輝*, 岸波 洋介, 藤原 吏生, 木村 昴, 松本 悠太, 曾根 周作, 赤間 怜奈, 鈴木 潤, 乾 健太郎.（*: 共同主著）

    人工知能学会 音声・言語理解と対話処理研究会第96回研究会（JSAI SIG-SLUD 96）第13回対話システムシンポジウム, 立川, December 2022.

    publisher slide 第5回対話システムライブコンペティション 優秀賞（第2位）

書籍1

  1. 書籍 2026

    マルチモーダルモデル入門

    栗田 修平, 品川 政太朗, 柳 凜太郎, 塩野 大輝, 高道 慎之介, 仁泉 大輔, 中村 友彦, 八木 拓真, 篠原 崇之.

    技術評論社, 2026年9月28日発売, ISBN 978-4-297-15836-1.

    Amazon 技術評論社

プロジェクト

  1. 継続中

    日本語に翻訳した大規模 SFT データセット群の構築

    個人プロジェクト（FineVision_JA）

    train dataset

  2. 2024.11

    LVLM に関する最新知見（2024年時点）をまとめたスライドの公開

    個人プロジェクト:「Large Vision Language Model (LVLM) に関する最新知見まとめ (Part 1)」

    slide

  3. 2024.09

    日本語 LVLM 向け SFT データセットの構築

    Turing Inc. でのインターンの成果（The Cauldron JA, Wikipedia Vision JA）

    ブログ:【日本語V&Lデータセット】The Cauldron JA, Wikipedia Vision JA を公開しました！

    blog

  4. 2024.06

    長系列処理に対応した日本語 BERT モデルの構築

    スーパーコンピュータ TSUBAME4.0 上で Megatron-LM を用いた、長系列入力に対応する日本語 BERT モデルの開発・分散事前学習に共同で従事

    model

受賞

  1. 2026.03

    FT-LLM2026 数学タスクにて オープン部門 1位・総合部門 2位

  2. 2024.03

    言語処理学会第30回年次大会（NLP 2024） 委員特別賞受賞

    (26件/567件≒4.59%)

  3. 2022.12

    第5回対話システムライブコンペティション オープントラック 優秀賞受賞（第2位）

講演

  1. 2026.10

    Large Vision-Language Models: How They See, Pass, and Answer

    NLIP Seminar Series（ケンブリッジ大学 Department of Computer Science and Technology）

  2. 2025.08

    Words or Vision: Do Vision-Language Models Have Blind Faith in Text? (CVPR 2025)

    第17回 最先端NLP勉強会（SNLP 2025） 発表資料

    slide

活動

研究助成金 / 奨学金

  1. 2024.09 – 2027.03（予定）

    次世代AI人材育成 (BOOST) プログラム

    ※ BOOST: Broadening Opportunities for Outstanding young researchers and doctoral students in STrategic areas

    Research Fellow (科学技術振興機構 (JST) 補助事業)

  2. 2020.04 – 2025.03

    東北大学人工知能エレクトロニクス (AIE) 卓越大学院プログラム

    Research Fellow (文部科学省補助金事業)

  3. 2022.04 – 2024.03

    日本学生支援機構 (JASSO) 奨学金

    Scholarship. 特に優れた業績による半額返済免除.

Teaching Assistant

  1. 2023.10 – 2024.02

    自然言語処理学

    東北大学 大学院情報科学研究科 講義

  2. 2022.10 – 2023.12

    人工知能技術のためのプログラミング入門

    東北大学 全学教育 課外講義

スキル

  • Python
  • PyTorch
  • Transformers
  • Linux
  • Docker
  • Singularity