Immersive Data Science for Causal Understanding in Shared Virtual Research Environments
Immersive Data Science for Causal Understanding in Shared Virtual Research Environments
Assoc. Prof. Ryota Nakamura
プラットフォーム基盤
WebXR をベースとし,PC・スマートフォン・タブレット・HMD に対応したマルチデバイス型バーチャル研究空間を構築
Three.js / React と Sketchfab API 連携により,ブラウザ完結型でアプリ不要のアクセス環境を実現
研究空間としての機能
Nakamura Lab を仮想空間に再現し,研究フェーズに応じて構造が変化する「成長する研究室」機構を実装
武蔵野大学 — PENS Surabaya を接続する Spatial Bridge Protocol によるサイバーフィジカル遠隔協働基盤を構築
データ収集・解析機能
アバタの動作・視線・発話・空間配置の多次元時系列データをリアルタイムに取得し,AI 解析へ接続
IDS が要請する「観察 — 介入 — 検証」サイクルを単一環境内で完結
教育・研究応用
ゼミ運営,学生プロジェクト(バスケ・サッカー・感情×植物アート等)の発表共有,AI 倫理講義の体験型教材として活用
理論的貢献
IDS(理論)→ IIDS(概念実装)→ Dimensio(プラットフォーム)の三層を具現化し,Growing AI の実証実験場を確立
Platform Foundation
Built a WebXR-based, multi-device virtual research environment supporting PC, smartphone, tablet, and HMD
Realized a fully browser-based, installation-free access model using Three.js, React, and Sketchfab API integration
Functionality as a Research Space
Recreated Nakamura Lab in virtual space and implemented the "Growing Research Room" mechanism, in which spatial structure evolves with research phase progression
Established the Spatial Bridge Protocol, a cyber-physical infrastructure connecting Musashino University and PENS Surabaya
Data Acquisition and Analysis
Enabled real-time acquisition of multidimensional time-series data (avatar motion, gaze, speech, spatial configuration), connected to AI analysis pipelines
Realized the complete "Observation — Intervention — Verification" cycle required by the IDS framework within a single environment
Educational and Research Applications
Utilized for seminar operation, student project presentations (basketball, soccer, emotion × plant-form media art), and as an experiential learning platform for AI ethics courses
Theoretical Contribution
Embodied the three-tier hierarchy of IDS (theory) → IIDS (conceptual implementation) → Dimensio (platform), and serves as a testbed for the Growing AI architecture
招待講演
中村亮太,Immersive Data Science,AI教育推進機構2025年度第9回AI教育推進ミートアップ(2026年3月18日)
研究報告
松尾明柊,中村亮太,受講者の躓き可視化と動的グルーピングを用いたWeb3D講義支援システムの開発,情報処理学会 第88回全国大会(2026年3月7日)
桐山夢叶,中村亮太,身体的操作によるメタパラダイム的操作設計と因果連鎖探究シミュレーションへの展開,情報処理学会 第88回全国大会(2026年3月7日)
五十嵐彩花,中村亮太,単眼映像を用いたバスケットボール・ディフェンス行動の運動学的解析および自律学習支援への応用,情報処理学会 第88回全国大会(2026年3月6日)
鮒田慈治,中村亮太,HMDを用いたマルチモーダルVR環境におけるプレゼンスキル評価・向上支援システムの開発,情報処理学会 第88回全国大会(2026年3月6日)
滑川裕里瑛,中村亮太,音声の感情および意味内容を植物形態へ動的に反映するプロシージャル生成手法 — LLMによる文脈解析とフィロタキシスを用いた構造決定 —,情報処理学会 第88回全国大会(2026年3月6日)
多田有里,中村亮太,Model Context Protocolを用いた二層知識継承による建築制約を持つ屋内シーン生成の自律的品質保証,DEIM2026 第18回データ工学と情報マネジメントに関するフォーラム(2026年3月1日)
吉岡万里奈,小笠原豊,大橋一広,中村亮太,非言語情報の可視化によるオンラインディスカッションの質向上支援,第127回コラボレーションとネットワークサービス・第45回コンシューマ・デバイス&システム・第42回デジタルコンテンツクリエーション合同研究発表会(2026年1月22日)
山本瑞希,小笠原豊,大橋一広,中村亮太,発散と収束の可視化による議論構造の最適化 — 成果を生むディスカッションプロセスの分析 —,第127回コラボレーションとネットワークサービス・第45回コンシューマ・デバイス&システム・第42回デジタルコンテンツクリエーション合同研究発表会(2026年1月22日)
鷲巣かなは,小笠原豊,大橋一広,中村亮太,グループディスカッションにおける可視化ツールを用いた振り返りの効果分析,第127回コラボレーションとネットワークサービス・第45回コンシューマ・デバイス&システム・第42回デジタルコンテンツクリエーション合同研究発表会(2026年1月22日)
阪田琴美,呉祖熙,中村亮太,生成画像のキーワード化と対話的プロンプト編集によるAI画像生成支援技術,第214回ヒューマンコンピュータインタラクション研究会(2025年9月3日)
野宮彩羽,単詩軒,中村亮太,音楽ライブの演出における照明と楽曲の関連性可視化システム,第214回ヒューマンコンピュータインタラクション研究会(2025年9月3日)
芦原千乃,中村亮太,VR空間デザインがグループディスカッションの発言行動に与える影響,マルチメディア,分散,協調とモバイル(DICOMO2025)シンポジウム(2025年6月26日)
室秀磨,中村亮太,音声と表情の感情情報の違いがバーチャル空間における感情認知に与える影響の検証 — 音声・表情融合によるアバター表情生成手法の開発と評価 —,DICOMO2025シンポジウム(2025年6月26日)
西居有花,石戸莞楽,中村亮太,大規模言語モデルを活用した制作者の意図推定による3Dオブジェクトの自動選定・配置システムの提案,DICOMO2025シンポジウム(2025年6月26日)
木内健太,中村亮太,Text2Field: A Practical Analysis System for 3D Visualization of Soccer Tracking Data,DICOMO2025シンポジウム(2025年6月25日)
乾映之右,中村亮太,LLM入力テキスト中のステレオバイアス自動検出およびプロンプト反映手法の提案,DEIM2025 第17回データ工学と情報マネジメントに関するフォーラム(2025年2月27日)
西居有花,石戸莞楽,中村亮太,大規模言語モデルを用いた制作者の意図に基づくオブジェクトの自動選定・配置システムの提案,第23回情報科学技術フォーラム(FIT2024)(2024年9月6日)
芦原千乃,松田悠杜,中村亮太,バーチャル空間の閉塞性と開放性がグループディスカッションにおける発言量と議論の展開に与える影響,FIT2024(2024年9月6日)
NG JACK SEN,中村亮太,LLMを用いたバスケットボール戦術3DCGレミュレーション提示手法の提案,FIT2024(2024年9月5日)
松本ひかり,中村亮太,LLMを用いた視聴覚効果による美術作品理解支援のための展示空間自動生成システム,FIT2024(2024年9月4日)
Ryota Nakamura, Plastic Garbage Detection AI & Contribution Degree Propagation, International Electronics Symposium 2024, Summer School(2024年8月6日)
Ryota Nakamura, A Plastic Waste Hotspot Detection System and Its Application to Measuring Environmental Improvement, Proc. of 2024 IEEE International Symposium on Consumer Technology (ISCT)(2024年8月)
Ryota Nakamura, A Web Application for Automatic Detection and Counting of Garbage, AI Consortium & 5D World Map System Asia-Europe Summer School 2024 in conjunction with EJC2024(2024年6月10日)
呉祖熙,単詩軒,中村亮太,オンラインコミュニティーにおけるユーザ属性に基づくグループ分けシステムの試作と評価,第123回コラボレーションとネットワークサービス・第55回セキュリティ心理学とトラスト合同研究発表会(2024年5月10日)
窪田すみれ,中村亮太,3次元Web上の学習環境におけるマルチユーザの行動分析,情報処理学会第86回全国大会(2024年3月)
石戸莞楽,中村亮太,3次元Web空間制作支援のための大規模言語モデルを用いた3Dモデル自動選択手法の提案,情報処理学会第86回全国大会(2024年3月)
古田藍夏,中村亮太,3次元Web空間におけるバーチャル展示会の来場者行動分析,情報処理学会第86回全国大会(2024年3月)
阿部広夢,中村亮太,VRObjFinder: VR空間制作支援のための大規模言語モデルを用いた3DCGオブジェクト自動選択手法,情報処理学会DICOMO2023(2023年7月6日)
瀧澤琴萌,阿部広夢,中村亮太,読者をフロー状態に導くための拡散モデルを用いたVR空間生成手法,情報処理学会DICOMO2023(2023年7月6日)
外﨑未空,阿部広夢,中村亮太,臨場感向上のための環境音付き360度パノラマ画像の自動生成手法,情報処理学会DICOMO2023(2023年7月6日)