丹羽遼吾

筑波大学博士後期課程2年

デジタルネイチャー研究室,
デジタルネイチャー研究開発センター非常勤研究員
学術振興会特別研究員 DC1,

興味: インタラクション，光学的音響計測，高速センシング，イベントカメラ

Research

Event topology-based visual vibrometer

高精度な振動計測は，科学および工学における動的システム解析において不可欠です。しかし，非接触手法では，精度と実用性の間でトレードオフが生じることが少なくありません。イベントカメラは高速かつ低照度環境でのセンシングを可能にしますが，既存手法では振動の振幅および周波数を十分な精度で復元できないという課題があります。本研究では，外部照明を必要とせず，生のイベントストリームから直接振動を再構成する，イベントトポロジーに基づく視覚型振動計（visual vibrometer）を提案します。トポロジカルデータ解析におけるMapperアルゴリズムと階層型密度ベースクラスタリングを統合することで，本フレームワークはイベントデータの内在的構造を捉え，高忠実度で振幅および周波数の両方を復元します。実験の結果，従来手法を大きく上回る性能向上を確認するとともに，単一のイベントストリームから複数の音源を同時に復元できることを実証しました。本手法は，受動的かつ照明不要な振動センシングの可能性を大きく前進させるものです。

Cooperative Design Optimization through Natural Language Interaction

成功するインタラクションを設計するには，最適なパラメータを特定する必要があり，多くの場合，反復的なテストや試行錯誤を通じて行われます。このプロセスは，高次元空間における複数目的の存在により，時間的にも認知的にも大きな負担を伴います。ベイズ最適化のようなシステム主導の最適化手法は，評価すべきパラメータを提案できますが，デザイナーの介入を制限するため，ユーザー体験を低下させる可能性があります。本研究では，大規模言語モデル（LLMs）をシステム主導の最適化と統合し，自然言語による対話と協調的な設計最適化を可能にするフレームワークを提案します。実験の結果，本手法はデザイナーの主体性を高め，認知負荷を軽減し，既存の協調手法と同等の性能を達成することを示しました。

Event-based Visual Microphone

マイクを使わない新しい音の記録システムを開発しました。
従来手法のLDVやハイスピードカメラには高コストであることや、撮影速度と解像度のトレードオフが課題でした。そこで輝度変化のみを記録するイベントカメラを用いた手法を提案し、音の再構築に成功しました。この手法は明るい照明を必要とせず、低コストで音を記録することができ、振動や音の測定において新しい可能性を提供する。従来のマイクでは困難なほど遠くの音を記録できたり、狙った音のみをクリアに記録できる可能性を秘めています。

Air Talk-Starter

ろう・難聴者が抱える最大の問題の一つに話しかけられたことに気づけないことがあります。聴覚障害は外見や行動だけでは障害の有無やその程度に気がつかず、話しかけられても気がつかない様からコミュニケーションの機会の損失を大きく受けています。 Air Talk-Starterは空気渦輪を話しかけられた人の頭部に当てることでその方向を提示し、コミュニケーションの入り口を作りやすくします。

Drone Badminton

Drone Badmintonは、ドローンを球として用いることで、弱視者が空中で移動する球を認識しラリーを行う競技を可能にします。プレイヤーは専用のラケットとドローンを用意するだけで、競技を行うことが出来ます。私たちはラケットのガットの代わりにセンサーを取り付けることで、フレームを通過したドローンが自動で相手方向に移動するシステムを開発しました。本プロダクトは弱視者競技の種類を大幅に拡大する可能性を秘めていると同時に、中途弱視者はかつて可能だった上を向いてラケットを振るといった競技を再体験することが出来ます。

EMS-Supported Throwing

この研究では、EMSと予測を組み合わせた学習支援システムを提案し、アンダーハンドスローの制御能力を向上させるためにリリースポイントを教示するためにシステムを使用し、学習効果を確認した。実験結果から、EMSはボールのリリースポイントを教示するのに効果的であったことが示され、EMSを応用して運動学習を支援する可能性があることが示唆された。

職歴

名古屋大学情報学部自然情報学科入学 2017/04 ~ 2020/03

筑波大学情報メディア創成編入 2020/04 ~ 2022/03

産業技術総合研究所・テクニカルスタッフ 2020/12 ~2021/03

筑波大学大学院情報学学位プログラム博士前期課程入学 2022/04 ~ 2024/03/31

SONY Group R&D インターン 2022/9/1~9/31

OMRON SINIC X Research Intern 2023/10 ~ 2025/06/30

筑波大学大学院情報学学位プログラム博士後期課程入学 2024/04 ~ 現在

デジタルネイチャー研究開発センター非常勤研究員 2024/12/1~ 現在

Publication

Google Scholar

査読付き論文

Event Topology-based Visual Vibrometer, Ryogo Niwa, Yoichi Ochiai, Tatsuki Fushimi, Appl. Phys. Lett. 16 February 2026; 128 (7): 074102. https://doi.org/10.1063/5.0311647 , Featured Article (Editor-selected)
Cooperative Design Optimization through Natural Language Interaction, Ryogo Niwa, Shigeo Yoshida, Yuki Koyama, and Yoshitaka Ushiku, In Proceedings of the 38th Annual ACM Symposium on User Interface Software and Technology（UIST ’25）．Association for Computing Machinery, New York, NY, USA, 2025, DOI：10.1145/3746059.3747789．
Event-based Visual Microphone, Ryogo Niwa, Tatsuki Fushimi, Kenta Yamamoto, and Yoichi Ochai,
proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pp. 4054-4055, 2023
Demonstrating SHITARA: Sending Haptic Induced Touchable Alarm by Ring-shaped Air vortex, Ryosei Kojima, Akihisa Shitara, Tatsuki Fushimi, Ryogo Niwa, Atsushi Shinoda, Ryo Iijima, Kengo Tanaka, Sayan Sarcar, and Yoichi Ochiai, Conference on Human Factors in Computing Systems
(CHI' 23) hot desk demo
A Preliminary Study on Eye Contact Framework toward Improving Gaze Awareness in Video Conferences, Kazuya Izumi, Shieru Suzuki, Ryogo Niwa, Atsushi Shinoda, Ryo Iijima, Ryosuke Hyakuta, and Yoichi Ochiai, Human Computer Interaction International 2023 (HCII' 23)
EMS-Supported Throwing:Preliminary investigation on EMS-supported training of movement form, Ryogo Niwa, Kazuya Izumi, Shieru Suzuki, and Yoichi Ochiai , Human Computer Interaction International 2022 (HCII' 22)
How See the Colorful Scenery?: The Color-centered Descriptive Text Generation for the Visually Impaired in Japan, Chieko Nishimura, Naruya Kondo, Takahito Murakami, Maya Torii, Ryogo Niwa, and Yoichi Ochiai , Human Computer Interaction International 2022, (HCII' 22)

査読なし

Event Topology-based Visual Microphone for Amplitude and Frequency Reconstruction, Ryogo Niwa, Yoichi Ochiai, and Tatsuki Fushimi, arXiv https://arxiv.org/abs/2510.17092
SHITARA: Sending Haptic Induced Touchable Alarm by Ring-shaped Air vortex, Ryosei Kojima, Akihisa Shitara, Fushimi Tatsuki, Ryogo Niwa, Atsushi Shinoda, Ryo Iijima, Kengo Tanaka, Sayan Sarcar, and Yoichi Ochiai,
arxiv https://arxiv.org/abs/2301.08107
Event-based Visual Microphone: Non-contact Vibration Sensing using Event Camera, Ryogo Niwa, Tatsuki Fushimi, Kenta Yamamoto, and Yoichi Ochiai, 日本音響学会講演論文集, pp. 529-532, 2023

Presentation

自然言語を介した協調的デザイン最適化, 丹羽遼吾, 吉田成朗, 小山裕己, and 牛久祥孝第33回インタラクティブシステムとソフトウェアに関するワークショップ (WISS 2025). 2025/12/04. (国際学会招待発表)
Event-based Visual Microphone: Non-contact Vibration Sensing using Event Camera, Ryogo Niwa, Tatsuki Fushimi, Kenta Yamamoto, and Yoichi Ochiai, 音響学会第150回(2023年秋季)研究発表会
EMS-Supported Throwing:Preliminary investigation on EMS-supported training of movement form, Ryogo Niwa, Kazuya Izumi, Shieru Suzuki, and Yoichi Ochiai, Human Computer Interaction International 2022

Grants and Awards

令和5年度筑波大学校友会江崎賞受賞
つくばスカラシップ研究奨励奨学金
学振特別研究員 DC1 2024.04.01 ~ 2027.03.31, 安全な光学式マイクロフォンの開発と新たなインタラクションの提案, 230 万円
音響学会学生優秀発表賞第27回（2023年秋季研究発表会）
リバネス研究費 incu・be賞奨励賞
CREST AIP ネットワークラボ長賞受賞, 41名中トップ5名
CREST AIPチャレンジ研究費100万円獲得
Drone Badminton, 貞末真明, 皆川達也, 田中賢吾, 丹羽遼吾, 伏見龍樹, 落合陽一. アクセンチュアインタラクティブ賞, 第27回学生CGコンテスト
ゆる楽器ハッカソン優秀賞
ナイルハッカソン優勝賞金30万円獲得

Media

Page updated

Google Sites

Report abuse

Ryogo Niwa