Research

Event-based Visual Microphone

マイクを使わない新しい音の記録システムを開発しました。
従来手法のLDVやハイスピードカメラには高コストであることや、撮影速度と解像度のトレードオフが課題でした。そこで輝度変化のみを記録するイベントカメラを用いた手法を提案し、音の再構築に成功しました。この手法は明るい照明を必要とせず、低コストで音を記録することができ、振動や音の測定において新しい可能性を提供する。従来のマイクでは困難なほど遠くの音を記録できたり、狙った音のみをクリアに記録できる可能性を秘めています。

Air Talk-Starter

ろう・難聴者が抱える最大の問題の一つに話しかけられたことに気づけないことがあります。聴覚障害は外見や行動だけでは障害の有無やその程度に気がつかず、話しかけられても気がつかない様からコミュニケーションの機会の損失を大きく受けています。 Air Talk-Starterは空気渦輪を話しかけられた人の頭部に当てることでその方向を提示し、コミュニケーションの入り口を作りやすくします。

Drone Badminton

Drone Badmintonは、ドローンを球として用いることで、弱視者が空中で移動する球を認識しラリーを行う競技を可能にします。プレイヤーは専用のラケットとドローンを用意するだけで、競技を行うことが出来ます。私たちはラケットのガットの代わりにセンサーを取り付けることで、フレームを通過したドローンが自動で相手方向に移動するシステムを開発しました。本プロダクトは弱視者競技の種類を大幅に拡大する可能性を秘めていると同時に、中途弱視者はかつて可能だった上を向いてラケットを振るといった競技を再体験することが出来ます。

EMS-Supported Throwing

この研究では、EMSと予測を組み合わせた学習支援システムを提案し、アンダーハンドスローの制御能力を向上させるためにリリースポイントを教示するためにシステムを使用し、学習効果を確認した。実験結果から、EMSはボールのリリースポイントを教示するのに効果的であったことが示され、EMSを応用して運動学習を支援する可能性があることが示唆された。

How See the Colorful Scenery?

視覚障害者向けの周囲の説明アプリは色の説明が不十分であるため、研究者らは追加の説明を加えて視聴体験を試みた。実験では色を想像できるという意見があったが、説明が理解しにくいという意見もあった。今後は、障害者向けの説明文に基づいたコーパスを生成し、詳細かつ瞬時に風景を理解することを目指している。

職歴

名古屋大学情報学部自然情報学科入学 2017/04 ~ 2020/03

筑波大学情報メディア創成編入 2020/04 ~ 2022/03

産業技術総合研究所・テクニカルスタッフ 2020/12 ~2021/03

筑波大学大学院情報学学位プログラム博士前期課程入学 2022/04 ~ 2024/03/31

SONY Group R&D インターン 2022/9/1~9/31

OMRON SINIC X Research Intern 2023/10 ~ 2025/06/30

筑波大学大学院情報学学位プログラム博士後期課程入学 2024/04 ~ 現在

デジタルネイチャー研究開発センター非常勤研究員 2024/12/1~ 現在

Publication

Google Scholar

国際学会（査読有）

Cooperative Design Optimization through Natural Language Interaction, Ryogo Niwa, Shigeo Yoshida, Yuki Koyama, Yoshitaka Ushiku, User Interface Software and Technology (UIST'25) (coming soon!)
Event-based Visual Microphone, Ryogo Niwa, Tatsuki Fushimi, Kenta Yamamoto, and Yoichi Ochai,
proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pp. 4054-4055, 2023
Demonstrating SHITARA: Sending Haptic Induced Touchable Alarm by Ring-shaped Air vortex, Ryosei Kojima, Akihisa Shitara, Tatsuki Fushimi, Ryogo Niwa, Atsushi Shinoda, Ryo Iijima, Kengo Tanaka, Sayan Sarcar, and Yoichi Ochiai, Conference on Human Factors in Computing Systems
(CHI' 23) hot desk demo
A Preliminary Study on Eye Contact Framework toward Improving Gaze Awareness in Video Conferences, Kazuya Izumi, Shieru Suzuki, Ryogo Niwa, Atsushi Shinoda, Ryo Iijima, Ryosuke Hyakuta, and Yoichi Ochiai, Human Computer Interaction International 2023 (HCII' 23)
EMS-Supported Throwing:Preliminary investigation on EMS-supported training of movement form, Ryogo Niwa, Kazuya Izumi, Shieru Suzuki, and Yoichi Ochiai , Human Computer Interaction International 2022 (HCII' 22)
How See the Colorful Scenery?: The Color-centered Descriptive Text Generation for the Visually Impaired in Japan, Chieko Nishimura, Naruya Kondo, Takahito Murakami, Maya Torii, Ryogo Niwa, and Yoichi Ochiai , Human Computer Interaction International 2022, (HCII' 22)

査読なし

Event-based Visual Microphone: Non-contact Vibration Sensing using Event Camera, Ryogo Niwa, Tatsuki Fushimi, Kenta Yamamoto, and Yoichi Ochiai, 日本音響学会講演論文集, pp. 529-532, 2023
SHITARA: Sending Haptic Induced Touchable Alarm by Ring-shaped Air vortex, Ryosei Kojima, Akihisa Shitara, Fushimi Tatsuki, Ryogo Niwa, Atsushi Shinoda, Ryo Iijima, Kengo Tanaka, Sayan Sarcar, and Yoichi Ochiai,
arxiv https://arxiv.org/abs/2301.08107

Presentation

Event-based Visual Microphone: Non-contact Vibration Sensing using Event Camera, Ryogo Niwa, Tatsuki Fushimi, Kenta Yamamoto, and Yoichi Ochiai, 音響学会第150回(2023年秋季)研究発表会
EMS-Supported Throwing:Preliminary investigation on EMS-supported training of movement form, Ryogo Niwa, Kazuya Izumi, Shieru Suzuki, and Yoichi Ochiai, Human Computer Interaction International 2022

Grants and Awards

令和5年度筑波大学校友会江崎賞受賞
つくばスカラシップ研究奨励奨学金
学振特別研究員 DC1 2024.04.01 ~ 2027.03.31, 安全な光学式マイクロフォンの開発と新たなインタラクションの提案, 230 万円
音響学会学生優秀発表賞第27回（2023年秋季研究発表会）
リバネス研究費 incu・be賞奨励賞
CREST AIP ネットワークラボ長賞受賞, 41名中トップ5名
CREST AIPチャレンジ研究費100万円獲得
Drone Badminton, 貞末真明, 皆川達也, 田中賢吾, 丹羽遼吾, 伏見龍樹, 落合陽一. アクセンチュアインタラクティブ賞, 第27回学生CGコンテスト
ゆる楽器ハッカソン優秀賞
ナイルハッカソン優勝賞金30万円獲得

Media

Page updated

Google Sites

Report abuse

Ryogo Niwa