Ryogo Niwa

丹羽遼吾

University of Tsukuba,
Second year of a Master's program.

Digital Nature Group,  JSPS DC1, 
OMRON SINIC X Research Intern

Interests: Human Computer Interaction / Real-world oriented interface / Signal Processing / Computer Vision  / EMS 

LinkTwitterInstagramLink

Research

Event-based Visual Microphone

マイクを使わない新しい音の記録システムを開発しました。
従来手法のLDVやハイスピードカメラには高コストであることや、撮影速度と解像度のトレードオフが課題でした。そこで輝度変化のみを記録するイベントカメラを用いた手法を提案し、音の再構築に成功しました。この手法は明るい照明を必要とせず、低コストで音を記録することができ、振動や音の測定において新しい可能性を提供する。従来のマイクでは困難なほど遠くの音を記録できたり、狙った音のみをクリアに記録できる可能性を秘めています。

We have developed a new sound recording system that does not require a microphone. Conventional methods such as LDV and high-speed cameras had issues with high cost, and the trade-off between shooting speed and resolution. Therefore, we propose a method using an event camera that only records changes in brightness, and we have successfully reconstructed the sound. This method does not require bright light, can record sound at a low cost, and offers new possibilities in the measurement of vibrations and sounds. It has the potential to record sounds from distances that are difficult with conventional microphones, and to clearly record only targeted sounds.

Air Talk-Starter

ろう・難聴者が抱える最大の問題の一つに話しかけられたことに気づけないことがあります。聴覚障害は外見や行動だけでは障害の有無やその程度に気がつかず、話しかけられても気がつかない様からコミュニケーションの機会の損失を大きく受けています。 Air Talk-Starterは空気渦輪を話しかけられた人の頭部に当てることでその方向を提示し、コミュニケーションの入り口を作りやすくします。

One of the biggest challenges that deaf and hard-of-hearing individuals face is not realizing when they are being spoken to. It's hard to notice the presence or degree of hearing impairment just by appearance or behavior, and not realizing when they're being spoken to often leads to significant losses in communication opportunities. Air Talk-Starter aims to mitigate this problem by directing a vortex of air at the person being spoken to, thereby indicating the direction from which the communication is coming and making it easier to initiate a conversation.

Drone Badminton

Drone Badmintonは、ドローンを球として用いることで、弱視者が空中で移動する球を認識しラリーを行う競技を可能にします。プレイヤーは専用のラケットとドローンを用意するだけで、競技を行うことが出来ます。私たちはラケットのガットの代わりにセンサーを取り付けることで、フレームを通過したドローンが自動で相手方向に移動するシステムを開発しました。本プロダクトは弱視者競技の種類を大幅に拡大する可能性を秘めていると同時に、中途弱視者はかつて可能だった上を向いてラケットを振るといった競技を再体験することが出来ます。

Drone Badminton makes it possible for visually impaired people to participate in a rally sport that involves recognizing a ball moving in the air, by using a drone as the ball. Players only need to prepare a specialized racket and a drone to participate. We have developed a system where the drone automatically moves in the opponent's direction once it passes through the frame, by attaching sensors in place of the racket strings. This product not only holds the potential to significantly broaden the variety of sports for the visually impaired, but also allows those with partial vision loss to re-experience sports where one used to look up and swing a racket.

EMS-Supported Throwing

この研究では、EMSと予測を組み合わせた学習支援システムを提案し、アンダーハンドスローの制御能力を向上させるためにリリースポイントを教示するためにシステムを使用し、学習効果を確認した。実験結果から、EMSはボールのリリースポイントを教示するのに効果的であったことが示され、EMSを応用して運動学習を支援する可能性があることが示唆された。

In this study, we propose a learning support system that combines EMS (Electrical muscle stimulation) and prediction. The system is used to instruct the release point in order to improve underhand throw control ability, and we verified its learning effect. Experimental results showed that EMS was effective in instructing the release point of the ball, suggesting potential for supporting motor learning by applying EMS.

How See the Colorful Scenery?

視覚障害者向けの周囲の説明アプリは色の説明が不十分であるため、研究者らは追加の説明を加えて視聴体験を試みた。実験では色を想像できるという意見があったが、説明が理解しにくいという意見もあった。今後は、障害者向けの説明文に基づいたコーパスを生成し、詳細かつ瞬時に風景を理解することを目指している。

Because existing description apps for visually impaired people often don't provide sufficient information about colors, researchers added extra descriptions to try and enrich the visual experience. In the experiments, while some participants expressed that they could imagine the colors, others found the descriptions hard to understand. Going forward, the aim is to build a corpus based on descriptions for people with disabilities, with a view to allowing for instantaneous and detailed comprehension of landscapes.

職歴

名古屋大学 情報学部 自然情報学科 入学 2017/04 ~ 2020/03

筑波大学 情報メディア創成 編入 2020/04 ~ 2022/03

産業技術総合研究所・テクニカルスタッフ 2020/12 ~2021/03

Sportip iOSエンジニア 2021/04〜2022/08

筑波大学 大学院 情報学学位プログラム 入学 2022/04 ~ 現在

SONY Group R&D インターン 2022/9/1~9/31

OMRON SINIC X Research Intern 2023/10 ~ 現在

Publication

Google Scholar

国際学会(査読有)

査読なし


Presentation


Grants and Awards


Media