安全安心な鉄道利用に向けた「エキマトペ」の実証実験を開始 -聴覚に障がいのある人をはじめとする駅を利用する人へ共通の体験を提供することでダイバーシティへの理解促進に繋げる-
富士通、JR東日本、JR東日本クロスステーション、DNPは、駅のアナウンスや電車の音といった環境音を、文字や手話、オノマトペとして視覚的に表現する装置である「エキマトペ」を用いて、2022年6月15日から12月14日までの間、JR上野駅(東京都台東区)の1・2番線(京浜東北線と山手線)ホームに流れるアナウンスや電車の発着などの音情報を文字や手話で表現する実証実験を実施している。
本実証実験を通じて、聴覚に障がいをもつ人をはじめとする駅を利用者へ快適な体験を提供することで、より安全安心な鉄道利用を実現するとともに、ダイバーシティ&インクルージョンへの相互理解の促進を目指すという。
また、台東区と連携して、手話サークルやボランティア団体などの活動情報を「エキマトペ」のディスプレイに表示することで、各コミュニティへの参加を促し、地域のダイバーシティ&インクルージョンの活性化にも貢献していく。
エキマトペ
エキマトペとは、駅のアナウンスや電車の音といった環境音を、文字や手話、オノマトペとして視覚的に表現する装置。
オノマトペ
オノマトペとは、自然界の音や声、物事の状態や動きなどを音で擬音、擬声化した言葉。
「エキマトペ」実証実験の背景
富士通とJR東日本、DNPは、2021年7月に川崎市立聾学校で開催された「未来の通学」をテーマとしたワークショップをきっかけに、誰もが使いやすく、毎日の鉄道利用が楽しくなるような体験を目指して、駅のアナウンスや電車の音といった音情報を文字や手話で視覚的に表現する装置「エキマトペ」の開発プロジェクトをスタートした。
「エキマトペ」を活用した第1弾のプロジェクトとして、富士通とJR東日本、DNPは、2021年9月13日から15日の3日間、JR巣鴨駅にて駅ホームに流れる音を視覚化する実証実験を実施しており、この実験はSNSなどを通じて駅の利用者から多くの反響があった。
第2弾となる本実証実験では、参画企業としてJR東日本クロスステーションが加わり、社会実装に向けてさらなる省スペース化やコスト削減を意識した「エキマトペ」の筐体の改善を図った。
加えて、駅を地域とのタッチポイントとして機能拡張できるよう、ダイバーシティ&インクルージョンに関する地域情報の掲示機能を追加した。
「エキマトペ」実証実験の概要
今回の「エキマトペ」実証実験では、音の視覚化装置「エキマトペ」を活用し、ホームに流れるアナウンスや電車の発着音、ドアの開閉音などをマイクで集音し、AI分析でリアルタイムに文字や手話、擬音語、擬声語といったオノマトペに変換して、ホーム上に設置された自動販売機上部の専用ディスプレイに表示。
音情報の視覚化にあたっては、富士通のスーパーコンピュータ「PRIMEHPC FX1000」で構築したAIの学習モデルを活用し、マイクで集音した駅の音情報を識別。
ホームに流れる定型アナウンスは、テキストに変換されると同時に事前収録したJR東日本の駅社員による手話動画とともにディスプレイ上に表現され、電車の発着音やドアの開閉音などは、手書きアニメーションで表現される。
さらに、駅社員によるアナウンスを、富士通の「LiveTalk」でテキスト変換し、DNPの
「DNP感情表現フォントシステム」を通じて、文章の内容に適した感情豊かなフォントで表現する。
「DNP感情表現フォントシステム」紹介記事
「エキマトペ」に関する各社の役割
富士通
・「エキマトペ」を活用したシステム設計および開発
・「PRIMEHPC FX1000」による駅の音情報の機械学習およびそれらを識別するAIモデルの構築
・「LiveTalk」を活用した駅社員によるアナウンスをテキスト化するシステムの構築
JR東日本
・JR上野駅構内における「エキマトペ」の設置場所の提供
・AIモデルの構築にあたり機械学習させる音声などのデータ提供
<JR東日本クロスステーション>
・「エキマトペ」を固定する自動販売機の提供
DNP
・駅社員によるアナウンスを文章の内容に適した感情豊かなフォントで表現する「DNP感情表現フォントシステム」の提供
▼「DNP感情表現フォントシステム」紹介記事
「エキマトペ」の今後について
今後、富士通とJR東日本、JR東日本クロスステーション、DNPは、本実証実験を通して得られた知見や駅を利用者からの「エキマトペ」の体験に関するフィードバックをもとに、駅の利便性向上を目指してあらゆるお客さまへの情報伝達のあり方について検討を進めていく。
▼電車の音、初めて知った。「エキマトペ」公式サイト
▼「FUJITSU Supercomputer PRIMEHPC」紹介ページ
▼「FUJITSU Software LiveTalk」製品ページ:
▼「DNP感情表現フォントシステム」紹介ページ
※商標について
記載されている製品名などの固有名詞は、各社の商標または登録商標となる。