ものづくりニュース by aperza

指でなぞると話した言葉が軌跡になるUI技術 (庄司智昭,[EE Tim...

指でなぞると話した言葉が軌跡になるUI技術 (庄司智昭,[EE Times Japan])

喋った言葉を目に見える形に

 「耳の不自由な社員や大学生のインターンが職場にいて、そういう人たちとのコミュニケーションをもっと円滑にできないかという思いが開発のきっかけだった。『しゃべり描きUI』を通じて、聴覚障がい者や外国人と喋った言葉を目に見える形にしたい」――三菱電機デザイン研究所産業システムデザイン部の平井正人氏はこう語る。

「しゃべり描きUI」の操作イメージ 出典:三菱電機

 三菱電機は2016年2月9日、タブレット端末やスマートフォン向けに「しゃべり描きUI」を開発したと発表した。しゃべり描きUIとは、端末の好きな場所を指で長押して、話しながらなぞると、なぞった跡に沿って、話したばかりの言葉が表示される音声認識表示技術である。自由な形状で表示でき、文字を書く手間がないのが特長だ。

 同社は今回、しゃべり描きUIにお絵かきや多言語翻訳などの機能を組み合わせたアプリケーション「しゃべり描きアプリ」も発表した。アプリでは、背景に画像を表示する機能や、手書き文字の認識機能も搭載している。人と向かい合って使っても、逆さまに表示されることがない対面二画面表示機能もある。これにより、手話/外国語ができなくても、聴覚障がい者や外国人との多様なコミュニケーションを実現するという。

「しゃべり描きUI」にお絵かき/多言語翻訳の機能を組み合わせたイメージ。翻訳エンジンと音声を認識してテキスト化するのは、サードパーティー製を活用しているとした 出典:三菱電機
「しゃべり描きUI」にお絵かき/多言語翻訳の機能を組み合わせたイメージ。翻訳エンジンと音声を認識してテキスト化するのは、サードパーティー製を活用しているとした 出典:三菱電機


「しゃべり描きUI」に背景画像表示機能を組み合わせたイメージ。聴覚障がい者にレントゲン写真を表示しながら説明を行ったり、観光客に写真を見せながら案内ができるという 出典:三菱電機
「しゃべり描きUI」に背景画像表示機能を組み合わせたイメージ。聴覚障がい者にレントゲン写真を表示しながら説明を行ったり、観光客に写真を見せながら案内ができるという 出典:三菱電機

2016年度中に実証実験へ

三菱電機デザイン研究所産業システムデザイン部の平井正人氏

 平井氏は、「しゃべり描きUIは、人間くさいアナログ感を大事にしている。UIのキモはいかに“気持ちの良い”操作感を出せるかが大事だからだ。その工夫として、先になぞったときと喋った場合で処理の仕方を変えている。先になぞった場合は、軌跡を先に表示して、その軌跡に処理した言葉を徐々に表示していく。先に喋った場合は、すぐに言葉が表示されないようにバッファをとり、1文字ずつ順番に表示していくといった工夫を行っている。もし指でなぞった軌跡が、喋った言葉の数よりも短い場合は、自動的に軌跡が補完されていく仕組みである」と語る。

 しゃべり描きUIは、同社のデザイナー8人が集まり、コミュニケーションの壁をUIの力で乗り越えることを目標にした自主研究プロジェクト「Design X」の開発成果である。2016年度中に大学などへ実証実験の協力を呼びかけ、事業化を目指すとしている。


エレクトロニクス技術を駆使した製品を設計・開発するエンジニアやマネージャー層を対象に、半導体・電子部品、ディスプレイ、ネットワーク、ソフトウエア、エネルギー、設計・解析ツールなどに関する技術情報や、業界の最新動向を提供するサイトです。特集記事に加え、各種技術解説やトップへのインタビュー、海外発のニュースなど、エレクトロニクス分野における最新かつ専門性の高い情報を発信します。 http://eetimes.jp/