音声をリアルタイム翻訳して画面に字幕スーパーを表示
マイクやシステム音声、指定したアプリの音声をその場で文字起こしし、翻訳結果をHUDとして画面に重ねて表示します。
画面上部に出す「会議モード」と、画面下部に出す「字幕モード」の2つの表示方法が用意され、大きさや位置は調整可能。オンライン会議や動画視聴など場面に応じて使い分けられます。
翻訳読み上げ機能も備えています。スピーカーからの再生でもマイクが合成音声を拾わないように配慮され、言語識別や双方向翻訳とあわせて、HUD表示はもちろん、画面を介さない同時翻訳も可能です。
Macを挟んで向かい合い、英語と日本語で会話しながら同時通訳させる、という使い方も違和感なくこなせます。「双方向翻訳する」をオンにしておけば、英語で話すと日本語で読み上げられ、その読み上げの最中に日本語で話せば、今度は英語になって読み上げられます。合成音声は文字起こしの対象にならないため、拾われるのは互いの発言だけ。双方に通訳者が寄り添ってくれているような動作となり、イヤホンを使う必要がないのも大きなメリットです。
ログビューアもHUD同様に画面共有に表示しない設定が可能。透過表示もできます。
HUDだけでなく過去の翻訳結果も閲覧しながら会議などが実施でき、会議画面の上にログビューアを透過で重ねることも可能。
提供辞書としてAI関連用語とトレンド用語に加え、カメラ用語、医療用語と法律用語を無償配布中。
特に医療用語と法律用語についてはそれぞれ500語以上と充実。辞書は製品ページにて無償配布しています。

(↑ 会議モード)
原文のみ、翻訳のみ、翻訳+原文の3種類の表示方法から切り替えられます。

ログビューアを備え、結果を後から編集・再翻訳できるほか、クリップボードへのコピーやJSON保存で後処理にも回せます。
HUDの表示位置、透過度、文字サイズは、設定画面の「表示」タブから行えます。

画面共有ではキャプチャされない仕様のため、リモート会議で相手に気づかれずに翻訳を確認できます(アプリによっては映り込む場合もあります)。音声は保存されませんが、音声入力の代わりとしても利用できます。
14日間はフル機能を無料で試せます(価格2,000円)。
【変更点】
今回の変更点はLocalVQEを用いたダブルトークキャンセル
機能の追加です。
LocalVQEはエコー除去を行う軽量なニューラルネットワークモデルで、リアルタイムでマイク入力から合成音声を間引くこと が可能です。
これにより、スピーカーから流れている音声を認識することなく、それでいて話した言葉はちゃんと文字起こしされるという、いわゆ る「ダブルトークキャンセル」を実現しています。 Macを前にして英語と日本語で双方会話し、同時通訳するという
使い方もさらに違和感なくできるようになりました。
「双方向翻訳する」にしておけば英語で喋ると日本語で読み上げられ、その読み上げ最中に日本語で喋ったらそちらは英語になって読 み上げられます。
もちろん、合成音声は完全にキャンセルされて文字起こしされませんから、双方に同時通訳が寄り添ってくれているような動作をして くれますし、互いにイヤホンで話す必要もないというのも大きなメ リットとなるはずです。
