人工知能（AI）機械翻訳と音声認識専門企業のエルソルは、AI基盤の次世代動画翻訳サービス「ディープセイム（deepSAME）」のベータサービスを5日から開始すると発表しました。
このサービスは、動画内の話者の声を複製し、多言語で自然に吹き替えることができ、口の形までその言語の発音に合わせて精密にリップシンク処理することで、従来の字幕中心の翻訳方式から完全に脱皮した没入型動画翻訳のパラダイムシフトを予告しています。
「ディープセイム」は、エルソルが20年以上蓄積してきた言語データと独自のAI機械翻訳・音声処理技術を基に開発されました。従来の字幕ベースのソリューション「サブエディター（SubEditor）」が提供していた自動翻訳機能と正確度はそのまま保持しながら、字幕視聴の疲労度と没入度低下の問題を解決するために吹き替え中心に進化しました。特に、世界最高水準のボイスクローン技術とリップシンク技術を統合して話者の感情、トーン、雰囲気をネイティブのように複製できるように実装されました。
ディープセイムの使用方法も簡単です。ユーザーは映像をアップロードするか、YouTube映像のURLだけを入力すれば、システムが自動的にバックグラウンド音と話者の音声を分離した後、話者の語調と音色を保ったままAIが多言語吹き替えを行います。続いて、該当言語の発音に合わせて話者の口の動きを自動的に調整するリップシンク技術が適用されます。これにより、元のコンテンツの没入度と感情伝達力をそのまま維持した状態で多言語視聴が可能になります。
何よりも「ディープセイム」は、従来の手作業中心の吹き替えとリップシンク方式に比べて圧倒的な時間とコスト効率を提供します。一般的に数百万円が費やされ、制作に一日以上がかかっていた従来方式とは異なり、ディープセイムは数分で全体の映像を自動で吹き替えとリップシンク処理することができます。現在、韓国語、英語、日本語、中国語、ベトナム語など33言語をサポートし、グローバルコンテンツ製作環境に適合するように設計されています。
さらに、自動翻訳・吹き替え後にユーザーが字幕、音声、タイミングなどを修正できる後編集エディターを一緒に提供し、完成度の高い結果物の製作を可能にしています。実際、海外主要コンテンツ製作会社とのテストでは、従来方式に比べて90%以上制作時間が短縮される成果を証明しました。
文宗旭代表は「ディープセイムは単なる映像翻訳ツールではなく、AIが話者の音声と口の形まで複製して没入型多言語コンテンツを製作できるように手助けする次世代プラットフォーム」とし、「製作効率性、コンテンツ品質、ユーザー没入感をすべて満足させるサービスとして、グローバル映像製作市場の基準を新たに書き換える」と述べました。
ディープセイムベータサービスは8月5日から11月30日まで進行され、会員登録だけで誰でも5分長さの映像10個までを33言語でAI吹き替えおよびリップシンク機能を無料で体験することができます。
一方、エルソルは旧「シストランインターナショナル」で、機械翻訳、音声認識、音声合成などAI基盤の言語技術分野で国内外の公共・国防・金融・製造・流通分野にソリューションを供給してきた韓国代表AI技術企業です。主要製品には、ezNTS（機械翻訳機）、ezDAS（音声認識機）、ezTTS（音声合成機）、AI Transcribe（E2E音声認識機）、AI SubEditor（映像字幕翻訳機）などがあります。