ソウル大の自律ロボット知能研究室が、アートセンターナビと共同で研究·開発したAI「ジェンイ」とAIプロジェクト「#ジェンイチャレンジ」を公開すると発表しました。今回のプロジェクトには、マルチモーダルインベディング(Multimodal Embedding)人工知能技術を適用し、文化体育観光部と韓国コンテンツ振興院による2020年文化技術研究開発支援事業「文化コンテンツR&D専門人材養成-芸術·科学融合プロジェクト」の支援で行われました。

　当プロジェクトでは膨大な情報を構築するため、1万本余りの映画からAIで20万枚に達する主要場面情報を抽出し、主要構図、人物配置、背景をスケッチ化しました。続いて、ユーザーがあらすじやセリフなどの文章を入力すれば、適切なスケッチを提案します。この過程で、マルチモーダルインベーディング技術が使用されました。 これは文章と映像を同じベクトル空間にマッピングして文章と映像の間に変換·翻訳を可能にする技術で、ユーザーが入力した文章に最も関連度の高い映像にアクセスできます。

　一般的に創作者がインスピレーションを得て初スケッチを描くまでに多くの時間がかかるという点に着眼し、これを助けることのできるAI基盤の創作スケフォリング（Scaffoling）を提案して試演します。 アートセンターナビとソウル大の共同研究チームは、ウェブトゥーン、映画、ウェブ小説製作シナリオなど、様々なコンテンツ領域にその用途を拡張できるよう共同研究を続けていく予定です。

　また、共同研究チームは開発した技術に関する13本以上の論文を世界最高水準の国際学術誌と主要学術大会に発表し、「文章基盤のスケッチ推薦システムおよび方法」と「グラフィック類似度を活用した連続イメージ検索システム」などの関連技術を多数特許化しました。

　ソウル大学校工学専門大学院客員教授を兼ねているノ·ソヨン館長は「韓国コンテンツ振興院の助成で工学系と芸術系の学生が出会い、驚くべき結果を生み出しました。各自の領域を学び互いに意見を交換し合い、真の意味での融合·複合専門人材が誕生したチャンスだった」と協業プロジェクトの感想を述べた。 

Tweet