영국 런던에 위치한 인공지능(AI) 합성 영상 스타트업 신세시아(Synthesia)가 기업용 고품질 AI 영상 제작 플랫폼을 한 단계 업그레이드했다. 이번 업그레이드의 주인공은 바로 '감정 표현 가상 배우'입니다.

텍스트 내용 이해해 감정 표현하는 가상 배우

이 가상 배우들은 기존의 디지털 아바타와는 달리, 전달하는 내용의 맥락에 따라 목소리 톤, 얼굴 표정, 몸짓까지 조절한다. 흥미롭게도 이 발표는 마이크로소프트가 얼굴 사진만 있으면 말하는 영상과 노래 영상을 만들어내는 AI 프레임워크 '바사(VASA)'를 공개한 지 불과 일주일만에 이루어진 일이다.

하지만 연구 단계에 머무는 바사와 달리, 신세시아의 '감정 표현 가상 배우' 기술은 실용적이며 기업 고객들이 목표 고객에게 더욱 사실적인 AI 영상을 제작하는 데 도움을 줄 것이다.

신세시아의 AI 영상 제작 기술 진화

신세시아는 스탠퍼드와 케임브리지 대학 출신 연구원 및 기업가들로 구성된 팀에 의해 2017년 설립되었다. 신세시아는 사용자 정의 AI 음성과 아바타(기존 아바타 사용도 가능) 제작과 함께 미리 작성된 스크립트 또는 AI 제작 스크립트를 사용하여 스튜디오 수준의 AI 영상을 제작할 수 있는 엔드투엔드 플랫폼을 구축했다.

이 서비스는 기업 고객들에게 폭발적인 반응을 얻었으며, 현재까지 20만 명 이상의 사용자가 디지털 아바타를 활용하여 1,800만 개 이상의 영상을 제작했다. 하지만 지금까지 신세시아를 포함한 모든 업체들이 제공하는 아바타에게는 한 가지 큰 한계가 있었다. 바로 감정 이해 기능이다. 실제 영상 발표자와 달리 디지털 아바타는 스크립트에 따라 목소리 톤, 표정 또는 제스처를 바꿀 수 없었으며 이러한 요소들은 미리 정의되어 있어야 했다.

하지만 이제 '감정 표현 가상 배우' 출시로 상황이 달라졌다.

신세시아는 새로운 가상 배우가 텍스트 내용의 맥락과 감정을 이해하여 목소리 톤과 표정을 바꾸어 대사를 전달할 수 있다고 설명한다. 신세시아는 미묘한 표정 변화, 눈 깜박임, 심지어 시선 이동까지 사용하여 다양한 감정을 표현할 수 있다고 주장한다. 흥분된 내용을 이야기할 때는 아바타가 미소 짓고 웃으며, 슬프거나 우울한 내용일 때는 천천히 말하고 긴 침묵을 삽입할 수 있다는 것이다.

신세시아 CTO 존 스타크는 "이 새로운 아바타를 통해 우리는 단순히 디지털 렌더링을 만드는 것이 아니라 디지털 배우를 선보인다. 이 기술은 가상과 현실의 경계를 흐리는 정교함과 사실감을 디지털 아바타에게 가져다준다."라고 블로그 게시물에 썼다.

신세시아는 이러한 수준의 감정 예측과 사실감을 달성하기 위해 텍스트와 실제 세계에서 텍스트가 어떻게 말해지는지 보여주는 비디오를 수 시간 동안 학습시킨 딥러닝 모델 'EXPRESS-1'을 사용하고 있다.

스타크는 "EXPRESS-1은 모든 움직임과 얼굴 표정을 실시간으로 예측하여 음성 언어의 타이밍, 억양 및 강조에 매끄럽게 맞춘다. 그 결과 놀라울 정도로 자연스럽고 인간과 같은 연기를 할 수 있다"고 덧붙였다. 새로운 아바타는 또한 다양한 언어로 보다 자연스러운 립싱크와 음성을 제공한다.

신세시아, 감정 표현 가상 배우 악용 방지에도 힘써!

인간과 유사한 방식으로 감정을 표현하고 말할 수 있는 디지털 아바타는 사람들을 속이고 개인 또는 사회에 해를 끼칠 수 있는 악용 가능성이 높다. 하지만 신세시아는 기업 중심의 긍정적인 활용 사례, 특히 의사 소통 및 지식 공유 분야에서의 활용을 보장하기 위해 적극적으로 노력하고 있다.

예를 들어, 신세시아는 의료 기관들이 환자를 위해 더욱 공감적인 영상을 제작하거나 마케팅 팀들이 새로운 제품을 소개하는 영상에서 흥분과 낙관을 표현하는 데 이 새로운 기술을 사용할 수 있다고 제안한다.