OpenAI, DALL-E 이미지 판별 도구 개발… 가짜 이미지 걸러내기

인공지능 연구소 오픈AI가 자체 개발한 이미지 생성 프로그램 'DALL-E'로 만들어진 이미지를 판별하는 새로운 도구를 개발 중이다. 이와 함께 콘텐츠가 어떻게 생성됐는지 추적할 수 있는 출처 추적 기술도 도입한다고 밝혔다.

새로운 이미지 판별 도구 개발… DALL-E 3 이미지 98% 정확도 검출

5월 8일, 오픈AI는 블로그 포스트를 통해 새로운 출처 추적 방법론 개발에 착수했다고 밝혔다. 여기에는 인공지능을 활용하여 사진이 AI로 생성되었는지 판별하는 이미지 판별 분류기와 콘텐츠에 보이지 않는 신호를 삽입하는 변조 방지 워터마크 기술이 포함된다.

이미지 판별 분류기는 이미지가 DALL-E 3에 의해 생성되었을 확률을 예측한다. 오픈AI는 이미지가 잘려나거나 압축되거나 채도가 변경되어도 분류기가 작동한다고 주장한다. 이 도구는 이미지가 DALL-E 3으로 만들어졌는지 거의 98%의 정확도로 판별할 수 있지만, 미드저니와 같은 다른 이미지 생성 프로그램으로 만들어진 콘텐츠를 파악하는 성능은 낮아 5~10%만 잡아낸다.

콘텐츠 신뢰성 강화 위해 워터마크 도입

또한 오픈AI는 콘텐츠 출처 및 저작권 정보 등을 담는 워터마크 표준인 C2PA (콘텐츠 출처 및 권위 연합)와 협력하고 있다. 오픈AI는 마이크로소프트, 어도비 등과 함께 C2PA 회원사이며, 이번 달에는 C2PA 운영위원회에도 합류했다.

아울러 오픈AI는 현재 제한된 선에서 시험 운영 중인 텍스트 음성 변환 플랫폼 '보이스 엔진'에서 생성된 클립에도 워터마크를 추가하기 시작했다.

하지만 이미지 판별기와 음성 워터마킹 기술은 아직 초기 개발 단계에 있다. 오픈AI는 사용자들의 피드백을 통해 효과를 검증해야 한다고 밝혔다. 연구 기관 및 비영리 저널리즘 단체는 오픈AI의 연구 접근 플랫폼에서 이미지 판별 분류기를 테스트해 볼 수 있다.

오픈AI는 수년간 AI 생성 콘텐츠 검출 작업을 진행해왔다. 하지만 2023년에는 AI 텍스트 분류기의 정확도가 낮게 유지되어 AI 작성 텍스트 식별 프로그램을 종료해야 했다.