자동 맞춤 기능으로 딥페이크 생성 수월해
악용 막기 위한 제어 수단 필요 목소리 커져
오픈소스로 제공되는 인공지능(AI) 이미지 생성기가 윤리 문제를 야기할 수 있다는 지적이 일고 있다. 안전장치 없이 누구나 이용할 수 있도록 공개하는 것은 범죄에 악용될 소지가 크다는 것이다.
미국 IT 매체 테크크런치는 25일(현지시간) 스테빌리티 AI(Stability AI)가 최근 오픈소스로 공개한 '스테이블 디퓨젼(Stable Diffusion)'이 아트브리더(Artbreeder), 픽셀스.ai(Pixelz.ai) 등 아트 생성기 서비스에서 사용되는데, 모델의 필터링되지 않은 점은 모든 활용이 정당하다고 할 수 없게 만든다면서 악용될 가능성이 높아 우려된다는 내용의 논평을 내놨다.
대부분의 사용 사례는 정당하다고 할 수 있지만 덜 바람직한 목적을 위해 사용되기도 했다는 것이다. 실제로 악명 높은 토론 게시판 4chan에서는 유명인의 AI 생성 누드 작품 및 기타 형태의 포르노가 게시됐다.
스테이블 디퓨전은 사용자의 작업을 최소화하면서 완벽하지는 않지만 믿을 수 없을 정도로 설득력 있는 가짜 이미지를 생성할 수 있는 새로운 시스템이다. 설치가 간편하고 고사양 그래픽 카드가 필요 없다. M1 맥북에서 실행할 수 있는 보다 효율적인 버전의 시스템 작업도 진행중인 것으로 알려졌다.
이마드 모타크 스테빌리티 AI CEO는 4chan 사태와 관련해 "책임 있는 공개를 위한 안전 및 기타 메커니즘과 관련해 선도적인 윤리학자 및 기술과 협력하고 있다"고 해명했다.
모타크는 이어 불쾌하거나 바람직하지 않은 영상을 탐지하고 차단하는 AI 툴인 '세이프티 분류기(Safety Classifier)'를 탑재했다고 설명했다. 그러나 이는 사용자가 비활성화할 수 있는 기능이다.
스테이블 디퓨젼은 새로운 영역이라고 할 수 있다. 오픈AI(OpenAI)의 달리(Dall-E) 2 등 다른 AI 아트 생성 시스템은 포르노 자료에 엄격한 필터를 적용했다.
오픈 소스인 스테이블 디퓨젼의 라이센스는 미성년자를 악용하는 것과 같은 특정 애플리케이션을 금지하고 있지만 모델 자체가 기술적인 수준에 구속되는 것은 아니다.
다른 AI 아트 생성 시스템이 스테이블 디퓨젼과는 다른 또다른 부분은 공적 인물의 작품을 만들 수 없게 했다는 점이다. 자칫 발생할 수 있는 음란물 딥페이크로 인한 피해를 사전에 방지하기 위한 조치다.
몬트리올 AI(Montreal AI) 윤리 기구의 수석 연구원 아비섹 굽타는 “배포 후 사용 및 모니터링을 포함하는 AI 시스템의 수명 주기에 대해 생각해 보고 최악의 상황에서도 피해를 최소화할 수 있는 제어 수단을 어떻게 구상할 수 있는지에 대해 생각해 봐야 한다”며 “스테이블 디퓨전과 같은 강력한 기능이 쓰이면서 피해자와의 유사성과 관련된 불쾌한 콘텐츠를 만드는 등 시스템을 사용하는 사람들에게 트라우마를 줄 수 있다”고 지적했다.
AI타임스 이한선 객원 기자 griffin12@gmail.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com