인스타그램, AI로 자해‧자살 예방 나선다

영국‧EU서 자해‧자살 콘텐츠 규제 AI 툴 운영
EU 일반데이터보호규정(GDPR)의 프라이버시 규정에 따른 한계 지적돼
2017년 14세 소녀 몰리 러셀 자살 이후 공론화

최근 구하라, 설리, 박지선 등 유명 연예인들이 극단적 선택을 했다는 비보가 잇따르면서 자살에 대한 실효성 있는 대책 마련이 시급하다는 목소리가 커지고 있다. 특히 최근 코로나19 여파로 자살률이 급증하고 있는 가운데 인스타그램이 인공지능(AI) 기술을 이용해 자해‧자살 예방에 나서 눈길을 끌고 있다.

인스타그램이 영국과 유럽연합(EU)의 자사 앱에서 자해‧자살 관련 유해 콘텐츠를 자동으로 감지‧식별해 규제할 수 있는 AI 기반 시스템을 선보였다고 11일(현지시간) BBC 등 주요 외신이 전했다. 인스타그램의 새로운 툴은 유해 게시물 규정을 위반하는 자해‧자살 관련 이미지와 단어를 찾아내 앱에서 자동으로 게시물 노출을 최소화하거나 필요한 경우 완전히 삭제할 수 있다.

아담 모세리 인스타그램 CEO는 자사 블로그에서 AI를 활용한 새로운 시스템을 소개했다. 이 같은 페이스북과 인스타그램의 기능은 유럽연합(EU) 외 지역에서는 이미 사용되고 있다. AI 알고리즘을 통해 유해하다고 확인된 게시물은 인간 관리자에게 전송되는 구조다. 이에 인간 관리자는 긴급 구조대에 알리는 등 추가적인 조치를 취할 것인지 여부를 결정하게 된다.

그러나 인스타그램 측은 인간 관리자를 통해 추가 조치까지 이어지도록 하는 서비스의 경우 현재 영국과 EU에서는 시행되지 않고 있다고 밝혔다. 하지만 추후에는 이 서비스도 함께 제공되길 바란다고 덧붙였다.

아직은 EU 일반데이터보호규정(GDPR)에 따른 데이터 프라이버시 문제 때문에 영국과 EU에서는 이 서비스를 도입할 준비가 되지 않았다는 게 인스타그램 측의 설명이다. 타라 홉킨스 인스타그램 유럽 공공정책국장에 따르면 현재 EU에서는 커뮤니티 회원이 직접 게시물을 보고‧신고할 경우에만 AI 기술과 함께 인간 검토 절차를 사용할 수 있다.

한편 페이스북과 인스타그램은 최근 몇 년간 자해‧자살 콘텐츠에 대한 규제가 미흡하다는 비난을 받아왔다. 특히 지난 2017년 14세 소녀 몰리 러셀의 자살 사건 이후 논란은 더욱 불거졌다. 당시 사망한 몰리 러셀의 아버지는 자신의 딸이 스스로 목숨을 끊기 전 인스타그램 속 자해 관련 이미지에 지속적으로 노출되면서 이에 영향을 받았다고 주장했다. 이 같은 이미지를 적극적으로 삭제하지 않은 인스타그램에도 책임이 있다는 지적이다.

지난 9월 페이스북을 비롯한 인스타그램, 구글, 유튜브, 트위터, 핀터레스트 등 소셜 미디어 기업들은 영국 자살 예방 자선단체인 ‘사마리탄즈(Samaritans)’가 해당 문제 관련 기술 산업계 기준을 마련하기 위해 발간한 가이드라인에 동의한 바 있다.

[관련기사] 인공지능, 가짜 코로나 뉴스 차단 '열일 중'

[관련기사] 페이스북, 인종차별 조장 알고리즘 개선 모색