[변호사,AI를 말하다]① 유럽연합 AI 규제안의 내용과 의미

4월 ‘EU AI 규제안’ 발표, EU AI 백서상 AI 거버넌스 방안을 상당히 구체화
위험 기반 접근방식 ...AI시스템 통한 ‘허용할 수 없는 위험’ 발생 행위 금지
각국 규제기관에 광범위한 집행 권한 부여... 위반시 상당히 무거운 벌칙
‘허용되지 않거나 고위험으로 분류되는 AI 시스템의 범위’와 ‘고위험이 아닌 AI 시스템에 대한 추가 규제 도입 여부’에 관심 가져야

들어가며...

AI 기술이 우리 사회 곳곳에 스며들면서 관련 법과 제도의 필요성이 부쩍 제기되고 있다. 최근 크게 논란이 되었던 AI 챗봇 이루다 사건은 전 국민이 AI 윤리를 고민하는 계기가 됐다.

법무법인 태평양과 공동 기획한 연재 칼럼에서는 변호사 관점에서 최신 AI 법·제도·윤리 이슈를 분석한다. 법무법인 중 국내 최초로 AI팀을 꾸린 태평양 내 AI 전담 변호사들이 AI가 사회 속에 자연스레 녹아들어갈 방법과 실제적인 해결책을 모색한다.

유럽연합(EU) 집행위원회는 4월 21일 ‘EU AI 규제안’(Proposal for a Regulation on a European Approach for Artificial Intelligence)을 발표하였다. 이는 EU 집행위원회가 작년 2월 EU가 향후 도입할 AI 규제의 기본 틀을 담은 ‘AI의 발전과 신뢰 확보를 위한 백서’(EU AI 백서)를 발표한지 약 1년 만이다. EU AI 규제안은 큰 틀에서 EU AI 백서의 내용을 기반으로 하고 있기 때문에 완전히 새로운 내용은 아니지만 EU AI 백서에서 논의되었던 AI 거버넌스 방안을 상당히 구체화시켰다는 점에서 큰 의미가 있다. EU AI 규제안은 향후 입법될 경우 EU 시장에 진출한 국내 AI 기업들에게 적용될 수 있고 다른 국가들이 준비 중인 AI 규제 관련 법안의 모델이 될 수 있으므로 국내에서도 눈여겨볼 필요가 있다.

AI 시스템의 정의

EU AI 규제안은 AI 시스템을 “부속서에 기재된 기술 및 방법 중 하나 이상을 사용하여 개발되고, 인간이 정의한 목적들을 위하여 콘텐츠, 예측, 추천, 의사결정 등 시스템이 상호작용하는 주변 환경에 영향을 미치는 결과물을 생산할 수 있는 소프트웨어”라고 정의하고 있다. 여기서 부속서는 AI 시스템이 적용하는 기술 및 방법으로 머신러닝, 논리 또는 지식 기반 접근, 통계적 접근 방법을 열거하고 있다. 단 EU 집행위원회가 필요에 따라 부속서상 AI 시스템의 기술 및 방법을 수정할 수 있다고 규정하여 기술적 유연성을 확보하고 있다.

적용 범위

EU AI 규제안은 크게 AI 시스템의 ‘공급자’와 ‘이용자’에게 적용된다. 본 규제안은 AI 시스템의 공급자가 EU뿐만 아니라 제3국에서 설립된 경우에도 적용된다. 반면 AI 시스템의 이용자는 원칙적으로 EU 내에 위치한 경우에만 적용된다. 다만 제3국에 위치한 공급자와 이용자라도 AI 시스템의 결과물이 EU에서 사용되는 경우에는 본 규제안의 적용을 받는다.

가령 국내에서 AI 기반 인사 평가 시스템을 운영하는 사업자가 직접 EU 내에서 기업들에게 인사 평가 서비스를 제공하지 않더라도, EU 내에서 해당 서비스를 제공하는 협력사로부터 개인정보를 전달받아 평가 결과물만 협력사에게 전달할 경우에도 본 규제안의 적용을 받을 수 있다.

위험 기반 접근 방식

EU AI 규제안은 위험 기반 접근 방식(risk-based approach)을 적용하여 AI가 발생하는 위험을 (i) 허용할 수 없는 위험(unacceptable risk), (ii) 고위험(high risk), (iii) 제한된 위험(limited risk), (iv) 낮은 위험(minimal risk)으로 구분하고 각 단계별로 다른 규제를 적용하고 있다.

금지되는 AI 이용 행위

우선 AI 시스템을 통해 ‘허용할 수 없는 위험’을 발생시키는 행위는 금지된다. 본 규제안은 인간을 무의식적으로 조종하거나 취약계층을 착취하는 방식으로 사람에게 신체적·정신적 피해를 입힐 수 있는 AI 시스템과 개인이나 집단에 대하여 부당하게 불리하게 작용할 수 있는 공공 사회신용평가시스템의 이용을 금지한다. 그리고 공개된 장소에서의 법 집행을 위한 실시간 원격 생체인식 시스템은 범죄 수사 등 제한적인 목적 범위 내에서만 엄격한 요건 하에 허용된다.

EU 집행위원회는 인간의 무의식을 조종하는 AI 시스템의 예로 미성년자로 하여금 위험한 행동을 하게 하는 음성 지원 장난감을 들고 있으나, 법 문언 해석만으로는 가령 동영상을 계속 시청하도록 유도하는 알고리즘도 여기에 포함되는지 명확히 알기 어렵다. 금지되는 AI 시스템의 구체적인 범위에 대해서는 앞으로 추가적인 논의와 가이드가 필요하다.

고위험 AI 시스템에 대한 규제

‘고위험’으로 분류된 AI 시스템은 엄격한 규제를 받는다. EU AI 규제안은 의료기기, 장난감, 기계 등 특정 제품의 안전부품, 생체인식·분류, 사회 기반시설(도로·철도·항만 등) 관리·운영, 교육기관의 입학·평가, 채용·인사평가, 필수 공공·민간 서비스(복지, 신용평가, 긴급구조), 법 집행, 이민·난민·출입국 통제, 사법을 위해 활용되는 AI 시스템을 고위험으로 분류한다. 단 향후 위 리스트에 새로운 고위험 분야가 추가될 수 있다.

고위험 AI 시스템은 위험 평가·대응 시스템 구축, 고품질의 데이터세트 마련, 시스템 기술 명세서 작성, 시스템 운영 내역 기록, 이용자에 대한 정보 제공, 사람에 의한 통제 확보, 높은 시스템 성능·안정성·안전성 확보 등의 요건을 준수해야 한다. 그리고 고위험 AI 시스템의 공급자는 위 요건들을 준수함과 동시에 품질 관리 시스템을 도입하고, 적합성 평가를 수행해야 하며, 시스템을 EU 데이터베이스에 등록해야 한다. 그리고 시스템을 시장에 출시한 이후에도 요건 준수 여부를 모니터링해야 한다.

본 규제안은 기업의 매출액이나 규모에 따른 예외를 두고 있지 않으므로, 고위험 AI 시스템을 공급하는 기업은 규모가 작더라도 앞서 본 엄격한 요건들을 모두 준수해야 한다. 특히 본 규제안은 학습·검증·테스트 데이터의 구성이 편향적이지 않고 오류가 없을 것을 요구하고 있는데, 데이터 확보가 용이하지 않거나 전처리 역량이 부족한 기업의 경우 상당한 부담으로 작용할 것으로 보인다. 나아가 AI 시스템의 개발 과정, 알고리즘의 작동 방식, 학습 데이터 등의 정보가 포함된 시스템 기술 명세서를 작성하고 관리해야 하는 점도 부담 요소이다.

고위험이 아닌 AI 시스템에 대한 규제

고위험이 아닌 AI 시스템은 원칙적으로 규제의 대상이 아니다. 하지만 일부 ‘제한된 위험’을 발생시키는 AI 시스템의 경우, 이용자에게 AI 시스템 활용 사실을 알려야 한다. AI 챗봇과 같이 사람과 소통하는 AI 시스템(단, 정황상 AI 라는 점이 명백한 경우는 제외), 사람의 감정을 인식하거나 생체정보를 분류하는 AI 시스템, 딥페이크 등 이미지·오디오·영상을 진위를 알 수 없게 생성 또는 조작하는 AI 시스템은 제한된 위험으로 분류된다. 그 외에 ‘낮은 위험’ AI 시스템은 법적 구속력 있는 규제의 적용을 받지 않지만, EU AI 규제안은 자율 규범을 만들어 따를 것을 권장하고 있다.

현행 EU AI 규제안은 고위험이 아닌 AI 시스템에 대해서 원칙적으로 규범 준수를 기업 자율에 맡기고 있는데, 향후 AI 시스템이 널리 보급되고 발생 위험이 증가할 경우 의무로 바뀌거나 새로운 규제가 추가될 가능성이 있다.

집행과 벌칙

EU AI 규제안은 각국 규제기관에게 광범위한 집행 권한을 부여하고 위반 행위에 대하여 상당히 무거운 벌칙 조항을 두고 있다. 각국 규제기관은 법 집행을 위해 고위험 AI 시스템 관련 문서의 제출을 명할 권한이 있고, 필요시 소스코드에 대해서도 접근할 수 있다.

본 규제안에서 금지되는 AI 이용 행위를 하거나 고위험 AI 시스템에 대한 고품질 데이터세트 마련 의무를 위반할 경우, 최대 3000만 유로(한화 약 403억원) 또는 전년도 전세계 매출액의 6% 중 더 높은 금액의 과징금이 부과될 수 있다. 나머지 의무를 위반할 경우 최대 2000만 유로(한화 약 269억원) 또는 전년도 전세계 매출액의 4% 중 더 높은 금액의 과징금이 부과될 수 있다.

EU AI 규제안은 입법되기까지 적어도 2년 이상의 시간이 소요될 것으로 예상되고 있다. 향후 논의 과정에서 법안 내용이 일부 변경되겠지만, 입법을 담당하는 EU 의회도 지금까지 논의되어 온 AI 윤리 원칙들을 법제화해야 한다는 입장이라는 점에서 현행 규제안이 큰 틀을 유지하면서 입법될 가능성이 높다. 국내에서 AI 규제의 도입 가능성을 검토하는 연구자나 AI 규제에 대비하는 기업 입장에서는 본 규제안의 입법 과정에서 ‘허용되지 않거나 고위험으로 분류되는 AI 시스템의 범위’가 어떻게 구체화되고 ‘고위험이 아닌 AI 시스템에 대하여 추가 규제가 도입될지 여부’에 대하여 관심을 갖고 지켜볼 필요가 있을 것이다.

법무법인 태평양 마경태 변호사 kyungtae.ma@bkl.co.kr

[관련 기사]유럽연합, AI 운용에 강력한 규제