전북 전주의 한 중학교 남학생들이 교사, 동급생 얼굴 사진을 나체 사진과 합성해 유포한 사건이 발생했다.
이들 중학생은 인공지능(AI)을 이용한 딥페이크(Deepfake) 기술로 음란물을 제작·유포해 경찰 조사를 받는 중이다.
이처럼 딥페이크 범죄가 사회문제로 대두되고 있다.
딥페이크는 딥러닝(Deep learning)과 가짜(Fake)의 합성어로, AI를 이용해 만든 가짜 이미지·오디오·비디오 등 편집물을 말한다.
최근에는 딥페이크를 악용해 가짜 동영상, 가짜 뉴스 등을 유포하는 사례가 늘고 있다.

하지만 이를 근절할 뚜렷한 대책은 나오지 않은 상황이다.
가해자가 특정되더라도 혐의를 입증해 처벌하기가 쉽지 않은 어려움도 있다.
일명 ‘서울대 딥페이크 성범죄’ 사건은 이를 방증하는 단면이다.
딥페이크 음란물을 해외에 서버를 둔 플랫폼에서 유포했을 때는 가해자를 찾는 것 자체가 쉽지 않고, 가해자를 찾더라도 혐의를 입증하는 것이 까다롭기 때문이다.
딥페이크 음란물을 만들었어도 유포할 목적 없이 개인 보관용이었다고 발뺌하면, 사실상 처벌이 어려운 실정이다.

◆생성형 AI로 더 지능화된 딥페이크

28일 특허청과 한국지식재산연구원에 따르면 딥페이크 범죄는 생성형 AI의 대표적인 부작용으로 지목된다.
생성형 AI는 기존 데이터와 비교 학습을 통해 새로운 창작물을 탄생시키는 AI로, 딥페이크 범죄 외에 지식재산권 분야에서도 뜨거운 감자다.
지식재산권 분야에선 최소화된 인간의 개입만으로도 AI가 음악·그림 등 저작물을 창작하고, 발명을 할 수 있는 수준에 도달하면서 이슈가 생산되는 양상이다.

생성형 AI는 2022년 11월 미국의 AI 개발사인 ‘Open AI’가 개발한 챗GPT의 등장으로 급부상했다.
챗GPT의 편리함은 생성형 AI 사용자 수도 큰 폭으로 늘렸다.
하지만 정작 이를 악용하는 사례를 방지할 장치는 마땅치 않다.
최근에는 생성형 AI 서비스 제공자의 책임론이 부각된다.
현재로서는 서비스 제공자의 법적 성격과 책임 범위가 명확하지 않아 직접 서비스를 하더라도, 서비스 제공과정에서 생기는 문제에 대한 책임을 직접 묻기 어렵다.

딥페이크 범죄 가해자를 처벌하는 것과 별개로 딥페이크 악용 방지 대책을 마련하지 않은 서비스 제공자에 대해선 책임 소재를 따지기 어렵다는 것이다.
서비스 제공자는 생성형 AI라는 도구를 제공하고, 개별 이용자가 자신의 선택과 책임으로 도구를 이용하기 때문에 최종 책임도 이용자에게 있다는 논리다.

하지만 생성형 AI로 각종 사회문제가 발생하는 상황임을 고려할 때, 서비스 제공자에게 아무런 책임이 없다고 단정하기 어렵다는 게 현장 전문가의 대체적 시각이다.
이와 관련해 주요국에서는 AI 규제를 실행에 옮기고 있다.

◆주요국 AI 규제 법령 속속 시행…저작권 침해 등 방지

한국지식재산연구원이 내놓은 ‘주요국의 인공지능 규제 동향 및 시사점’ 보고서에 따르면 유럽의회는 지난 3월 AI 기술 혁신을 촉진하는 동시에 안전과 기본권 준수를 보장하는 기본법을 담은 ‘인공지능 법(AI Act)’을 최종 승인했다.

이 법은 이미지·오디오·비디오 콘텐츠(딥페이크 등)를 생성하거나 조작하는 AI 시스템의 배포자는 범죄 예방을 위해 사용되는 등 매우 제한된 경우를 제외하고, 해당 콘텐츠가 인위적으로 생성 또는 조작됐다는 사실을 공개해야 한다고 명시했다.
이는 생성형 AI 서비스의 저작권 침해를 방지하기 위한 수단으로 활용될 수 있다.
특히 생성형 AI 모델의 제공자는 위법한 콘텐츠 생성을 방지할 수 있도록 모델을 설계·개발·학습시켜야 한다고 규정했다.
서비스 제공자가 생성형 AI 서비스 과정에서 생기는 부작용을 예방하도록 주의의무 가이드라인을 정한 셈이다.

유럽에 앞서 미국은 지난해 10월 바이든 대통령이 ‘안전성·보안성·신뢰성을 갖는 AI의 개발과 활용에 관한 행정명령’에 서명했다.
행정명령은 최초의 법적 구속력을 가진 연방 차원의 AI 규제다.

현지 생성형 AI 서비스 제공업계는 행정명령 전 미국 정부에 ‘시스템 기능 테스트와 잠재적 위험 평가를 통해 얻은 결과를 공개하겠다’는 약속을 내놓는 동시에 AI가 생성한 콘텐츠에 라벨(워터마크)을 붙이고, 어린이들이 AI 콘텐츠로부터 보호받을 수 있도록 하겠다는 입장을 전달했다.
지식재산권과 관련해 미국 저작권청(USPTO)은 발명가와 AI 사이의 사용 문제와 잠재적 특허 적격성 문제에 관한 지침을 특허심사관에게 제공하고, AI 기술로 제기된 저작권 문제를 다룬 연구보고서를 발표해야 한다는 내용이 행정명령에 담겼다.

중국도 지난해부터 생성형 AI 서비스에 관한 법률을 제정·시행하는 중이다.
중국에서도 AI 서비스 제공자의 책임 여부와 수위는 가장 예민한 쟁점이 됐다.

애초 법률 초안에는 ‘서비스 제공자에게 콘텐츠 생산자의 책임을 부과한다’는 내용이 담겼지만, 최종적으로는 ‘서비스 제공자가 불법 내용을 발견한 후 적시에 조치를 취하고, 관할 당국에 보고하도록 요구한다’로 조정된 것이 단적인 예다.
이는 서비스 제공자에게 콘텐츠 생산자의 책임을 무겁게 부과할수록 규제의 강도는 높아지고, 서비스 제공자의 생성형 AI 기술 개발 의지도 꺾일 수 있다는 의견을 반영한 결과라고 지식재산연구원은 설명했다.

유계환 지식재산연구원 위원과 김윤명 디지털정책연구소장은 “AI 기술 발전이 가속화되는 상황에서 최근 생성형 AI 기술에 따른 부작용이 조명을 받고 있다”며 “생성형 AI 기술 관련 법제가 변곡점을 맞이하며, 주요국이 AI 규제에 관한 논의를 거듭하는 것도 같은 이유”라고 진단했다.

그러면서 “생성형 AI 활용에 따른 각종 문제에서 서비스 제공자의 책임에 대한 현행법상 한계가 여실히 드러나고 있다”며 “우리나라도 포괄적 규제가 AI 기술 발전을 저해할 우려가 있는 점을 고려해 생성형 AI 시스템과 규제 대상자의 특성을 구체적으로 파악, 위험성이 높은 행위에 대해 부분·단계적인 규제 방안을 마련할 필요가 있다”고 강조했다.