지난 3월 우크라이나 전쟁에선 처음으로 인간의 통제 없이 적군을 공격하는 인공지능(AI) 드론이 등장했다.
우크라이나군이 공개한 영상 속 AI 드론은 러시아군 전차를 포격해 그대로 무력화시켰다.
이스라엘과 하마스 간 전쟁에선 '살상 리스트'를 만드는 AI까지 나왔다.
어떤 적을 사살하거나 건물을 타격할지 AI가 리스트를 만들고 정보요원이 결재했다.
AI가 잘못된 리스트를 올릴 가능성은 10%지만 군인들은 이를 토대로 작전을 수행했다.
AI가 살상무기로 활용되는 초유의 일이 벌어진 것이다.
인간의 통제를 벗어날 경우 핵무기를 넘어서는 위험을 초래할지도 모르는 일이다.

AI가 급속도로 발전하면서 위험성에 대한 우려도 커지고 있다.
이미 AI발(發) 가짜 뉴스, 저작권 침해 문제 등이 대두된 가운데 더 큰 위험은 가늠하기 어려운 수면 아래 있다.
AI가 점점 더 많은 의사결정에 개입하고 있지만 왜 그런 결정을 내렸는지 알 수 없는 '미지의 대상'이기 때문이다.
AI 개발에서 넘지 말아야 할 ‘레드라인’을 설정하지 않으면 인류를 멸종시킬 수 있다는 경고까지 나온다.

AI는 흔히 '블랙박스'라고 불린다.
결과물을 내놓기까지 거친 과정이 명백하게 드러나지 않아서다.
방대한 데이터 학습과 복잡한 연산을 거치기 때문에 알고리즘 설계자조차 이 과정을 추론하기 어렵다.
언제, 어떤 결과물을 내놓을지 알 수 없다는 점에서 시한폭탄 같은 존재가 될 수 있다.
AI의 판단을 인간이 정확하게 이해할 수 있는 기술인 '설명 가능한 AI'를 연구할 정도다.

이해하기 어려운 오류는 한둘이 아니다.
챗GPT는 출시 초반 폭탄 제조법, 피싱 메일 작성법 등 유해한 답변을 내놓기 일쑤였다.
이용자들이 챗GPT로 하여금 금기를 깨도록 유도해 이른바 '탈옥'시키는 사례였다.
정확하게 어떤 원리로 탈옥하는지 알 수 없기 때문에 개발진들은 추후 가드레일을 더 촘촘하게 두는 식으로 대응했다.

이미지 생성 기능이 무기한 중단된 구글 '제미나이'도 마찬가지다.
한복을 입은 흑인 외형의 조선 시대 장군 등 사실과 다른 그림으로 물의를 일으켰다.
출시 한 달도 안 돼 생긴 오류로 해당 기능을 멈췄지만 구글은 여전히 해결 방안을 찾지 못했다.
학습한 데이터의 편향성과 이를 바로잡기 위한 기술적 조치가 초래한 결과라고 짐작할 뿐이다.

AI 발전 속도가 빨라지면서 위험의 크기도 가늠하기 어려운 상황이다.
업계에선 수년 안에 인간처럼 생각하는 범용인공지능(AGI)이 등장할 것이라는 전망을 속속 내놓고 있다.
AI가 더 똑똑해진다는 것은 인간이 알 수 없는 블랙박스의 범위가 더 넓어진다는 의미이기도 하다.
크리스 메세롤 프론티어모델포럼 의장은 지난 12일 '생성형 AI 레드팀 챌린지'에서 "AI 기술이 어떤 위험성을 가졌는지는 아무도 모른다"며 "확실한 건 AI가 발전할수록 안전성을 더 낮아진다는 것"이라고 지적했다.
프론티어모델포럼은 AI의 잠재적 위험성을 파악하기 위해 오픈AI, 구글, 마이크로소프트(MS), 앤스로픽이 만든 단체다.

곳곳에선 경고가 나온다.
최근 민간 업체 글래드스톤AI 가 미국 국무부의 의뢰로 내놓은 '첨단 AI의 안전성과 보안성을 높이기 위한 방안' 보고서는 "AI가 인류를 멸종시킬 가능성이 있다"고 언급했다.
특히 AI의 위험 요소로 '무기화'와 '통제력 상실'을 꼽았다.
AI가 생화학·사이버 전쟁 등에 활용될 수 있다는 것이다.
AI 전문가로 구성된 비영리단체 AI안전센터(CAIS)는 '치명적인 AI 위험에 대한 개요'라는 보고서에서 AI의 발전을 핵무기의 위력에 비유했다.
보고서는 "AI가 점차 사람의 개입 없이 자율적으로 작업하는 에이전트가 되고 있다"며 "문제가 있는 목표를 정당화하고 통제에 저항하거나 인간을 속일 수도 있다"고 내다봤다.
‘인류 파괴’를 목표로 한 AI 에이전트가 등장할 경우 핵무기를 연구하고 다른 AI를 동원하기 위해 트윗을 작성하는 일이 현실화될 수 있다는 전망이다.

전문가들은 이 같은 위험에 대응이 필요하다고 강조한다.
기업이 안전하고 책임감 있는 AI를 연구·개발해야 한다는 것이다.
정부가 AI에 대한 규제와 감독 기관을 만들고 이를 위한 국제 공조를 강화해야 한다는 목소리도 나온다.
장병탁 서울대 AI연구원장은 "AI 안전성에 대한 논의는 미룰 수 없는 문제"라며 "기술적, 제도적으로 안전장치가 필요하다"고 말했다.