"인공지능(AI) 모델 연구를 해야 하는데 AI칩을 살 돈이 없어서···."
최근 서울대입구에 위치한 한 AI 스타트업 사무실을 방문했다.
서울대 컴퓨터공학 석·박사 출신 인재들이 주축이 되어 설립한 이 AI 스타트업은 최근 컴퓨터비전(시각지능) AI 모델 분야에서 관련 논문을 내고 서비스를 출시하며 전 세계적으로 기술력을 인정받은 바 있다.
사무실은 에어컨을 18도로 쉬지 않고 가동하고 있음에도 몹시 더웠다.
단순히 바깥이 더워서 그런 것이 아니다.
사무실 한쪽에서 10대 넘는 AI 서버가 쉬지 않고 가동되고 있어서 그런 것이다.
하지만 그 AI 서버는 사람들이 생각하는 으리으리한 타워형 서버와는 거리가 있었다.
좀 큰 워크스테이션(업무용 PC)용 메인보드에 일반 소비자용(게임용) 그래픽카드(GPU)인 '엔비디아 지포스 4090' 4대를 얼기설기 연결해서 만든 간이 AI 서버였다.
소비자용 GPU는 원래 2대 이상 상호 연결을 지원하지 않는데 AI 모델 학습·추론(실행)을 위한 개조가 더해져 있었다.
궁금했다.
"이걸로 컴퓨터비전 AI 모델 연구가 제대로 됩니까?"
기자보다 훨씬 젊은 AI 스타트업 대표는 한숨부터 내쉬었다.
"추론용으로는 꽤 쓸 만해요. 구형 AI칩보다 훨씬 빨라요."
"AI 모델 학습은요?" "이걸로도 학습은 가능한데, 아무래도 신규 서비스 출시를 앞두고선 돈을 좀 내고 외국 클라우드를 이용하죠."
대학과 연구소 등에서 AI칩이 없어서 울며 겨자 먹기로 소비자용 GPU로 AI 연구를 한다는 것은 기사를 통해 잘 알고 있었지만 실제 현장을 보니 안타까운 마음이 앞섰다.
오픈AI, 미스트랄AI, 스태빌리티AI 등 미국과 유럽의 주요 AI 스타트업은 AI칩 수만 개를 연결해 초거대 AI와 준 AGI(일반인공지능)를 만들기 위한 연구개발을 진행하고 있다.
반면 많은 한국 AI 스타트업은 AI칩보다 성능이 크게 떨어지는 소비자용 GPU로 간신히 소형 AI 관련 연구개발을 하고 있는 게 현실이다.
 
AI 인프라를 두고 양측 간 격차는 점점 커지고 있고, 그에 비례해 기술·서비스를 따라잡을 가능성은 점점 줄어들고 있다.
대표는 멋쩍은지 살짝 웃으며 말을 이어갔다.
"그래도 저희는 컴퓨터비전이라 상황이 좀 낫죠. LLM(초거대언어모델) 쪽을 택한 친구들은 자체 AI 모델 개발은 거의 포기하고 파인튜닝(미세조정)으로 방향을 완전히 틀었어요."
AI 인프라가 AI 기술·서비스 경쟁력으로 직결되는 시대다.
마이크로소프트, 구글, 메타, 아마존, 테슬라 등 빅테크와 거대 클라우드 기업은 AI칩을 만드는 족족 사들이고 있다.
AI칩 시장을 사실상 독점하고 있는 엔비디아는 쉬지 않고 주가가 오르더니 마침내 전 세계 시가총액 1위에 올랐다.
자본력이 곧 AI 기술력으로 직결되는 시대에 스타트업과 학계가 홀로 AI 관련 연구개발을 지속하는 것은 불가능하다.
AI 주권을 지키려면 '밑 빠진 독에 물 붓기'를 연상시킬 정도로 막대한 정부 지원이 반드시 필요하다.
실제로 미국·중국·일본·유럽연합 등은 그리하고 있다.
하지만 한국 정부는 ‘재정건정성’이라는 틀에 갇혀 관련 예산 지원을 줄이며 국내 AI 산업 자립과 발전을 위한 골든타임을 놓치고 있는 것은 아닌지 우려된다.
대표적인 사례로 학계 AI 연구에 마중물이 될 것으로 기대됐던 한국 슈퍼컴퓨터 6호기 사업이 차일피일 미뤄지고 있는 걸 꼽을 수 있다.
최신 슈퍼컴퓨터를 잇달아 도입하며 AI 인프라 경쟁력을 키우고 있는 미국·유럽연합·일본과 한국 간 격차는 점점 더 벌어지고 있다.
AI칩 가격 상승으로 지난해 4번 연속 유찰된 슈퍼컴 6호기는 사업비 증액을 위한 정부 부처 간 이견을 아직 좁히지 못하고 있다.
지난 3월부터 진행된 사업비 증액 협의는 9월쯤 되어야 결론이 나올 전망이다.
결론이 나오더라도 성능 기준 전 세계 10위권 슈퍼컴퓨터를 만든다는 당초 목표를 달성할 수 있을지도 미지수다.
가동 시기는 일러야 2025년 하반기는 되어야 한다.
 
기다림에 지친 학계에선 점점 실망의 목소리가 커지고 있다.
슈퍼컴 6호기가 빨리 도입되어야 학계에서도 초거대 AI 모델 관련 연구개발을 할 수 있다.
한국 AI 산업 미래를 위해 윤석열 정부의 과감한 결단이 필요하다.