SK텔레콤, AI 멀티엔진 시동
요금제·공시지원금 등 통신 용어
한국어로 된 통신 데이터 학습
SK텔레콤의 통신 특화 거대언어모델(LLM) ‘텔코 LLM’이 6월에 출시 앞두고 30일 오전 10시 서울 중구 SKT타워에서 ‘텔코 LLM’을 소개했다.
 | 정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 열린 텔코LLM 기자설명회에서 인텔리전스 플랫폼 관련 발표를 하고 있다.
사진=김경호 기자 |
이 LLM은 SK텔레콤이 오픈AI, 앤트로픽 등과 협력해 개발한 모델이다.
통신사 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집·선별해 에이닷엑스(SK텔레콤 LLM), GPT(오픈AI LLM), 클로드(앤트로픽 LLM)에 학습시켰다.
 | | SKT 제공 |
이 자리에서 에릭 데이비스 SK텔레콤 AI 테크 협력 담당(부사장)은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않다”며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 미세 조정(파인튜닝)과 모델 평가(벤치마킹)를 거쳐 다양한 텔코 LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 했다”고 채택한 이유를 밝혔다.
 | 정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 열린 텔코LLM 기자설명회에서 인텔리전스 플랫폼 관련 발표를 하고 있다.
사진=김경호 기자 |
SK텔레콤은 한국어로 된 통신 데이터를 학습시켜 다양한 텔코 LLM을 개발하고 있다며 성능과 비용 절감 면에서 다변화를 꾀했다고 설명했다.
오픈AI는 지난 5일 기업 특정 도메인에 맞게 AI 모델을 학습시키고 최적화할 수 있도록 지원하는 커스텀 모델을 공개했는데 “GPT-4를 미세 조정하고 한국어로 된 통신 관련 대화 성능을 향상시켰다”며 특정 산업 파인튜닝 대표 사례로 언급했다.
SK텔레콤은 범용 LLM 대비 텔코 LLM이 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있어 활용성이 높다고 강조했다.
 | 에릭 데이비스 SKT AI 기술 협력 담당(왼쪽)과 정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 열린 텔코LLM 기자설명회에서 취재진의 질문에 답하고 있다.
사진=김경호 기자 |
 | 에릭 데이비스 SKT AI 기술 협력 담당(왼쪽)과 정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 열린 텔코LLM 기자설명회에서 취재진의 질문에 답하고 있다.
사진=김경호 기자 |
범용 LLM은 통신사 번호이동 방법이나 절차 등 전문 지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다.
통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코 LLM의 파인튜닝이다.
파인튜닝이 된 텔코 LLM은 휴먼 피드백 기반 강화학습(RLHF) 과정을 거친다.
실제 텔코 LLM이 답변한 내용에 대해 상담사들이 품질, 만족도 등을 평가하는 과정이다.
고객 문의에 대해 유용한 답변을 했는지 문맥을 제대로 이해했는지 등에 대해 채점하는 사람 평가를 통한 강화학습이다.
마지막으로 텔코 LLM 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대한 모델 평가를 진행한다.
 | | 텔코LLM 개념도. SKT 제공 |
SK텔레콤은 향후 텔코 LLM 도입 시 3분30초(고객 상담 3분, 상담 후 업무 처리 30초) 이상 소요되는 현 고객센터 상담 대응 시간이 크게 단축될 것이라고 강조했다.
상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주기 때문이다.
기존 고객센터에서 상담사가 고객 문의 내용을 정리하고, 필요한 문서를 검색·요약해 답한 후 상담 내용을 기록하는 것까지 전 과정에 숙련되는 데에 많은 경험과 교육이 필요했다면 텔코 LLM이 이 과정을 줄여주는 셈이다.
 | 에릭 AI Tech Collaboration 담당이 30일 서울 중구 SKT타워에서 열린 텔코LLM 기자설명회에서 인텔리전스 플랫폼 관련 발표를 하고 있다.
사진=김경호 기자 |
 | 에릭 데이비스 SKT AI 기술 협력 담당(왼쪽)과 정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 열린 텔코LLM 기자설명회에서 취재진의 질문에 답하고 있다.
사진=김경호 기자 |
또 SK텔레콤은 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있고 한국에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있는 장점이 있다고 전했다.
정민영 SK텔레콤 AI플랫폼 담당은 “고객센터, 인프라뿐만 아니라 마케팅, 유통망 등 고객 접점이나 법무, 인적자원관리(HR)와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코 LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코 LLM을 활용한 유즈케이스(용례)를 늘려갈 계획”이라고 설명했다.
김경호 기자 stillcut@segye.com
|
<본 콘텐츠의 저작권 및 법적 책임은 세계일보(www.segye.com)에 있으며, 뽐뿌는 제휴를 통해 제공하고 있습니다.>
|
|
등록안내
