SKT "통신 특화 거대언어모델, 6월 개발 완료 예정"

SK텔레콤이 5G 요금제, 공시지원금 등 국내 통신 관련 용어와 통신사 내부 지침을 학습한 '텔코LLM'을 6월 중 개발 완료할 예정이다.

SK텔레콤은 이날 서울 중구 SKT 타워에서 취재진 대상 텔코LLM 설명회를 열어 이같이 밝혔다.

LLM(거대 언어모델)은 방대한 양의 문장 데이터를 학습해 자연어 처리 작업을 수행하는 데 필요한 지식을 획득한 딥러닝 모델이다.

텔코LLM은 잘 알려진 '챗-GPT', '클로드' 같은 범용 LLM을 통신업에 특화해 발전시킨 모델로, SKT가 오픈AI, 앤트로픽 등과 협력해 개발을 진행하고 있다.

개발이 완료되면 한국어 버전 서비스를 먼저 시작하고, 해외 기업들과 글로벌 버전 개발에 대한 합의를 완료하면 글로벌 버전도 출시할 예정이다.

에릭 데이비스 SKT AI 기술 협력 담당은 이날 발표에서 "1개의 범용 LLM으로 통신사가 하려는 다양한 서비스와 문제를 해결하는 일은 쉽지 않다"며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세 조정(파인 튜닝)과 모델 평가(벤치마킹) 과정을 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT의 멀티LLM 전략"이라고 말했다.

즉 SKT의 LLM인 에이닷엑스(A.X), 오픈AI의 GPT-4, 앤트로픽의 클로드 같은 범용 LLM에 통신 관련 한국어 데이터를 학습시켜 AI 고객센터(AICC), 유통망, 네트워크 운용, 사내 업무 등에 다양하게 쓸 수 있게 한다는 게 이 회사의 목표다.

SKT는 우선 LLM에 통신 관련 데이터를 학습시킨 다음, 문의에 유용한 답변을 하는지, 문맥을 이해했는지 등을 상담사가 평가한 뒤, 부족하다는 평가를 받은 부분과 관련 데이터를 추가 학습시키는 과정을 반복시켜 LLM을 고도화했다.

SKT는 텔코LLM을 활용하면 다양한 통신사 업무에 걸리는 시간을 줄일 것으로 기대했다.

고객센터 분야에선 상담 소요 시간을 대폭 단축한다.

기존에는 고객센터에서 상담사가 고객 문의 내용을 정리하고 필요 문서를 검색·요약한 다음 상담 내용을 기록해야 해 많은 경험과 교육이 필요했는데, 텔코LLM은 이 과정을 빠르게 진행할 수 있다.

네트워크 인프라 운용 과정에 문제가 발생했을 때도 텔코LLM은 해결 방안을 바로 답할 수 있어 사람이 직접 매뉴얼이나 대응 사례를 찾을 때보다 소요시간을 줄일 수 있다.

정민영 SKT AI플랫폼 담당은 "고객센터, 인프라뿐 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속해서 텔코LLM을 활용한 활용 사례를 늘려갈 계획"이라고 설명했다.

한편 이날 SKT는 통신사가 생성형 AI 앱을 쉽게 구축할 수 있게 돕는 '인텔리전스 플랫폼'도 공개했다.

이 플랫폼은 일종의 기업용 AI 개발·운용 패키지인데, 통신업에 특화한 다양한 LLM을 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트 등에 쉽고 효율적으로 사용할 수 있다.

글로벌 통신사는 물론 통신사와 상담 업무 등 업무 특성이 비슷한 기업들이 이 플랫폼을 활용할 수 있다고 회사는 덧붙였다.

정 담당은 "기존 사내 시스템에 축적된 데이터를 활용해 업무 효율성을 높이는 작업, LLM의 이해 능력을 활용해 검색을 원활히 하는 작업, 문서 초안을 생성한다거나 시스템 모니터링을 하는 작업 등으로 다양하게 사용 범위를 확장할 수 있다"고 설명했다.

/연합뉴스