SKT "텔코LLM 6월 개발 완료…상담시간 크게 단축"

SK텔레콤(SKT)이 통신업에 특화된 텔코LLM을 이르면 6월 선보인다.

SK텔레콤은 30일 5G 요금제, T멤버십, 공시지원금 등 우리나라의 통신 전문 용어와 AI 윤리가치 같은 통신사의 내부 지침을 학습한 '텔코LLM' 개발을 6월 완료할 예정이라고 밝혔다.

텔코LLM은 GPT, 클로드와 같은 범용 LLM이 아니라 통신업에 특화된 LLM을 뜻한다.

SKT는 오픈AI, 앤트로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집, 정형·비정형 데이터를 선별해 이를 에이닷엑스, 'GPT', '클로드'에 학습시킴으로써 통신에 특화된 LLM을 만들고 있다.

텔코LLM은 SKT의 에이닷엑스(A.X), 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델을 기반으로 튜닝된 것이 특징으로, 이는 SKT의 멀티 LLM 전략의 일환이다.

에릭 데이비스 SKT AI Tech Collaboration담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라고 설명했다.

SKT는 자사의 LLM인 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 다양한 텔코LLM을 개발 중이다. 다양한 통신 특화 LLM 라인업을 갖추고 성능과 비용 절감 면에서 다변화를 꾀한 것이다.

특히 텔코LLM은 범용LLM과 비교해 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있어 활용성이 높다는 설명이다.

SKT는 텔코LLM을 구축하기 위해 우선 텔코 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업을 한다고 밝혔다. 이를 기반으로 범용 LLM을 통신사 전용으로 파인튜닝(미세조정)하는 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF)을 한 후 최종 벤치마킹(모델 평가)을 하는 사이클을 거친다.

범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다는 지적이 있었다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다.

이렇게 파인튜닝이 된 텔코LLM은 휴먼(인간) 피드백 기반의 강화학습(RLHF, Reinforcement Learning from Human Feedback) 과정을 거친다.

실제 SKT는 텔코LLM이 답변한 내용에 대해 상담사들이 품질, 만족도 등을 평가하는 과정을 거친다고 설명했다. 고객의 문의에 대해 유용한 답변을 했는지, 문맥을 제대로 이해했는지 등에 대해 채점하는 사람의 평가를 거치는 것이다. 마지막으로 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등도 모델평가(벤치마킹)를 한다.

현재 고객센터에서 상담 전화 한 건을 처리하는 데 고객 상담에 약 3분, 상담 후 업무 처리하는 데 30초 이상이 소요된다. 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해 주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 SKT는 기대했다.

통신사의 네트워크 인프라 운용에도 텔코LLM이 유용하다는 설명이다.

인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다.

SKT는 텔코LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에 사람이 직접 정보를 찾는 것보다 대응 시간을 단축할 수 있다고 했다.

SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

정민영 SKT AI플랫폼 담당은 "고객센터, 인프라뿐만 아니라 마케팅/유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획"이라고 말했다.


신재근기자 jkluv@wowtv.co.kr