박상원 KT AX사업부문장이 27일 서울 세종로 KT광화문빌딩에서 열린 기자간담회에서 '토큰팩토리' 사업에 대해 발표하고 있다. /사진=KT 제공
박상원 KT AX사업부문장이 27일 서울 세종로 KT광화문빌딩에서 열린 기자간담회에서 '토큰팩토리' 사업에 대해 발표하고 있다. /사진=KT 제공
KT가 500개 이상의 인공지능(AI) 모델을 한곳에서 이용할 수 있는 플랫폼을 선보인다. 통신사업에서 쌓은 연결·과금·보안 역량을 앞세워 AI 플랫폼 시장을 선점하겠다는 목표다. 박윤영 KT 대표가 취임 후 내놓은 ‘AX 플랫폼 컴퍼니’ 전략이 구체화된 첫 번째 결과다.

업무별로 최적 AI 자동 선택

KT는 27일 서울 세종로 KT광화문빌딩에서 기자간담회를 열고 AI 플랫폼 ‘토큰팩토리’를 공개했다. 토큰팩토리는 하나의 응용프로그램인터페이스(API)로 국내외 AI 모델을 통합 제공하는 플랫폼이다. 이용자는 여러 AI 서비스를 개별적으로 구독할 필요 없이 하나의 플랫폼에서 모델 선택부터 사용량 확인, 비용 관리, 결제까지 처리할 수 있다.

오는 30일 기업 고객을 대상으로 정식 출시한다. 첫 출시 때는 73개 AI 모델을 제공하고 오는 12월에는 글로벌 AI 모델 중개 플랫폼 오픈라우터와 연계해 500개 이상으로 늘린다. 내년 3월에는 개인 개발자와 일반 이용자에게도 서비스를 제공할 계획이다.

핵심은 업무에 적합한 모델을 자동으로 골라 요청을 보내는 ‘모델 라우팅’이다. KT가 자체 개발한 ‘오토 모델 라우터’는 질문의 난이도와 요구 품질, 비용을 분석한다. 간단한 요약·번역에는 경량 모델을, 복잡한 추론에는 고성능 모델을 배정하는 방식이다.

입력 문장에서 불필요한 표현을 제거하는 압축 기술도 적용했다. KT에 따르면 프롬프트 압축으로 약 20%, 모델 자동 선택으로 약 5%의 비용 절감 효과를 낸다. 예컨대 ‘다음 주 출장인데 월요일 오전에 서울에서 부산으로 가는 KTX 열차를 찾아줘’라는 질문을 ‘다음 주 월요일 오전 서울 부산 KTX’로 압축하는 식이다. 질문의 의미를 유지하면서 AI가 처리해야 할 토큰 수를 줄여 비용과 응답 시간을 단축한다는 설명이다.
이진형 KT AX사업본부장이 27일 서울 세종로 KT광화문빌딩에서 열린 기자간담회에서 '토큰팩토리' 사업에 대해 발표하고 있다. /사진=KT 제공
이진형 KT AX사업본부장이 27일 서울 세종로 KT광화문빌딩에서 열린 기자간담회에서 '토큰팩토리' 사업에 대해 발표하고 있다. /사진=KT 제공
토큰팩토리만의 차별점은 국내에서 AI 추론을 직접 수행한다는 것이다. AI 모델 7개는 국내 KT 데이터센터에서 구동된다. 업스테이지 ‘솔라 프로4’, KT ‘믿음 K3.0’, 모티프 ‘모티프3’ 등 국산 모델 3종과 지푸AI의 ‘GLM-5.3-플래시’, 구글 ‘젬마4-31B’ 등 해외 오픈웨이트 모델 4종이다. 오픈웨이트는 모델의 가중치가 공개돼 자체 인프라에서 구동할 수 있는 방식이다. 이진형 KT AX사업본부장은 “해외 모델 제공사와 별도 계약을 맺고 국내 데이터센터에서 직접 추론 서비스를 제공하기로 했다”며 “데이터 처리를 국내에서 수행하는 소버린 AI 환경을 구현하는 데 의미가 있다”고 말했다.

연내 오픈라우터를 입점시켜 글로벌 AI 모델 500개 이상을 확보할 예정이다. 이에 따라 국산 모델, 오픈웨이트 모델, 프론티어 모델 전부를 한 곳에서 사용할 수 있게 된다.

보안 장치인 가드레일도 적용했다. AI에 입력하는 질문의 개인정보·민감정보와 유해 표현을 점검하고 생성된 답변도 걸러내는 기술이다. 모델의 품질과 안전성을 평가해 라우팅 기준에도 반영한다.

통신 과금 기수로 새 먹거리

KT가 이 같은 신사업을 내놓은 배경에는 AI 사용량 폭증이 있다. 오픈라우터가 집계한 주간 토큰 처리량은 지난해 10월 4조8900억 토큰에서 이달 172조 토큰으로 약 35배 늘었다. 박윤영 KT 대표는 지난 7월 간담회에서 “AI를 쓰는 기업들 사이에서 얼마를 내야 하는지, 최적의 모델 구성은 무엇인지, 보안 문제는 없는지 고민이 커지고 있다”며 토큰 기반 신사업 계획을 밝힌 바 있다.
사진=KT 제공
사진=KT 제공
KT는 특히 통신사업에서 쌓은 과금 역량을 차별화 요소로 내세웠다. 통신사가 음성통화 시간과 데이터 사용량을 기록해 요금을 부과하듯 AI 토큰 사용량을 정확하게 측정해 요금을 산정하는 방식이다. 기업이 여러 AI 모델을 사용하더라도 각각 결제할 필요 없이 원화로 한 번에 정산할 수 있다.

토큰팩토리에서는 AI 요청별 토큰 사용량과 처리 결과를 ‘TDR(토큰 상세 기록)’로 남겨 요금을 계산한다. 요금제는 크게 두 가지다. 스탠다드 요금제는 사용량만큼 후불로 내거나 선불 크레딧을 충전하는 방식이다. 엔터프라이즈는 사용 규모와 약정 기간에 따라 할인한다. AI 사용료와 통신 요금을 한꺼번에 청구하는 것도 가능하다. 향후 개인 사용자가 이용할 수 있는 구독제도 출시한다는 계획이다.

박상원 KT AX사업부문장은 “AI 시장 경쟁은 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하는지를 두고 벌어지고 있다”며 “토큰팩토리는 비용 효율성과 신뢰를 동시에 확보해야 한다는 관점에서 준비했다”고 말했다.

라현진 기자 raraland@hankyung.com