AI 추천 뉴스
KT, 한국판 오픈라우터 도전한다
'토큰팩토리'에 500개 AI모델 모아
이용자가 원하는 서비스 골라 써
이용자가 원하는 서비스 골라 써
KT가 인공지능(AI) 시대에 화폐 단위로 쓰일 토큰 효율화 사업을 시작한다. 500개 이상의 AI 모델을 모아놓은 플랫폼을 구축하고 과금 체계를 마련한 것이다. 이용자는 챗GPT, 클로드 제미나이 등을 각 웹페이지와 앱이 아니라 하나의 플랫폼에서 활용하면 된다. 통신사업에서 쌓은 과금·보안 역량을 무기로 AI 플랫폼 시장을 선점하겠다는 목표로, 박윤영 대표가 취임 후 밝힌 ‘AX 플랫폼 컴퍼니’ 전략의 첫 결과물이다.
KT는 최근 AI 플랫폼 ‘토큰 팩토리’를 출시했다. 토큰 팩토리는 하나의 응용프로그램인터페이스(API)로 국내외 AI 모델을 모두 제공하는 플랫폼으로, 이 같은 시도는 국내에서 처음이다. 이용자는 여러 AI 서비스를 개별적으로 구독할 필요 없이 하나의 플랫폼에서 모델 선택부터 사용량 확인, 비용 관리, 결제까지 처리할 수 있다.
토큰팩토리는 우선 기업 고객들에 73개 AI 모델을 제공하고 다음 달에는 글로벌 AI 모델 중개 플랫폼 오픈라우터와 연계해 500개 이상으로 확대한다. 내년 3월에는 개인 개발자와 일반 이용자에게도 서비스를 제공한다.
KT가 자체 개발한 ‘오토 모델라우터’를 통해 질문의 난이도와 요구 품질, 비용을 분석하는 방식을 쓴다. 간단한 요약·번역에는 경량 모델을, 복잡한 추론에는 고성능 모델을 배정해 5%의 비용을 아끼고, 입력 문장에서 불필요한 표현을 제거하는 압축 기술을 적용해 토큰 사용을 20% 줄인다.
특히 AI 모델 7종은 국내 KT 데이터센터에서 구동한다. 업스테이지 ‘솔라 프로4’와 KT ‘믿음 K3.0’, 모티프 ‘모티프3’ 등 국산 모델 3종과 지푸AI의 ‘GLM-5.3-플래시’, 구글 ‘젬마4-31B’ 등 해외 모델 4종이다.
보안 장치인 가드레일도 적용했다. AI에 입력하는 질문의 개인정보·민감정보와 유해 표현을 점검하고 생성된 답변을 걸러내는 기술이다.
박상원 KT AX사업부문장은 “AI 시장 경쟁은 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하는지를 두고 벌어지고 있다”며 “토큰팩토리는 비용 효율성과 신뢰를 동시에 확보해야 한다는 관점에서 준비했다”고 말했다.
라현진 기자 raraland@hankyung.com
KT는 최근 AI 플랫폼 ‘토큰 팩토리’를 출시했다. 토큰 팩토리는 하나의 응용프로그램인터페이스(API)로 국내외 AI 모델을 모두 제공하는 플랫폼으로, 이 같은 시도는 국내에서 처음이다. 이용자는 여러 AI 서비스를 개별적으로 구독할 필요 없이 하나의 플랫폼에서 모델 선택부터 사용량 확인, 비용 관리, 결제까지 처리할 수 있다.
토큰팩토리는 우선 기업 고객들에 73개 AI 모델을 제공하고 다음 달에는 글로벌 AI 모델 중개 플랫폼 오픈라우터와 연계해 500개 이상으로 확대한다. 내년 3월에는 개인 개발자와 일반 이용자에게도 서비스를 제공한다.
KT가 자체 개발한 ‘오토 모델라우터’를 통해 질문의 난이도와 요구 품질, 비용을 분석하는 방식을 쓴다. 간단한 요약·번역에는 경량 모델을, 복잡한 추론에는 고성능 모델을 배정해 5%의 비용을 아끼고, 입력 문장에서 불필요한 표현을 제거하는 압축 기술을 적용해 토큰 사용을 20% 줄인다.
특히 AI 모델 7종은 국내 KT 데이터센터에서 구동한다. 업스테이지 ‘솔라 프로4’와 KT ‘믿음 K3.0’, 모티프 ‘모티프3’ 등 국산 모델 3종과 지푸AI의 ‘GLM-5.3-플래시’, 구글 ‘젬마4-31B’ 등 해외 모델 4종이다.
보안 장치인 가드레일도 적용했다. AI에 입력하는 질문의 개인정보·민감정보와 유해 표현을 점검하고 생성된 답변을 걸러내는 기술이다.
박상원 KT AX사업부문장은 “AI 시장 경쟁은 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하는지를 두고 벌어지고 있다”며 “토큰팩토리는 비용 효율성과 신뢰를 동시에 확보해야 한다는 관점에서 준비했다”고 말했다.
라현진 기자 raraland@hankyung.com