'SW 통한 온디바이스' 적용 가능성…"장기적으론 기기+클라우드 하이브리드될듯"
"아이폰용 '통화중 통역' 서비스, 1분기 안드로이드 탑재 목표"

SK텔레콤의 AI(인공지능) 개인 비서 '에이닷' 사업을 이끄는 SKT AI서비스업부장(CASO) 김용훈 부사장은 에이닷 애플리케이션에 거대언어모델(LLM)을 탑재하는 방안을 검토 중이라고 밝혔다.

김 부사장은 지난 10일(현지시간) 미국 라스베이거스에서 열린 세계 최대 가전·IT 전시회 'CES 2024'에서 국내 취재진을 만나 "용량이 충분히 작은 상태에서도 퍼포먼스를 내야겠지만 파라미터(매개변수) 수가 좀 적은 LLM은 앱 안에 담을 수 있을 정도가 되지 않을까 싶다"며 이같이 말했다.

이는 하드웨어를 직접 제조하지 않는 SKT가 향후 인터넷 연결 없이도 기기 자체적으로 AI를 구동하는 온디바이스(on-device)를 소프트웨어 방식으로 에이닷에 적용할 가능성을 내비친 것으로 풀이된다.

앞서 삼성전자도 온디바이스 AI를 탑재하는 갤럭시 스마트폰부터 별도 앱 설치가 필요 없는 실시간 통역 통화 기능을 포함할 계획이라고 밝힌 바 있다.

현재까지는 앱에 LLM을 탑재한 사례는 없다고 김 부사장은 설명했다.

김 부사장은 "온디바이스 LLM이 분명 하나의 기술 기조를 이룰 것"이라며 "예전에는 하드웨어에 LLM을 심는 게 힘든 작업이었지만 지금은 칩도 많이 좋아지고 LLM도 많이 경량화됐다"고 말했다.

이어 "엣지 컴퓨팅(데이터 일부를 분산된 소형 서버로 처리하는 방식)처럼 특정 디바이스 LLM이 탑재됐을 때 더 빠른 속도나 비용 절감이 가능할 것 같다"며 "실제로 얼마나 좋은 퍼포먼스를 낼 수 있을지는 계속 테스트해 봐야 할 영역"이라고 덧붙였다.

그러면서 "사이즈가 작아지다 보니 장치 자체적으로 구동하는 LLM만으로는 낼 수 있는 성과가 제한적일 수 있다"며 "장기적으로는 온디바이스로 할 수 있는 일은 로컬(기기)에서 하고, 성능 고도화가 필요한 것은 클라우드와 연동하는 하이브리드 방식으로 성능 향상을 해나갈 것 같다"고 내다봤다.

아울러 김 부사장은 통화 녹음, 실시간 통역 기능 등을 제공하는 아이폰용 'AI 전화' 기능을 이르면 올 1분기 안에 안드로이드에도 탑재할 수 있도록 개발 중이라고 밝혔다.

그는 "완성도 등을 고려할 때 출시 일정이 조율될 수는 있다"며 "안드로이드가 다소 늦은 감은 있지만 원래 계획보다 많이 당겨 완결성을 좀 더 빠르게 시장에 보여주려고 노력하고 있다"고 말했다.

통화 중 실시간 통역을 제공하는 에이닷 '통역콜' 서비스와 관련해서는 "서비스 개선을 위해 다양한 기술을 개선하고 있고, 그게 결과적으로 통역콜뿐 아니라 에이닷이 PAA(개인형 AI 비서)가 되기 위해 필요한 기술과 일맥상통한다"며 "필요한 여러 기술을 항목별로 계속 고도화해야 할 부분이 있다"고 했다.

김 부사장은 에이닷 정식 출시 이후 성장세에 대해 "구체적 수치를 말씀드릴 수 있을지는 모르겠지만 내부에서는 고무적"이라며 "서비스를 정식 전환하고, 아이폰 통화 녹음이라는 AI 전환 기능을 내면서 내부적으로 수치는 크게 상향 곡선을 그리고 있다"고 말했다.

/연합뉴스