뉴욕서 본 AI 에이전트 전쟁…"비용 올라도 이전으로 못 돌아가"

아마존웹서비스 서밋 뉴욕 2026 현장

17일(현지시간) 미국 뉴욕 재비츠 컨벤션센터에서 열린 'AWS 서밋 뉴욕 2026'에서 관람객이 기조연설을 듣고 있다. /뉴욕=빈난새 특파원

"이대로 설계하면 나중에 문제가 생길 수도 있습니다. 그냥 둘까요, 고칠까요."

17일(현지시간) 미국 뉴욕 재비츠 컨벤션센터에서 열린 'AWS 서밋 뉴욕 2026'. 다르코 메사로스 아마존웹서비스(AWS) 수석 디벨로퍼(사진)가 아이폰으로 인공지능(AI) 코딩 앱 '키로'를 켰다. 코딩을 시작하기 전 혼자서 설계도를 검토하던 AI가 먼저 물어왔다. 메사로스는 "나중에 수백만 줄 코드 속에서 버그를 찾아내 다시 쓰는 비효율을 없앨 수 있다"고 했다.

요즘 AI 시장의 최대 화두는 '토큰 경제학(tokenomics)'이다. 핵심은 어떻게 해야 AI를 가장 '비용 효율적으로' 쓸 수 있느냐다. 반도체와 전력 비용은 오르고, AI 에이전트가 추론 과정에서 소비하는 토큰 양은 빠르게 늘고 있다. 최고 성능 모델을 무작정 많이 쓰는 방식이 과연 생산성과 수익성으로 이어질 수 있느냐는 의구심도 커지고 있다.

'느낌' 대신 '스펙' 따르는 코딩 AI

AWS의 키로도 같은 질문에서 출발했다. 키로는 AI 에이전트가 코드를 대신 짜주는 도구다. 흔한 AI 코딩 도구처럼 보이지만 결이 다르다. 사용자가 대략적인 '느낌'만 말하면 AI가 곧장 코드를 짜는 '바이브 코딩'과 달리, '스펙 기반 개발(SDD)'을 앞세운다. 집을 짓기 전 청사진부터 그리듯, 요구사항과 설계, 작업 목록을 AI에게 먼저 이해시킨 뒤 코드를 짜는 방식이다. 메사로스는 "엉뚱한 결과물에 토큰을 통째로 날리거나 같은 작업을 무한 반복하는 일이 확 줄어 토큰 낭비를 없앨 수 있다"고 했다.

다르코 메사로스 아마존웹서비스(AWS) 수석 디벨로퍼 애드보킷. /뉴욕=빈난새 특파원

키로는 거대언어모델(LLM)의 고질병인 환각을 줄이기 위해 '신경기호 AI' 기술도 도입했다. 사용자의 설계에 논리적·수학적 모순이 없는지 미리 짚어낸다. 코드를 다 짜고 실행할 때에야 드러나는 값비싼 오류를 미리 거르자는 것이다.

토큰 비용이 비싸지면 AI를 덜 쓰지 않겠느냐고 묻자 메사로스는 "그렇지 않다"고 단언했다. "소프트웨어를 쓰는 방식은 이미 완전히 바뀌었다"는 것이다. 대신 "모든 작업에 최신·최고 성능 모델을 쓰기보다, 업무에 맞춰 더 작고 저렴한 모델을 골라 쓰는 방식으로 효율성을 높이는 게 당연해지고 있다"고 했다.

"예산 따지지만, 못 돌아간다"

수요 현장의 온도는 더 뜨거웠다. 투자 리서치, 게임, 신약 개발, 로보틱스 등 업종을 가리지 않고 AWS 기반 AI 에이전트를 업무에 적용한 사례가 소개됐다. 'AI 시대를 위한 옵저버빌리티'를 내건 팔로알토, 데이터독, 다이나트레이스 등의 부스는 유독 붐볐다. AI 에이전트가 더 많은 업무를 수행할수록, 그 움직임을 실시간으로 감시하고 분석하는 옵저버빌리티 솔루션의 중요성도 커지고 있다.

지난 2월 스노우플레이크에 인수된 옵저브 관계자는 "1년 전엔 'AI라면 무조건 사겠다'는 분위기였지만, 지금은 '사고 싶어도 예산에 맞아야 한다'로 바뀐 게 사실"이라고 했다. 그러면서도 “AI 수익화에 보수적이던 전통 기업들도 점점 더 많은 업무에 AI를 도입하려 하고 있다”며 “수요가 꺾였다는 느낌은 전혀 없다”고 했다.

AI 추론 인프라 업체 베이스텐 관계자는 "최근 토큰 가격이 내려간 건 AI 모델을 더 효율적으로 배포할 수 있게 됐기 때문"이라며 "칩 단가는 올라도 칩 하나에서 더 많은 토큰을 짜내면 값은 내려갈 수 있다"고 설명했다.

이날 기조연설을 맡은 스와미 시바수브라마니안 AWS 부사장은 기업들이 에이전트를 '말만 하던' 단계에서 '일을 시키는' 단계로 넘어갔다고 진단했다. AWS도 보안 에이전트 '컨티뉴엄', 개인화된 비서 '아마존 퀵' 등 다양한 에이전트 AI 제품을 대거 공개했다. 핵심은 에이전트가 더 많은 일을 할 수 있도록 자율성을 키우되, 최종 통제권은 사람이 쥐도록 하는 것이다.

시바수브라마니안 부사장은 "에이전트는 많이 쓸수록 더 많은 일을 해줄 수 있다"며 "그 복리 효과는 AI를 도입한 기업과 그렇지 못한 기업의 격차를 더 빠르게 벌릴 것"이라고 말했다.

뉴욕=빈난새 특파원 binthere@hankyung.com