삼성전자는 인공지능(AI) 서비스의 성능을 측정해 수치화하는 평가 지표 ‘트루벤치’를 DX(디바이스경험)부문의 삼성리서치가 개발했다고 25일 밝혔다. 삼성전자는 글로벌 오픈소스 플랫폼 허깅페이스에 트루벤치의 데이터 샘플과 AI 모델들의 평가 결과도 공개했다.

트루벤치는 10개 카테고리, 46개 업무, 2485개 평가 기준으로 항목을 세분화해 AI 모델의 업무 생산성을 집중 평가한다. 사용자의 짧은 요청부터 최대 2만 자의 긴 문서 요약까지 실제 업무 상황을 폭넓게 반영할 수 있다. AI 모델이 제공한 답변의 정확성뿐 아니라 사용자의 의도, 맥락까지 평가가 가능하도록 설계됐다. 오류, 모순, 불필요한 제약이 없는지 확인하며 교차 검증을 지속적으로 반복해 주관적 편향을 최소화하고 일관성 있는 평가 결과값을 제공한다.

삼성전자는 많은 기업이 업무 전반에 AI를 도입하고 있지만 기존 평가 지표로는 AI 모델의 성능을 정확히 측정하기 어렵다는 점에 주목하고 기업에서 자주 사용하는 콘텐츠 생성, 데이터 분석, 문서 요약 및 번역, 연속 대화 등을 중심으로 AI 성능을 평가하도록 했다.

사용자는 한 번에 최대 5개 모델을 선택해 성능을 비교할 수 있다. 영어 중심인 기존 지표와 달리 트루벤치는 영어 한국어 일본어 중국어 스페인어 등 총 12개 언어를 지원한다.

전경훈 DX부문 최고기술책임자(CTO) 겸 삼성리서치장(사장)은 “AI 생산성 성능 평가 기준을 정립하고 삼성의 기술 리더십을 더욱 공고히 하겠다”고 말했다.

박의명 기자 uimyung@hankyung.com