한국어 NLU 벤치마크 '클루'…AI 최대 학회 '뉴립스'서 채택
국내 인공지능(AI) 전문가 30여 명이 의기투합해 개발한 한국어 자연어이해(NLU) 벤치마크(성능지표) 구축 프로젝트 '클루(KLUE)'가 13일 인공지능(AI) 분야 최대 규모 학회인 '뉴립스(신경정보처리시스템 국제학회·NeurlIPS)'의 '데이터셋 앤 벤치마크 트랙'에 채택됐습니다. 클루의 학술·연구 및 데이터 관점에서의 가치를 공식적으로 인정받은 것인데요, 이로써 한국어 AI 생태계 확장 속도가 한층 더 탄력을 받을 것이란 전망이 나옵니다.

클루는 한국어 NLU 발전에 큰 기여를 할 것으로 기대되는 AI 벤치마크 데이터셋입니다. AI 스타트업 업스테이지가 개발을 주도한 클루는 네이버, 스캐터랩, 뤼이드, 카카오엔터프라이즈 등 국내 기업들과 뉴욕대학교, 한국과학기술원(KAIST), 서울대학교 등의 NLP 전문가들이 함께 자발적으로 참여했습니다. 클루를 통해 구축된 데이터는 '크리에이티브 커먼즈 라이선스(CC-BY-SA)' 형식으로 배포돼 학계와 산업계 어디서든 무관하게 수정·가공·재배포가 가능한 게 특징인데요, 모든 이가 참여할 수 있는 한국어 AI 모델 평가가 가능한 '클루 리더보드'도 운영되고 있습니다.

NLU 벤치마크 데이터는 언어 모델의 성능을 평가하는 데 필수적인 요소입니다. 다만 그간 한국어는 공식적인 벤치마크 데이터가 존재하지 않아 한국어 AI 연구에 많은 어려움이 있었습니다. 기존 공개된 데이터들은 재가공·재배포가 불가능하거나, 연구 용도로만 사용가능한 경우가 많아 연구자들이나 기업들이 벤치마크를 제대로 활용하는 데도 한계가 있었습니다. 한국어 NLU 벤치마크인 클루의 데이터를 민간에 모두 개방하기로 한 것도 이러한 배경에 있습니다.

클루는 2019년 표현학습국제학회(ICLR)에서 발표된 영어 벤치마크인 글루(GLUE)를 기반으로 합니다. 그러나 클루는 단순히 영어를 한국어로 번역하는 수준을 넘어서, 한국어만의 특성을 반영하고 있는 게 가장 큰 차별점입니다. 클루 개발진은 데이터 수집부터 데이터 품질관리(어노테이션), 데이터 평가 방식 등을 자체 개발했고, 글루엔 포함되지 않은 대화분석 등 새로운 기능도 추가했습니다. KLUE의 교신저자인 오혜연 KAIST 교수는 "클루엔 최근 심각성이 드러난 개인정보, 여성 및 소수자 혐오 또는 편향 등 인공지능의 윤리적인 측면도 고려하고 있어 NLU 데이터셋 구축 과정에 대한 새로운 기준이 될 것으로 기대된다"고 말했습니다.

클루는 올해 12월 열리는 뉴립스의 온라인 학회에서 정식으로 발표될 예정입니다. 클루 개발을 주도한 김성훈 홍콩과학기술대학교 교수는 페이스북을 통해 "클루가 뉴립스로부터 채택된 덕분에 클루는 전 세계 연구자들이 절대적으로 사용하는 데이터셋이 될 것으로 기대된다"며 "클루를 활용한 한국어 NLP 연구는 많은 그라운드 브레이킹(신기원)을 만들어 낼 것"이라고 소감을 전했습니다.

배성수 IT과학부 기자