언론재단, 형태소분석기 출시…"AI 저널리즘의 토대로 활용"

혐오표현 검출·문맥에 맞는 퇴고 시스템 등으로 발전 가능성

한국언론진흥재단은 한국어 형태소 분석기 '바른(bareun.ai)'을 23일 온라인으로 공개했다고 밝혔다.

뉴스 데이터를 학습해 만든 형태소 분석 엔진이다.

옳다는 뜻의 '바른'과, 문장에서 형태소를 '발라낸다'는 의미에 착안해 바른으로 명명했다.

바른은 카카오(khaiii), 서울대(Kkma), 오픈소스(mecab) 등 타 기관의 형태소 분석기보다 모호성 평가, 지정사 복원 등에서 향상된 성능을 보였다고 언론진흥재단은 설명했다.

언론진흥재단은 바른을 이용해 띄어쓰기나 맞춤법 검사를 할 수 있도록 조만간 서비스를 개시한다.

나아가 언론사들이 혐오 표현을 검출하거나 문맥에 맞게 퇴고를 하는 시스템을 자체 개발할 때 바른이 토대가 되는 등 인공지능(AI)을 활용한 저널리즘의 확산 발전에 도움이 될 것으로 기대하고 있다.

바른의 개발을 위해 뉴스 빅데이터 시스템인 빅카인즈에 축적된 1990년∼2022년 8월 기사 7천800만 건을 토대로 1억 어절의 말뭉치를 학습시켰다.

또 개체명, 신조어, 복합명사 등 빅카인즈 언어 사전의 80만 단어와 국립국어원 '모두의 말뭉치' 300만 어절, '세종 말뭉치' 1천200만 어절을 추가했다.

바른은 언론계 인공지능 서비스 촉진과 데이터 저널리즘 확산을 목표로 언론진흥재단이 2021년부터 추진한 '언론사를 위한 언어정보 자원 개발' 사업의 결과물이다.

개발 과정과 활용을 위한 안내는 바른 공식 홈페이지(https://bareun.ai)와 빅카인즈 깃허브(https://github.com/KPF-bigkinds)에 공개돼 있으며 모든 국민이 무료로 이용할 수 있다.

상업적으로 쓰려면 비용을 지불해야 하지만 언론사나 언론 관련 연구에는 무상으로 제공된다.

/연합뉴스