토스증권, 커뮤니티 AI 검수 도입…욕설·리딩방 홍보 숨김 처리한다

토스증권은 커뮤니티에 인공지능(AI) 기반 게시글 검수 체계를 도입했다고 4일 밝혔다.

금지어 위주로 걸러내던 기존 방식과 달리 게시글의 내용과 맥락까지 분석한다고 회사 측은 설명했다.

AI 검수 모델은 게시글이 작성되거나 수정되면 제목과 본문, 이미지를 자동으로 분석한다. 욕설·비방, 혐오·차별 표현, 불법 리딩방 홍보 등을 탐지한 뒤 위반 정도에 따라 해당 게시글을 추천 대상에서 빼거나 숨긴다.

글을 쓰는 단계의 욕설 필터링도 바꿨다. AI 검수 모델로 이용자들이 금지어를 우회하거나 변형해 쓰는 표현까지 잡아낸다. 지금까지는 금지어가 들어가면 글을 올릴 수 없었지만, 이제는 해당 표현만 마스킹 처리된 채 게시된다. 작성 단계에서는 금지어 필터링을, 작성 뒤에는 AI 자동 검수를 거치는 이중 구조다.

운영 기준도 새로 마련했다. 토스증권은 욕설 및 유해 콘텐츠, 혐오·차별 표현, 홍보·광고, 시장질서 교란 행위 등 제한 대상과 제재 기준을 담은 '커뮤니티 서비스 콘텐츠 가이드라인'을 신설했다. 게시글을 숨길 때는 제재 여부를 이용자에게 안내하고, 고객센터를 통해 이의를 제기할 수 있도록 했다.

토스증권 관계자는 "이번 개선은 투자자들이 불쾌감을 주는 게시글이나 부적절한 투자 권유에 노출되는 것을 줄이고, 보다 신뢰할 수 있는 환경에서 소통할 수 있도록 하는 데 초점을 맞췄다"고 말했다.

한경우 한경닷컴 기자 case@hankyung.com