AI 추천 뉴스
"90점 이상 2명이었는데 66명으로"…세무사 시험에 무슨 일이
"시험 9일 전 AI는 만점"…세무사 고득점 33배 급증 '의문'
황정아, 세무사·리트 AI 풀이 실험 공개
회계 90점 이상 2명→66명…AI도 만점
"통계적 특이사례 전수조사해야" 촉구
황정아, 세무사·리트 AI 풀이 실험 공개
회계 90점 이상 2명→66명…AI도 만점
"통계적 특이사례 전수조사해야" 촉구
20일 황정아 더불어민주당 의원이 공개한 자료에 따르면 의원실은 지난 4월 25일 시행된 제63회 세무사 1차 시험 문제를 미국 앤트로픽의 AI 모델 '클로드'에 풀도록 했다. 문제지 이미지만 입력한 뒤 한국산업인력공단이 공개한 최종 정답을 기준으로 점수를 매겼다. AI에는 정답이나 해설을 제공하지 않았다.
시험 9일 전인 4월 16일 출시된 '오퍼스(Opus) 4.7'은 회계학개론 40문항을 모두 맞혀 100점을 받았다. 지난해 출시된 모델들은 같은 과목에서 소넷(Sonnet) 4.5가 62.5점, 하이쿠(Haiku) 4.5가 25점, 오퍼스 4.5가 75점을 기록했다. 시험을 앞두고 출시된 모델에서 회계 문제 풀이 성적이 크게 높아진 것이다.
실제 수험생들의 성적 분포에서도 비슷한 변화가 나타났다. 한국산업인력공단에 따르면 회계학개론 90점 이상 득점자는 2024년 1명, 지난해 2명에 그쳤지만 올해는 66명으로 늘었다. 최고 점수도 2024년 90점에서 지난해 95점, 올해 100점으로 높아졌다.
반면 세법학개론에서는 올해 90점 이상 득점자가 만점자 1명뿐이었다. 오퍼스 4.7 역시 별다른 추가 지시 없이 문제지만 보고 풀었을 때 이 과목에서 72.5점을 받았다. 황 의원은 AI가 만점을 기록한 회계학개론에서 고득점자가 집중적으로 증가했다는 점에 주목했다.
다만 AI에 관련 법령을 확인하도록 하자 세법학개론에서도 만점이 나왔다. 의원실이 오퍼스 4.7에 국가법령정보센터 등에서 문항별 관련 법령 원문을 확인한 뒤 답하도록 지시한 결과 40문항을 모두 맞혔다. 이 과정에서도 시험 정답이나 해설은 제공하지 않았다는 설명이다.
시험 이후 출시된 AI 모델들의 성적은 더 높았다. 의원실이 실험한 9개 모델 모두 세무사 회계학개론에서 90점 이상을 받았으며 이 가운데 6개는 만점을 기록했다. 세법학개론에서도 5개 모델이 별도의 추가 학습 없이 문제지만 보고 90점 이상을 받았다.
이달 출시된 최신 모델 '페이블 5.2'는 회계학개론과 세법학개론에서 모두 100점을 기록했다. 리트 언어이해와 추리논증 70문항도 전부 맞혔다. 특히 최신 모델은 회계학개론 40문항을 약 1분30초 만에 풀었다고 의원실은 설명했다.
황 의원은 실제 시험의 고득점자 급증과 AI 성능 향상을 연결해 부정행위 여부를 조사해야 한다고 주장했다. 그는 "AI 모델의 풀이 역량이 발전하자 고득점자가 30배 넘게 늘어난 것을 우연으로 보기는 어렵다"며 "고득점자들의 통계적 특이성 등을 전수조사해 부정행위 여부를 명확히 가려야 한다"고 강조했다.
이어 "AI 성능은 시험 이후 7개월 만에 세법과 리트까지 만점을 받는 수준이 됐고, 앞으로 더 높아질 것"이라며 "이번 수능에 적용된 관리·감독 방안들을 검토해 모든 국가자격시험으로 확대하는 등 공정성을 확보하는 방안을 마련해야 한다"고 말했다. 이재명 대통령이 밝힌 대로 국가 역량을 총동원해 부정행위를 차단하고 엄정하게 처벌해야 한다고도 촉구했다.
홍민성 한경닷컴 기자 mshong@hankyung.com