MIT 교수팀, 화학·생물학 무기 등 '재앙적 피해' 위험 모니터링
"이사회, 경영진 판단 보류 가능…AI 안전장치 강화 권한 부여"
오픈AI, AI 위험 감시 강화…이사회, 경영진 판단 비토권도
챗GPT 개발사 오픈AI가 자사의 인공지능(AI) 기술이 초래할 수 있는 위험을 막기 위해 내부 프로세스를 강화하고 나섰다.

오픈AI는 18일(현지시간) 자사 기술을 악용해 화학무기나 생물무기를 제조하는 등 AI가 초래할 수 있는 심각한 위험을 막기 위한 방안을 공개했다.

오픈AI는 우선 AI 시스템을 지속적으로 평가하고 위험을 모니터링하는 '대비'(preparedness) 팀을 최근 조직했다.

매사추세츠 공대 AI 교수인 알렉산더 마드리가 이끄는 이 팀은 AI 연구원과 컴퓨터 과학자, 국가 보안 전문가 및 정책 전문가 등으로 구성될 예정이다.

특히, 이 팀은 해킹과 화학, 핵, 생물학적 위협 등 "수천억 달러의 경제적 피해나 다수의 인명 피해를 초래할 수 있는" AI에 내재된 '재앙적' 위험 가능성을 모니터링한다고 오픈AI는 설명했다.

AI 기술을 모니터링하고 지속적으로 테스트해 AI 능력이 위험해지고 있다고 판단되면 회사에 경고하게 된다.

'대비' 팀은 오픈AI의 AI 안전 관련 3개 조직 중 가장 최근에 추가됐다.

오픈AI에는 '대비' 팀 외에도 최신 대규모언어모델(LLM) GPT-4와 같은 현재 제품의 안전을 검토하는 '안전 시스템' 팀, 미래에 존재할 수 있는 강력하고 가상의 AI 시스템에 초점을 맞춘 '초연결' 팀이 있다.

AI 기술의 급격한 상업화를 차단하기 위한 방안도 마련했다.

'대비' 팀의 보고서를 바탕으로 오픈AI 경영진은 새로운 AI 모델을 출시할지 여부를 결정하게 된다.

그러나 경영진이 안전하다고 판단해 출시를 결정한다고 해도 이사회가 이를 거부(veto)할 수 있다고 오픈AI는 설명했다.

이번 방안은 샘 올트먼 최고경영자(CEO) 축출 사태 이후 혼란을 겪는 오픈AI의 이사회와 경영진 간 권력 균형에 관심이 쏠린 가운데 나왔다.

블룸버그 통신은 경영진의 AI 모델 출시를 보류할 수 있게 한 것은 이사회에 최첨단 기술 개발을 위한 안전장치를 강화하도록 권한을 부여한 대목이라고 진단했다.

/연합뉴스