창업 5년내 벤처...AI 혁신 주도한다

오춘호 선임기자

입력2021.03.18 05:48 수정2021.03.18 06:33

초소형 AI에서 슈퍼컴퓨터까지 과감한 도전
아도비 월마트 등 기존 기업도 AI 혁신 이끌어

AI 벤처 파차마가 우루과이 지역의 삼림 변화를 인공지능으로 모니터링하고 있다. 파차마 홈페이지

2020년은 인류에게 코로나19로 힘든 한 해였지만 AI업계로선 기술 혁신이 많이 일어난 한 해였습니다. 소프트웨어업체뿐만 아니라 제조, 금융 등 다양한 분야에서 크고 작은 혁신 제품이 쏟아져 나왔습니다. 미국 기술 관련 전문 매체인 패스트컴퍼니는 지난 한 해 동안 AI 분야에서 혁신을 일으킨 10개 기업을 선정했습니다. 이 가운데 절반은 창업 5년밖에 되지 않은 벤처 기업입니다. 코로나 위기를 겪으면서도 두려움을 모르는 담대함과 기지, 창의력을 발휘해 혁신의 산물을 만들어냈습니다. 이들을 소개합니다.

◆파차마(Pachama)
창업한 지 만 3년이 되지 않으면서도 빌 게이츠와 아마존, 쇼피파이 등 슈퍼테크 기업에서 투자를 받고 있는 벤처입니다. AI 기계학습을 활용, 숲의 위성 및 라이더 이미지를 분석해 숲의 변화 과정과 나무가 흡수하는 탄소량을 파악합니다. 특히 아마존 열대우림에서 시간에 따른 연간 동향을 추적하는 모델을 구축해 각광받았습니다. 창업자이자 CEO인 디에고 사에즈 길은 아르헨티나 출신 컴퓨터과학자입니다.

◆로지컬리(Logically)
로지컬리는 지난해 8월 소셜미디어 사용자들이 SNS상에서 잘못된 정보를 신속하게 확인할 수 있도록 하는 브라우저 확장 프로그램을 내놓았습니다. 인도와 영국 정부와 협력해 팬데믹의 잘못된 정보를 식별하는 업무를 하기도 했습니다. 인도 출신 영국인 리릭 자인은 불과 26세밖에 되지 않은 청년사업가입니다. 2017년 이 회사를 창업했습니다.

◆암(Arm)
컴퓨터와 반도체 칩이 소형화·초집적화의 길을 걸은 것처럼 AI도 결국 같은 길을 밟을 것이라고 전문가들은 진단합니다. 거대한 빅데이터에 의한 AI 기기보다 적은 데이터로도 제 역할을 수행하는 소형 AI가 세상의 패러다임을 바꿀 것이라는 의미입니다. 이런 소형화 추세에 가장 앞서가는 기업이 바로 세계적 반도체 설계회사인 암입니다. 스마트폰과 인터넷을 넘어 사물인터넷에서 인공지능을 제공하도록 설계된 칩을 지난해 선보였습니다. 특히 이 칩은 소형의 초전력장치에서 실행될 수 있는 게 특징입니다.

◆세리브라스시스템스(Cerebras systems)
암이 극소형 AI를 지향한다면 세리브라스시스템스는 초대형 인공지능 기반의 슈퍼컴퓨터를 만듭니다. 창업한 지 5년밖에 되지 않았지만 컴퓨터업계에서 가장 주목받고 있는 기업이기도 합니다. 웨이퍼 크기의 칩을 이용해 업계에서 가장 빠른 컴퓨터를 개발합니다. 이 슈퍼컴퓨터는 날씨 예측, 비행기 날개 설계, 원자력발전소의 온도 예측 등 긴 시간에 걸쳐 공간 내 유체의 움직임을 시뮬레이션하는 데 유용하게 활용될 수 있습니다. 기존 CPU 기반의 슈퍼컴퓨터에 비해 200배 이상 빠른 성능을 보입니다. CEO인 앤드루 펠드먼은 마이크로 서버업체인 ‘씨마이크로(SeaMicro)’를 AMD에 매각해 주목을 받은 인물이기도 합니다.

◆알고리스믹저스티스리그(Algorithmic Justice League)
‘코드화된 균형’을 캐치프레이즈로 내걸고 있는 비영리 기업입니다. 설립된 지 5년 됐습니다. AI 시스템이 인종과 성별, 기타 편견이 없는지 확인하는 데 전념하고 있습니다. 특히 안면 인식 알고리즘 개발을 억제하는 데 주력합니다.

패스트컴퍼니에서 선정한 10대 AI 기업

기업	주요기술	설립연도
파차마	탄소 배출 모니터링	2018
로지컬리	거짓 정보 확인	2017
암	초소형 AI	1985
세리브라스 시스템스	AI용 슈퍼컴퓨터	2016
알고리스믹 저스티스 리그	AI 차별 억제	2016
월마트	고객 선택AI	1962
오픈AI	문장생성GPT-3	2015
트루라	AI 설명가능 플랫폼 개발	2014
아도비	포토샵 AI	1982
위카IO	GPU 데이터 저장	2013

◆월마트(Walmart)
월마트는 지난해 매출을 두 배로 끌어올렸습니다. 팬데믹 기간에 AI 기반 각종 편의 기능을 쉴 새 없이 쏟아낸 성과입니다. 과거 및 실시간 쇼핑 데이터를 사용해 품목 재고가 부족할 수 있는 시기를 예측하는 제품을 만들어내기도 했습니다.

◆오픈AI (Open AI)
오픈AI는 AI업계의 아이콘처럼 대접받고 있지만 창업한 지 6년밖에 안 된 기업입니다. 지난해 5월 15억 개의 파라미터(매개변수)를 사용해 언어를 생성하는 GPT-2를 개발했지만 불과 6개월 만에 100배를 넘는 1750억 개의 파라미터를 가진, 세계에서 가장 큰 언어모델 GPT-3를 개발해 냈습니다. AI업계에서 가장 뜨거운 논쟁의 대상이 되고 있는 프로그램이기도 합니다. 기계학습 전문 지식이 없는 개발자도 강력한 언어 예측 기능을 사용할 수 있습니다.

◆트루라(Truera)
기업 AI 모델이 의사결정을 할 때 그 과정을 설명할 수 없다는 위험이 존재합니다. 알파고도 이런 일을 자주 겪었습니다. 이 기업은 AI의 설명 가능성 연구를 6년 동안 연구해 이제 결실을 보고 있습니다. 자동 생성되는 AI 모델이 설명 가능하다면 지속적인 모니터링을 통해 성능에 영향을 미칠 만한 잠재적인 문제를 파악할 수 있겠죠. 데이터를 통한 오류가 기계학습 모델로 유입되는 것도 막습니다. 트루라의 플랫폼은 이미 미국 기업들에 도입되고 있다고 합니다.

◆어도비(Adobe)
포토샵 사진 전문 프로그램 업체인 어도비도 AI와 결합해 새로운 제품을 내놓고 있습니다. 어도비는 지난해 사진에 대한 회사의 전문지식을 뷰파인더에 제공하는 앱인 포토샵 카메라를 출시했습니다. 사진을 찍을 때 자동 조정돼 최상의 품질을 이끌어냅니다. 출시 이후 이 앱은 거의 300만 번 다운로드됐다고 합니다.

◆위카IO(Weka IO)
2013년 실리콘밸리를 기반으로 설립된 이스라엘 스타트업 위카IO는 기존 HDD 기반의 서버 및 데이터 스토리지가 아니라 클라우드 등의 디지털 스토리지를 자랑합니다. 무엇보다 고성능 GPU 파일 스토리지 관리 기능을 제공하고 있습니다. 자율주행차, 생명공학, 금융 분야 등에 대규모 데이터 저장 시스템을 제공하는 게 가장 큰 강점입니다. 엔비디아도 AI 응용프로그램의 데이터 전송 속도를 높이는 기술을 보유한 위카IO에 전략적 투자를 했습니다.

관련 뉴스

1

MIT 10대 기술에서 5개가 AI ..시대가 변했다

미국 매사추세츠공대(MIT)가 발간하는 기술전문 저널 ‘MIT 테크놀로지 리뷰’는 올해 각광받을 10대 기술을 선정하면서 5가지를 인공지능과 관련한 기술에서 채택했습니다. GPT-3나 다중 기술 AI 등 AI 기술과 관련한 것뿐만 아니라 데이터 신뢰(data trust), 디지털 동선추적(digital contact tracing) 등 AI 거버넌스와 관련된 것도 10대 기술에 포함시킨 게 특이합니다. 지난해 MIT는 데이터 서버에 의존하지 않고 독자적으로 운영되는 소형 AI와 AI 발견 분자 등 2개를 10대 기술에 포함시켰습니다. 올해 MIT가 꼽은 5대 AI 기술을 소개합니다①문서 작성 인공지능 ‘GPT-3’우선 문서 작성 인공지능인 GPT-3가 선정됐습니다. 지난해 AI업계를 뜨겁게 달궜던 화제의 AI입니다. AI 벤처인 오픈AI가 구축한 모델이죠. 수천 권의 책과 인터넷으로 학습된 딥러닝을 사용해 단어와 구문을 함께 묶는 알고리즘입니다. 인간의 뇌기능에서 시냅스와 비슷한 역할을 하는 인공신경망의 파라미터(매개변수)를 1750억 개까지 늘린 게 가장 큰 특징입니다. 이렇게 많은 데이터를 이용해 새로운 문장을 창출하고 이미지도 만들어 내고 있습니다. 인간의 언어는 기본적으로 인간끼리 대화하고 아이디어를 나누며 개념을 형상화하는 인간만의 도구입니다. 이런 인간의 언어를 학습한 GPT-3에 인간의 세계를 제대로 이해했다는 극찬론이 쏟아지는가 하면 단순한 모방만 하는 알고리즘에 불과하다는 부정론도 제기됩니다. ②보고 듣고 느끼고 말하는‘다중 스킬 AI’ 다음으로 선정한 기술은 다중 스킬 AI(multi skill AI)입니다. AI가 시각적 데이터를 인지하고 음성도 인식하면서 인간과 소통하는 AI기술은 이미 많이 보편화되고 있습니다. 이제 촉각 및 미각 후각기능 등 인간의 더 많은 감각을 입력하기 위해 노력하고 있습니다. 이런 기능을 갖게 되면 AI는 인간과 더욱 소통하고 공감할 수 있는 능력을 갖게 되겠죠.MIT 테크놀로지리뷰가 선정한 올해 각광받을 10대 기술 GPT-3 다중스킬AI 디지털동선추적 데이터 트러스트 틱톡추천알고리즘 m-RNA 리튬금속배터리 친환경수소에너지 초정밀위치정보기술 모든 사물에 대한 원격기술 ③질병 모니터링 ‘디지털 동선 추적’ 셋째로 디지털 동선 추적(digital contact tracing)이 포함됐습니다. 디지털 동선 추적은 코로나바이러스 감염증(코로나19) 확진자들의 동선을 추적하는 데 사용한 디지털 앱기술을 말합니다. 이 앱은 주로 환자들이 다른 사람과 접촉했는지를 찾는 데 쓰였습니다. 77개 국가에서 이를 사용해 보건당국자들의 모니터링 부담을 많이 덜어줬습니다. 물론 이 추적 시스템이 완전히 확진자들을 격리하고 관련자들을 찾아내는 결과를 얻지는 못했다는 비판도 있습니다. 이 추적 기술은 앞으로 개인의 헬스케어나 각종 질병을 모니터링하는 데 계속 쓰일 것입니다. 결국 문제는 기술이 아니라 이를 활용하는 인간에게 달려있다고 봐야 할 것 같습니다. ④프라이버시 관리 ‘데이터 트러스트’ 넷째 데이터 트러스트(data trust)입니다. 이미 개개인의 정보는 유출되고 해킹당하면서 우리들이 예상하는 것보다 훨씬 더 많이 판매되고 재판매되고 있는 상황입니다. 문제는 아마 우리에게 있는 게 아니라 오랫동안 고수해온 프라이버시의 모델에 있습니다. 우리 자신의 프라이버시를 관리하고 보호하는 일을 책임지는 건 바로 우리였습니다. 이제 노동조합처럼 개개인을 대신해 데이터를 수집하고 관리하는 법적인 단체가 필요할 수 있습니다.⑤짧은 동영상 제작 공유 ‘틱톡추천 알고리즘’ 다섯째 틱톡추천 알고리즘입니다. 중국의 바이트댄스가 서비스하는 소셜네트워크서비스(SNS) 앱입니다. 15초짜리 짧은 동영상을 제작하고 공유하는 기능을 제공하면서 동영상 소통에 익숙한 젊은이들로부터 폭발적 인기를 끌었습니다. 틱톡 성장을 키워왔던 알고리즘은 독특합니다. 다른 소셜미디어들도 이 알고리즘을 앞다퉈 적용하고 있습니다. 미국에서만 1억 명의 이용자가 있다고 합니다. 도널드 트럼프 대통령 시절 정보 유출과 안보문제로 강제 매각대상이었던 틱톡은 바이든 집권 이후 매각 행정명령 집행이 무기한 연기된 상태입니다. 결국 AI의 이런 기술들이 곧바로 실생활에 들어올지 모르겠습니다.ohchoon@hankyung.com
2

현장에서 답을 찾다 도레이 AI전략 ‘암묵지’

“CEO를 비롯한 모든 임원은 현장의 진흙탕 속으로 빠져들어야 한다.” 일본 소재업체의 강자 도레이의 오늘을 있게 한 마에다 가쓰노스케 명예회장이 회사 경영에서 강조하는 단어는 바로 ‘현장주의’입니다. 기업의 모든 해답은 현장에 있다는 것이 그의 지론입니다. 도레이 역사에서 현장주의는 기업의 명운처럼 지켜져오고 있습니다. 어떤 업무라도 그 현장에 정통한 임원이 판단하는 원칙을 고수하고 있습니다. 개개인이 학습과 경험으로 보유하고 있지만 겉으로 드러나지 않는 지식과 정보가 가장 훌륭한 데이터라고도 할 수 있습니다. 이런 걸 암묵지(암묵적 지식)라고도 합니다. 암묵지가 현장에서 쌓이는 것은 당연한 이치입니다. 도레이는 고객과 소비자들에게도 귀를 기울였습니다. 고객들과 공감하면서 각종 데이터를 소중히 여기고 이를 얻어내 활용하는 전략을 계속 펼쳐왔습니다. 현장과 고객, 이것이 도레이가 생각하는 디지털과 인공지능 전략의 기본 철학입니다. 데이터 확보위한 유니클로 합작 도레이의 오늘을 있게 한 가장 큰 이벤트 중 하나가 유니클로(패스트리테일링의 자회사)와의 합작입니다. 유니클로의 히트 상품인 히트텍과 울트라다운 등은 도레이의 특수 소재로 생산되고 있습니다. 현재 도레이 매출의 40%가 넘습니다. 유니클로와 도레이가 손을 잡고 첨단기능 의류를 개발한 건 2003년이었습니다. 이때 도레이는 유니클로 매장의 의류 판매 정보와 공장의 생산 데이터를 자기 회사와 공유하도록 요청했습니다. 도레이는 이 데이터를 기반으로 새로운 소재 개발에 들어갔습니다. 구매 이력과 고객의 요구사항 등 유니클로의 판매정보와 생산라인 상황 등을 일일이 검토하면서 소비자의 요구 사항과 가격 공정과정 등의 전략을 짰습니다. 도레이는 일찌감치 현장의 데이터에 귀를 기울였던 겁니다. 2016년부터는 아예 점포와 전자상거래(EC) 판매현장과 공장이 실시간으로 연결되는 구조를 구축했습니다. 매장에서 인기가 있는 색상과 사이즈 등을 기민하게 파악해 시장 상황에 맞게 소재 생산을 늘려 의류 생산도 바로 증산할 수 있도록 한다는 것입니다. 이런 데이터 공유 전략은 곧바로 시장에 영향을 미쳤습니다. 소비자들의 제습 및 보온 요구에 맞춘 기능성 소재를 충분히 공급할 수 있었던 것이 히트테크 제품이 성공할 수 있게 된 비결이었습니다. 그 결과 20년간 절반으로 줄어든 섬유시장에서 도레이는 9.5배의 이익을 내면서 일본 최대의 소재 섬유기업으로 거듭나게 됐습니다. 탄소섬유의 성공, 데이터축적의 성과 도레이의 오늘을 있게 한 결정적 사건은 탄소섬유 개발과 생산이었습니다. 탄소섬유는 무게가 철의 4분의 1 정도이지만 강도는 철의 10배나 됩니다. 도레이는 1960년대 이미 개발한 탄소섬유를 1974년부터 미국 항공기 제작사 보잉에 공급하면서 비약적으로 발전하게 됩니다. 도레이는 항공기 경량화 추세에 맞춰 보잉이 항공기 소재를 바꾸지 않으면 안 된다는 사실을 알아냈습니다. 도레이는 고도의 각종 기술이 종합적으로 요구되는 항공기소재 분야에서 사상 최대 규모의 계약을 따내는 데 성공했습니다. 탄소섬유는 현재 도레이의 수익구조에서 가장 부가가치가 높은 제품이기도 합니다. 정작 도레이가 보잉의 관심을 끌게 된 데에는 보잉에 탄소섬유를 제공하는 것만이 아니라 성형 시뮬레이션과 가공에 관한 지원이 있었습니다. 자회사인 도레이엔지니어링은 성형시뮬레이션에 그치지 않고 항공기 주날개의 조립 가공장치 등 복합재료와 관련한 자동화 작업을 꾀했습니다. 도레이의 생산프로세스를 대행하면서 수많은 데이터를 확보했습니다. 현장의 데이터를 지속적으로 활용하면서 개선책을 모색한 게 보잉에 큰 도움이 됐나 봅니다. 단조로운 업무, AI로 대체 지난해 5월 도레이는 중장기 경영과제로 ‘DX에 의한 경영 고도화’를 내세웠습니다. 인공지능을 활용해 연구개발에서 생산까지 프로세스의 고도화와 효율화를 달성한다는 것이었습니다. 당장 생산 공정에서 모니터링과 검사에서 AI를 활용하게 됩니다. 도레이는 단조로운 업무를 AI로 대체하면 관련 직원들을 보다 부가가치가 높은 업무로 돌릴 수 있다고 말합니다. 회사가 다루는 제품은 다양하지만 앞으로도 각 공장의 성공사례를 생산성 향상으로 연결시킬 생각을 갖고 있는 것입니다. 연구개발 분야에서 AI를 이용하는 게 생산 분야보다 더 중요할 수가 있습니다. 풍부한 재료들의 데이터에서 AI를 사용해 효율적으로 첨단 소재를 개발, 생산하는 재료정보학(MI: Materials Informatics)을 활용하는 개념입니다. MI는 플라스틱 등의 근원이 되는 고분자의 구조 등 재료에 관한 데이터를 컴퓨터에 기계학습시키는 것으로 최단거리에서 개발자가 원하는 물성을 찾는 기술입니다. 도레이가 다루는 고분자 재료의 특성은 화학 구조만이 아니라 성형가공 및 첨가제 등 여러 요인에 의존합니다. 기존 재료 설계에선 재료를 찾지 못하면 몇 번이라도 시작을 반복해야 합니다. 도레이는 AI를 활용해 시뮬레이션과 인포매틱스에 의한 예측 설계를 구사했습니다. 말하자면 가상실험에 의해 새 모델을 찾는 것이죠. 결국 AI + 현장이 핵심 역량 정작 도레이는 도레이밖에 없는 독특한 방식으로 재료 개발에 나서고 있습니다. MI와 AI를 동시에 쓰면서도 그동안 축적한 데이터를 기반으로 물질을 개발하는 작업입니다. 도레이는 유니클로 개발 때와 보잉과 탄소섬유를 공동 생산해낼 때도 수요 현장의 충분한 데이터와 경험자의 암묵지를 기반으로 소재 물질을 개발하는 데 역점을 둬왔습니다. 도레이만의 현장감과 노하우가 있다는 게 이들의 생각입니다. 화학구조에서 독자 계산에 기반한 분자 연구를 30년 이상 해온 게 가장 큰 노하우이자 핵심역량입니다. 현재 도레이는 이런 노하우를 기반으로 전자기기 소재를 올해 내놓을 방침입니다. MI를 사용한 도레이식의 전자재료 상용화에 목표를 두었습니다. AI와 관련이 없는 각 분야의 경험적 지식과 암묵지를 붙이는 것입니다. 시게모토 이사무 도레이 첨단재료연구소 연구주간은 “디지털 기술은 어디까지나 재료 설계의 방향성과 힌트를 얻는 기술이며 진정으로 필요한 건 재료에 대한 인간의 깊은 통찰력”이라고 강조합니다. 앞으로 도레이의 AI 분발을 기대합니다. “일본의 현장 능력을 강점으로 살릴 시대의 도래에 주목해야 한다. 첨단 디지털 기술자체는 강점이 되지 않는다. 디지털 기술을 어디에 어떻게 쓰면 가치가 생겨나는지가 중요한 포인트가 된다. 디지털화해야 하는 포인트와 프로세스를 발견하는 힘이 있는 것은 현장의 인재이다. 디지털 변혁의 주 싸움터는 가상의 현장이 아니라 산업의 리얼한 현장에 있다. 리얼한 현장의 디지털 전환(DX)은 현장에 축적된 노하우와 기술이 강력한 무기다. 아날로그적인 숙련기술을 디지털화해 조직 내에 이식하는, 혹은 피지컬(물리적인)한 요소와 디지털을 융합한 시스템에서 고객에 새로운 가치를 낳게 하는 틀은 강한 현장력을 가지지 않은 해외기업들은 흉내낼 수 없다. 이런 DX 추진이 일본의 승산이라고 생각한다.” (마스다 다카시 도레이 경영연구소 수석이코노미스트의 글에서)ohchoon@hankyung.com
3

데이터 전처리도 AI의 중요한 요소다

사람들은 AI를 생각할 때 데이터가 많고 알고리즘이 좋으면 AI가 좋은 성능을 발휘할 것이라 여긴다. 그런데 이런 생각에는 허점이 있다. AI에 입력되는 데이터가 올바르지 않으면, AI의 출력 또한 엉망이 된다. 소위 영어로 “Garbage in, garbage out(쓰레기를 넣으면 쓰레기가 나온다)” 현상이 발생하는 것이다. AI가 성능을 발휘하려면 좋은 알고리즘만큼이나 중요한 것이 입력되는 데이터 수준이다.▶데이터 전처리(Data preprocessing)의 중요성그림1을 살펴보자. AI를 활용하려면 기대 성능을 갖추도록 먼저 AI를 학습시켜야 한다. AI를 학습시키려면 데이터가 필요하다. 그런데 AI를 학습시키는 데이터가 올바른 것이 아니면 AI는 잘못된 데이터에 따라 학습하게 되고, 그렇게 학습된 AI는 당연히 성능이 떨어진다. 그림 1: AI 활용을 위한 데이터 전처리AI 학습에는 데이터 양 뿐만 아니라 질 또한 중요하다. 원하는 성능으로 AI를 학습시키기 위해서는 수집 데이터를 사전정제 하여 높은 수준의 학습 데이터를 만들어야 한다. 이런 사전정제 작업을 데이터 전처리 (Data preprocessing)라 한다.데이터 전처리에는 여러 사항이 포함된다. 데이터 수집 과정에서 생긴 오류나 잡음을 제거하는 데이터 청소(Data cleaning), 데이터에 포함된 불완전 정보를 교정하는 데이터 편집(Data editing), 데이터마다 분석에 필요한 태그(tag)를 붙여주는 데이터 라벨링(Data labeling), 군더더기 데이터를 줄여주는 데이터 정리(Data reduction), 데이터를 분석하게 좋게 변환하는 데이터 재구성(Data wrangling)등을 들 수 있다.이런 데이터 전처리는 다시 크게 두 가지로 나뉜다. 도메인 지식(Domain knowledge)이라 불리는 AI가 적용될 전문 분야의, 단순노동 형태의 기계적 데이터 전처리(Mechanical data preprocessing)와 도메인 지식을 갖춰야만 수행할 수 있는 의미적 데이터 전처리(Semantic data preprocessing)다. 데이터 청소, 데이터 편집, 데이터 라벨링은 전자에 속하고 데이터 정리, 데이터 재구성은 후자에 속한다. ▶기계적 데이터 전처리기계적 데이터 전처리는 AI 활용에서 어쩔 수 없이 따르는 귀찮은 작업이다. 현재는 대부분 수작업으로 이뤄진다. 단순 반복적 작업이라 어렵지 않지만 많은 노동력과 이에 따른 비용, 시간이 수반된다. 지금까지는 주로 외부 용역을 이용해 이 작업을 수행해왔다. 앞으로 AI 응용을 활성화하기 위해서는 기계적 전처리 작업의 소요비용을 줄이고, 이를 효율화하고, 속도를 높이는 방안이 필요하다. 첫 번째는 크라우드(Crowd) 활용 방안이다. 기계적 데이터 전처리는 대부분 단순 반복적이고 직관적인 작업이라 간단한 교육만으로 누구나 쉽게 처리할 수 있다. 따라서 전처리 작업을 위한 크라우드 환경을 조성하고, 이를 활용해 많은 사람이 수시로 수행하게 하면 소요비용을 줄일 수 있다. 두 번째는 AI 활용 방안이다. 기계적 데이터 전처리는 수행 업무가 잘 정의돼 있고 단순 반복적이다. 처리할 내용도 간단 명료해 크게 어렵지 않다. 최근 AI 기술 발전에 따라 이런 단순 반복, 간단 명료 작업은 AI가 높은 성능으로 해낼 수 있다. 따라서 기계적 전처리는 그 수행 주체를 사람에서 AI로 대체함으로써 소요비용과 시간에서 효율을 만들어낼 수 있다. 다만 기계적 데이터 전처리에 AI를 활용할 때 주의할 점이 있다. 전처리 작업으로 정제된 데이터는 우리가 응용할 AI의 학습에 사용되기 때문에 정확도가 매우 중요하다. 정확도가 떨어지면 AI 학습에 오류가 생기고, 그러면 AI 성능이 떨어진다. 따라서 기계적 데이터 전처리에 AI를 활용해 정제된 학습 데이터를 얻으려 할 때는 그 정확도를 보장할 수 있어야 한다. 기계적 데이터 전처리는 AI로 정확도를 확보할 수 있으나 가끔 AI가 판단하기 어려운 경우도 생긴다. AI는 자체로 자기 판단 결과의 신뢰도를 측정할 수 있다. 만약 어떤 경우 신뢰도가 원하는 수준에 미치지 못하면, AI가 이 상황을 사람에게 알리고 사람의 부가적 판단을 얻어서 정제된 학습 데이터의 정확도를 높일 수 있다. 이런 방법을 AI 판단에 대한 ‘인간의 관여(Human in the loop)’라 한다.▶의미적 데이터 전처리의미적 데이터 전처리는 도메인 지식이 요구되는 분야다. 예를 들어 데이터 정리나 재구성을 할 때 도메인 지식 없이 그냥 기계적으로 어떤 데이터를 줄이거나 재구성하면 데이터에 녹아 있는 정보가 유실된다. 따라서 데이터를 정리하려면 어떤 데이터가 군더더기인지 알아야 하고, 데이터를 재구성하려면 데이터에 포함된 의미와 이를 어떻게 재구성해야 원하는 목적을 이룰 수 있을지 알아야 한다.의미적 데이터 전처리는 이처럼 도메인 지식이 필요하지만 데이터 처리 또한 단순하지 않다. 도메인 지식과 함께 IT 지식도 요구된다. 그래서 의미적 전처리를 잘하려면 도메인과 IT 지식의 융합이 필요하며, 그 융합 수준이 의미적 전처리 수준을 가늠한다. 이런 의미적 데이터 전처리를 외부 용역에 맡기면 용역업체가 이에 필요한 융합 지식을 충분히 갖추기 어렵다. 전처리된 데이터에서 중요 정보가 유실되는 일이 많아 그만큼 AI 성능이 떨어지곤 했다. 최근 이 문제를 해결하기 위해 데이터 전처리 플랫폼을 활용하는 방안이 개발되고 있다. 데이터 처리에 필요한 IT 지식은 플랫폼이 제공하고 도메인 전문가는 이를 활용해 전처리를 수행하는 것으로, 의미적 전처리를 효율화하는 방안의 하나이다.▶데이터 편향에 따른 AI 편향데이터 전처리로 학습 데이터를 준비하면서 사람들이 쉽게 놓치는 부분이 있다. 바로 데이터 편향(Data bias)이다. 학습 데이터는 AI 활용 대상이 되는 전체 모습에 대해 균형 잡힌 데이터가 돼야 한다. 그런데 데이터 분포가 전체 모습에 대해 균형 잡힌 게 아니라 부분적인 모습에 편중돼 있다면, 이런 편중된 데이터로 학습된 AI는 편향된 결과(AI bias)를 낳을 수밖에 없다. 여론조사를 예로 들면 쉽게 이해된다. 여론조사에는 표본추출(Sampling)이 중요하다. 여론조사를 하면서 인구 분포에 비례하지 않는, 어떤 연령층에 편중된 표본추출을 하면 당연히 그 여론조사에는 편향성이 있다. 지역도 마찬가지다. 어떤 지역에 편중된 표본추출을 하면 편향된 결과가 도출된다.그런데 사람들은 데이터를 수집하면서 자기에게 익숙한 상황의 데이터를 더 많이 모으는 경향이 있다. AI 활용 대상에 대한 상황은 데이터가 모인만큼 보인다. 그런데 데이터가 어떤 편중된 대상에 집중돼 모아졌다면, 그런 데이터로 보는 현상은 전체가 아니라 지엽적인 모습이다. 숲이 아니고 나무를 보는 꼴이다.데이터가 숲이 아닌, 나무를 나타내고 있다면 당연히 이런 데이터에 의존하는 AI는 숲이 아닌 나무에 대한 결론을 내게 돼 있다. 그림2와 같이 균형 잡히지 않은 편중된 데이터를 사용하면 AI가 편향된 결론을 내리게 되고, 이것은 우리가 내리는 결정을 편향(Decision bias)시킨다.그림2 : 데이터 편향에 따른 AI 편향세계적으로 뛰어난 얼굴인식AI가 흑인을 잠재 범죄자로 유추하는 경우가 왜 더 많을까? 물론 AI 알고리즘에 오류가 있을 수도 있지만, 흑인에 대한 편향된 데이터로 AI가 학습되면서 그런 결과를 보일 가능성이 더 크다.데이터 편향은 도메인 지식을 가지고 AI 활용대상 전체를 살피고 조심하면 쉽게 해결되는 문제이다. 하지만 사람들은 그냥 쉽게 수집되는 데이터를 이용하려는 경향이 많아, 이런 편중된 데이터에 의존하는 결과를 낳곤 한다. 또 다른 문제는 이런 데이터 편향은 주의하여 살피지 않으면 마치 데이터 전처리에 아무런 문제가 없는 것처럼 보여, 놓치기 쉬운 오류라는 것이다.정리하면 AI 활용에 있어서 AI 알고리즘만큼이나 중요한 것이 데이터 전처리이다. 데이터 전처리가 잘못되면 AI가 제대로 학습될 수 없어, 성능을 보장할 수 없다. 따라서 데이터 전처리는 AI 활용의 일부로, 둘을 서로 분리하여 생각하지 않고, AI 활용의 목적에 따라 도메인과 IT의 융합된 지식으로 수행하여야 한다.데이터 전처리 중에서 도메인 지식이 크게 필요 없는 기계적 데이터 전처리는 크라우드 환경을 활용하고 전처리 자체에 AI를 활용함으로 효율화 할 수 있다. 도메인 지식이 요구되는 의미적 데이터 전처리에는 도메인과 IT 지식의 융합이 필수이며, 최근에는 이를 효율화하기 위하여 데이터 전처리 플랫폼을 활용하는 방안이 대두되고 있다.데이터 편향에 따른 AI 편향은 조금만 주의를 기울이면 쉽게 해결되는 문제이다. 하지만 자칫하면 그런 오류가 있는지도 모르고 편향된 결과를 옳은 결과인양 받아들이게 되니, 수집되는 데이터 분포를 도메인 지식을 활용하여 주의 깊게 살펴야 한다.