[BIZ Insight] 세상 보는 새로운 눈, 빅데이터가 열어줘야

Let's Master
빅데이터 (1) 빅데이터의 본질

정보 수집·저장·처리 기술 발전
대용량 데이터 활용 가능해져
개인·기업·시장·사회에 새로운 가치 가져다 줄 때
빅테이터 지속 발전할 것

몇 년 전부터 세계적으로 빅데이터 바람이 뜨겁게 불기 시작했고, 국내에서도 빅데이터를 활용하려는 기업이 늘고 있다. 왜 빅데이터가 주목받게 됐으며 빅데이터의 본질은 무엇이어야 할까. 이 질문의 답변으로 빅데이터가 일시적 현상이 아니라 지속 가능하려면 어때야 하는지를 살펴볼 필요가 있다.

무엇을 빅데이터라고 할 것인가에 대해 모든 사람이 공감할 수 있는 일치된 정의는 아직 없다. 빅(big)이란 단어가 데이터의 양(volume)을 가리킨다면, 어느 정도 양의 데이터를 빅데이터라고 할 것인지 명확하지 않다. 더욱이 많이 인용되는 데이터의 빠른 증가 속도나 데이터 종류 등의 관점에서도 빅데이터를 언급하지만, 이런 기준이 될 수치는 시간이 지남에 따라 지속적으로 커지면서 변화하게 될 것이기에 아직 논란의 여지가 많다. 하지만 데이터의 생성·수집 자체가 어렵던 과거에 데이터 분석 대상이던 스몰데이터에 대비해 사용하는 개념이 돼야 하지 않을까 생각한다.

# 다양한 비정형 데이터 활용 기술 발전

전통적 추론 통계분야에서 주로 사용했던 데이터는 상대적으로 데이터 양이 크지 않은 스몰데이터였다. 수집된 데이터 형태도 보통은 분석하기 적합한 직사각형 데이터 셋의 구조를 띤 정형화 데이터가 대부분이었다. 또 기업이 다양한 데이터를 수집하고 분석해 가치 사슬상의 여러 활동에 활용해왔다는 사실은 전혀 새로운 일이 아니다. 이런 측면에서 빅데이터 분석도 본원적으로 다르지 않다. 실제로 빅데이터 분석에 활용하는 기법들도 오랜 기간에 걸쳐 개발돼온 것이 많다. 새로운 분석기법이라 하더라도 중복되거나 비슷한 부분이 많다. 그렇다면 왜 빅데이터인가.

지금의 빅데이터는 과거에 비해 방대한 데이터의 양, 엄청나게 빠른 데이터 생성·공유·소비 속도, 수많은 출처에서 나오는 문자, 이미지 등 다양한 비정형 데이터까지 포함하고 있다. 분석 기술도 많은 진전을 이뤘다. 분석할 수 있는 데이터의 형태에도 상당한 차이가 있다. 그리고 여러 개의 컴퓨터를 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술인 하둡 등 데이터 수집·저장·처리 기술의 발전과 함께 빅데이터 활용을 가능하게 해주고 있다. 이런 측면에서 스몰데이터에 비해 빅데이터는 여러 가지 장점을 가지고 있다. 이는 곧 빅데이터의 잠재적 가치가 크다는 것을 의미한다. 이런 잠재력에 대한 인식이 빅데이터의 기대치를 높여왔고, 이로 인해 붐이 일기 시작했다.

# 빅데이터 가치 찾아야 지속 가능 발전

빅데이터가 가진 이런 외형적인 차이나 상대적으로 높은 잠재력이 핵심은 아니다. 아무리 좋은 식재료가 있어도 그것으로 맛있는 요리를 만들어내지 못한다면 가치가 없듯이, 빅데이터도 이를 통해 의미있는 변화를 가져오지 못한다면 환영받지 못할 것이다. 과거에 스몰데이터가 할 수 없었거나 해결하지 못한 문제를 해결해줄 때 의미가 있다. 개인과 기업, 시장, 사회에 새로운 가치를 가져다줄 때 비로소 빅데이터는 그 가치를 인정받게 되고, 지속적으로 확산될 것이다. 이것이 바로 빅데이터의 본질이다.

빅데이터의 본질을 충족시키기 위해서는 무엇보다도 빅데이터에 대한 실상과 허상을 구분해내고, 문제 해결을 통한 실질적인 가치를 창출해야 한다. 가치를 창출하지 못한다면 빅데이터에 대한 기대와 열기는 오래가지 않아 식을 것이다.

최두진 < 한국정보화진흥원 ICT융합본부장 >