목차 -

Ⅰ. 서론

현대 사회는 제4차 산업혁명이라고 불릴 정도로 획기적인 기술의 발달이 진행되고 있는 시대이다. 여러 기업과 연구 기관에서는 발달된 컴퓨터 및 정보 통신 기술을 바탕으로 과거에는 상상으로만 존재하였던 기술들을 현실로 만들어내고 있으며 이는 기업의 구조, 경제 및 사회 구조 등에 막대한 영향을 미치고 있다. 이러한 변화를 이끌어내는 핵심 기술에는 사물 인터넷, 3D 프린팅, 인공 지능과 같은 여러 신 기술이 있으며 그 중 하나가 빅데이터이다.

빅데이터는 다량의 데이터를 신속하게 처리하고 이를 분석함으로써 유용한 정보를 도출하는 데 활용된다. 빅데이터는 이미 우리의 삶에 깊게 자리잡고 있는 것으로 누구나 한번쯤은 경험한 것이다. 예를 들어 어떤 사람이 선풍기를 구매하기 위해 온라인에 검색하면 그 다음에는 웹 상의 광고란에 선풍기를 홍보하는 광고가 게제되는 것은 검색 엔진 기업에서 개인의 검색 정보를 바탕으로 맞춤형 광고를 제시하는 것이다.

전세계의 사람들이 온라인 검색을 실시간으로 하는 상황을 감안하면 검색 엔진 기관이 처리해야 하는 정보는 그 규모가 어마어마할 것이다. 이와 같이 방대한 규모의 데이터를 처리 및 활용하는 행위가 빅데이터 분석이며 이는 앞으로 개인, 기업, 그리고 정부 등 광범위한 영향을 미칠 것으로 예상된다.

1. 빅데이터의 출현 배경

우리는 현재 정보의 홍수 속에서 살아가면서 존재하는 수많은 방대한 정보 속에서 우리에게 필요하고 유용한 정보를 탐색하는 데 많은 시간을 보낸다. 빅데이터라는 현상 역시 수많은 정보를 어떻게 효율적으로 관리할 것인지, 방대한 정보를 어떻게 분석하여 가치가 있는 결과를 도출할 것인지와 깊은 관련이 있다.

빅데이터라는 용어와 개념은 최근에 주목받게 되면서 해당 개념이 새로운 것이라고 생각할 수 있지만 실제로는 그렇지 않다. 사람이 데이터를 수집하고 이를 통해 본인에게 가치 있는 정보로 변환하는 과정은 과거부터 존재하였으며 같은 목적과 프로세스가 과거에는 아날로그 방식이었다면 지금은 고도의 과학 기술을 바탕으로 한 디지털 방식인 것이다.

그렇다면 과거부터 존재하였던 개념이 왜 지금 '빅데이터'라는 명칭과 함께 급부상하고 있는 것인가에 대해서 고찰해볼 가치가 있다. 빅데이터가 주목받게 된 가장 주된 요인은 정보 통신 기술의 발달이라고 할 수 있다. 1946년에 처음으로 디지털 컴퓨터가 개발된 이후로 이후 2세대, 3세대를 거치며 컴퓨터는 소형화 되고 처리 능력이 급격하게 발달하게 되었으며 1980년대 이후로는 현재와 유사한 형태의 컴퓨터 즉 5세대의 컴퓨터라 할 수 있다.

컴퓨터 뿐만 아니라 USB (Universal Serial Bus) 나 서버 등과 같은 하드웨어 기기들 역시 빠르게 발전하였으며 이는 대용량의 데이터를 처리할 수 있는 물리적인 인프라를 마련하는 계기가 되었다. 이에 따라 기업이나 개인과 같은 사용자는 발전된 기기를 활용하여 더 많은 데이터를 더 빠르게 처리할 수 있게 되었으며 효과적인 데이터 분석을 통하여 의사결정을 지원할 수 있도록 데이터를 활용할 수 있게 되었다.

컴퓨터, 네트워크 등의 정보 통신 관련 기술들이 발전하면서 각 기능의 성능이 발달하였을 뿐만 아니라 해당 기기의 구매 가격 및 서비스 사용 비용은 과거에 비해 크게 감소하면서 사용자는 최첨단의 기기를 저렴한 가격으로 사용할 수 있게 되었다. 이는 데이터 분석에 필요한 인프라 및 기기들에 대한 접근성이 높아진 것으로 이를 통해 사용자는 다량의 데이터를 활용하여 부가가치를 창출할 수 있게 되었다. 이 밖에도 빅데이터가 부상하게 된 다른 요인으로서는 오픈 소스가 있다.

기존에는 컴퓨터 관련 개발자 및 전문가들이 소프트웨어 개발 및 개선 등에 있어서 관련 지식이나 자원을 공개하지 않는 경우가 많았다. 그러나, 구글이나 페이스북 등과 같은 글로벌 디지털 기업들은 이러한 관행을 깨고 일반인들에게 다양한 컴퓨터 프로그래밍 관련 코드나 소스를 공개하면서 많은 이들이 접근할 수 있게 되었으며, 기업과 개인은 이를 활용하여 목적에 맞는 데이터 분석을 용이하게 수행할 수 있게 되었다.

해당 요인들은 빅데이터 출현에 있어서 주된 요소이며 기타 다른 많은 요인들 역시 빅데이터의 부상에 직간접적으로 영향을 미쳤다. 중요한 것은 빅데이터가 소개되고 발전되는 데 있어서 영향을 미치는 많은 요소들이 서로 깊은 관련을 맺으며 빅데이터의 활용을 더욱 확대 및 증가시키고 있다는 것이다. 예를 들어 컴퓨터 및 서버 등의 하드웨어 기기의 값이 저렴해지면서 개인 사업자나 소기업에서 이를 구매 및 활용하여 빅데이터 분석을 진행할 수 있으며 이들이 데이터를 분석하는 과정에서 사용하는 구글 검색 등은 다시 또 다른 데이터가 되어 다른 기업의 데이터 분석에 쓰이게 되는 것이다.

2. 데이터 과학

앞서 설명한 빅데이터의 개념과 유사하게 데이터 과학이라는 개념이 존재한다. 데이터 과학은 통계학, 수학과 같은 기존의 학문과 프로그래밍, 코딩 등과 같은 컴퓨터 관련 능력을 바탕으로 데이터를 효과적으로 수집 및 관리하고 데이터를 통해서 가치를 창조하는 것이라고 할 수 있다. 이 과정에서 전문가는 알고리즘 제작, 관련 시스템 개발, 과학적인 방법 도입 등을 통하여 데이터를 객관적으로 분석한다.

이러한 전문가는 데이터 과학자로 불리며 데이터를 활용하여 최대한의 가치를 끌어내는 것을 목적으로 한다. 데이터 과학은 다음과 같은 절차를 통해 수행될 수 있다. 먼저, 데이터 분석이 어떤 목적을 위해 수행되어야 하는지, 결과가 어떻게 사용될 것인지 등과 같이 기본적인 큰 틀을 계획하는 단계이다.

해당 단계에서는 세부적인 내용 보다는 프로젝트의 목적과 기간에 따른 예상 전개 등 포괄적인 계획을 수립하는 것으로서 이는 추후 절차에 가이드라인이 된다. 이후에는 데이터 과학자나 컴퓨터 프로그래머 등 관련 전문가들이 주어진 작업을 수행할 수 있도록 작업 환경을 준비하는 단계이다. 이 단계는 각 데이터 사용자들에게 기능에 맞는 데이터나 소스에 접근할 수 있는 권한을 분배하거나 데이터 분석을 위해 어떤 툴을 사용할 것인지와 같은 것들을 포함한다.

이 단계를 통해 관련 전문가들이 주어진 역할을 효과적으로 수행할 수 있도록 해야 한다. 다음으로는 데이터를 수집하는 단계로서 수집된 데이터를 어떤 서버에 저장 및 관리할 것인지 또는 얼마만큼의 데이터를 수집할 것인지 등에 대한 지침이 선행되어야 한다. 이에 따라서 수집된 데이터는 미리 계획된 작업 환경에 액세스가 가능하게 된다.

이후로는 데이터를 탐색함으로서 데이터의 특성이나 트렌드와 같이 가치 있는 정보를 창출하는 단계를 거친다. 다음의 단계에서는 데이터를 통해 모델을 구축하고 목적에 따라 해당 모델을 기계 학습 시키거나 반복적으로 훈련 시켜 해당 모델이 목표치에 얼마나 가까운지를 평가하고 필요할 경우 모델 수정을 통하여 완성도 높은 모델을 제작하도록 한다. 마지막 단계에서는 개발된 모델을 배포함으로써 많은 사용자에게 목적에 맞는 업무 수행을 지원할 수 있도록 한다.

데이터 과학의 절차는 오라클(데이터 분석 기업) 공식 홈페이지에서 제공하는 설명을 참조하여 작성하였다. https://www.oracle.com/kr/data-science/what-is-data-science.html

3. 네이버 트렌드 분석

네이버는 키워드 및 주제어를 통해 기간별로 해당 주제어가 얼마나 검색되었는지를 분석할 수 있게 하는 툴을 제공한다. 이는 사람들의 관심을 예측할 수 있는 데이터를 제공함으로써 기업의 시장 분석이나 여론 조사 등과 같은 목적에 다양하게 활용될 수 있다. 이 글에서는 비교 가능한 2개의 주제어를 비교함으로써 해당 툴을 통해 의미 있는 정보를 얻고자 하였다.

선택한 주제어로는 최근의 우리 사회의 큰 문제로 떠오르고 있는 취업난과 관련한 것으로 구성하였으며, '취업', '이직', '취업난', '유학', '스펙' 총 다섯 개의 키워드를 설정하였다. 범위는 모바일과 PC를 포함한 전체로 설정하였으며 남녀 구분 없이 지난 3개월간 20대와 30대의 트렌드를 검색한 결과 다음과 같은 자료를 확인할 수 있었다.

그래프 1: '취업', '이직', '취업난', '유학', '스펙’(20대) 그래프 2: '취업', '이직', '취업난', '유학', '스펙’(30대) 해당 자료는 같은 주제어를 연령에 따라 분석함으로서 연령에 따른 관심의 차이, 선호도 등과 같은 정보를 얻을 수 있다. 일반적으로 20대는 의무 교육 이후 성인이 되어 사회로 처음으로 진입하는 단계인 만큼 '취업'이라는 주제어가 가장 많게 검색되었다. 이는 20대가 취업에 관심이 많은 것을 보여주는 것이며 현재 우리 사회의 취업난의 실태를 간접적으로 보여준다고 할 수 있다.

'취업'에 대한 관심은 30대가 되어서도 지속되는 것으로 보이지만 20대의 트렌드와 뚜렷하게 구분되는 주제어로 '이직'이 확인되었다. 이는 30대의 많은 사람들의 관심은 첫 직장을 찾는 것보다는 현재의 직장에서 다른 곳으로 이직하는 데 관심이 많은 것으로 해석될 수 있다.

많은 사람들이 20대 후반이나 30대 초반에 본격적인 일을 시작하는 것을 감안하였을 때 이러한 자료는 30대의 사람들은 어느 정도 업무에 경험이 있고 이를 바탕으로 이직을 하고자 하는 의지 및 관심이 높은 것으로 보인다. 그 밖에 '스펙', '유학', '취업난' 의 주제어에서는 두 연령대 간 명확한 차이는 없는 것으로 나타났다.

4.1. 구글 Ngram을 통한 트렌드 분석

이 툴은 앞서 보여준 네이버 검색의 트렌드와 달리 책에 특정 키워드가 얼마나 빈번하게 등장하였는지를 시간에 흐름에 따라 보여준다. 이를 통해 사람들의 관심이나 경향을 책을 바탕으로 분석할 수 있게 한다.

현재 디지털 시대 및 관련 기업들의 영향력이 거세지는 것을 감안하여 Ngram 툴에 'digital','technology','computer'와 대표적인 디지털 기업 'amazon','google'을 검색하여 다음과 같은 결과를 얻었다. 그래프 3. 구글 Ngram 결과, 'digital','technology','computer','amazon','google' 해당 결과는 1900년부터 2019년 까지의 주제어 동향을 나타내는 것이며 그래프에서 볼 수 있듯이 1900년대 후반까지는 디지털이나 컴퓨터라는 용어가 거의 없었으나 1900년대 후반 부터는 해당 용어가 책에서 활발하게 언급되었다는 것을 알 수 있다.

그 중에서도 흥미로운 것은 'technology'와 'computer'가 1900년대 후반에 급격하게 관심을 받는 주제로 해당 용어와 관련한 책의 저술 활동이 활발하였으나 이러한 추세는 2000년 이후로 감소하는 추세에 있다는 것이다. 이는 컴퓨터 및 기술이 이제 사람들에게 더 이상 새로운 개념이 아니며 많은 사람들이 일생활에서 사용하면서 익숙한 것이 되어 예전 만큼 각광 받는 주제가 아닌 것으로 사료된다.

이와 달리 'digital'이라는 용어는 지속적으로 언급되고 있는 키워드인데, 이는 제4차 산업혁명, 디지털 시대 도래 등으로 인하여 사람들의 관심이 증가하고 있다는 것을 보여주며 'computer'라는 용어가 처음에 활발하게 언급되다가 그 빈번한 정도가 감소한 것과 같이 'digital'이라는 용어도 디지털 시대가 성숙해지면서 어느 시점 이후로는 감소할 것으로 예상된다.

디지털 기업의 대표적인 예인 Google 과 Amazon은 다른 키워드에 비해 언급되는 비중이 낮아 전체적인 그래프로는 변화 양상을 확인하기가 어려워 해당 용어만을 추가적으로 재검색한 결과 이 두 기업의 이름 역시 2000년대 이후로 더욱 빈번하게 언급되고 있다는 것이 확인 되었다. 특히 Google 은 2000년을 기점으로 언급되는 정도가 급속도로 증가하였다.

아쉬운 점은 현재 구글의 검색 기능이 단순히 단어로만 이루어지기 때문에 동의어가 있거나 문맥에 따라 의미가 달라지는 경우 정확한 검색 결과를 알 수 없다는 단점이 있다. 예시에서도 'amazon' 이라는 단어가 기업을 의미하는 것인지 브라질의 열대우림을 지칭하는 것인지에 대한 정보가 없으며 이 때문에 분석 결과가 객관적이지 못할 가능성이 있다.

그래프 4: 구글 Ngram 결과, 'amazon','google'

4.2. 구글 트렌드를 통한 데이터 분석

구글 Ngram 툴이 책과 같은 인쇄물에서의 키워드를 검색한다면 구글 트렌드는 인터넷 상에서 검색된 내용을 바탕으로 한다. 앞서 Ngram을 이용한 확인했던 동일한 검색 키워드를 구글 트렌드 툴을 사용하여 검색한 결과는 다음과 같다. 그래프 5. 구글 트렌드 검색 결과 'digital','tecnology','computer','amazon','google' 인터넷 사용이 보급된 것은 비교적 최근인 것을 감안할 때 구글 트렌드는 2004년 이후의 자료만 가능하다.

구글 트렌드 검색 결과에서는 키워드 'Google'과 'Amazon'이 지속적으로 증가하는 추세를 보였으며 그 중 'Google'은 급증하다가 어느 시점부터 감소하는 모습을 보였다. 나머지 키워드의 변화 추이를 더 정확하게 확인하기 위해 'technology' ,'computer' ,'digital'로만 검색한 결과 세 주제어 모두 2004년 이후로 감소하는 모습을 보였다.

그래프 6. 구글 트렌드 검색 결과 'digital','tecnology','computer' 이는 앞서 Ngram에서 보인 바와 같이 'technology'와 'computer'의 키워드의 검색 빈도가 지속적으로 감소하는 추세와 일치하며 'amazon' 검색의 증가와도 일치한다. 그러나 'google'과 'digital'의 주제어에 있어서는 상이한 추이를 보이고 있다. 이와 같은 불일치는 인쇄물과 인터넷 검색이라는 다른 검색 툴에 있어서 서로 다른 특성이나 사용자의 성격 등과 같은 차이에서 발생하는 것일 가능성이 높으며 데이터 분석가는 이와 같은 차이가 발생하는 원인을 파악하여 실제 트렌드를 정확하게 파악할 수 있을 것이다.

5.1. 기업의 빅데이터 활용 사례

기업은 다양한 업무 및 프로세스를 바탕으로 운영되고 있는 데 그 중 마케팅 부서는 제품 및 서비스의 홍보와 판매를 담당하는 곳이다. 일반적으로 마케팅 부서에서는 다양한 성향, 욕구 등을 가진 고객을 내부적인 기준에 따라 분류하고 각 분류별 마케팅을 수행한다. 그러나 기업이 더 다양한 고객의 욕구를 정확하게 만족시키기 위해서는 고객의 분류를 더욱 세분화 하여야 하고 각 그룹별 고객을 위한 마케팅을 기획 및 개발 하는 데 있어서 많은 비용이 발생하게 된다.

추가적으로 사회가 점점 다양한 가치를 수용하고 고객의 욕구 역시 복잡해지면서 이러한 방식의 마케팅 수행에 있어서 비용적인 압박이 증가하게 되었다. 이러한 문제 상황을 해결하기 위해 LG 생활 건강은 계열사 LG CNS 가 개발한 개인화 추천 솔루션 기술을 마케팅에 적용하여 소비자의 구매 심리를 개별적으로 예측하여 상품의 판매율을 높이는 방법을 마케팅에 도입하였다. 해당 기술은 빅데이터 분석을 활용하여 개인별 구매 패턴을 예측할 수 있는 알고리즘(CF, Collaborative Filtering), 구매 주기 분석 및 관련 상품 분석 등의 알고리즘을 적용하여 각 소비자에게 맞춤 마케팅을 가능하게 하였다.

이와 같은 마케팅을 위해서는 방대한 데이터의 양을 빠른 시간 내에 처리할 수 있는 컴퓨터의 정보 처리 능력이 필요한데 LG는 컴퓨터가 이를 효율적으로 수행할 수 있도록 하둡 기술을 사용하여 대량의 정보를 빠르게 처리할 수 있도록 설계하였다. 해당 기술 적용 결과 LG는 판매량을 두 배 이상 증가하는 성과를 얻었다.