빅데이터의 정의와 분석 기술

• 빅데이터는 규모가 방대하고 생성 주기가 짧으며 수치와 문자와 영상을 아우르는 대규모 데이터로 수집과 전처리와 저장 관리와 분석과 가시화 단계를 거쳐 지식이 된다.
• 대표 특징은 양과 속도와 다양성의 3V이며 변동성을 더해 4V로도 설명하고 클라우드와 분산병렬처리 기술 덕분에 구축 비용이 낮아졌다.
• 분석 기술에는 텍스트 마이닝과 오피니언 마이닝과 소셜 네트워크 분석과 군집 분석 등이 있다.

빅데이터의 정의와 지식 도출 과정

• 4차 산업혁명은 정보통신기술을 바탕으로 사람과 사물이 서로 연결되고 빅데이터로 지능이 높아지는 사회를 가리킨다.
• 디지털 기술이 발전하면서 디지털 경제 환경이 커지고 우리 주변에는 방대한 데이터가 생겨났다.
• 규모가 방대하고 생성 주기가 짧으며 수치뿐 아니라 문자와 영상까지 포함하는 데이터를 빅데이터라고 부른다.
• 데이터의 양이 늘었을 뿐 아니라 위치 정보와 SNS를 통해 개인의 생각과 행동까지 분석하고 예측할 수 있게 되었다.
• 가공하지 않은 수집 상태의 데이터를 원시 데이터라고 하며 빅데이터는 분석 목적에 따라 필요할 때 가공한다.
• 지식을 얻으려면 먼저 여러 데이터 소스에서 데이터를 찾아 모으고 필요 없는 데이터를 거르는 전처리를 한다.
• 이어서 정보를 체계적으로 저장하고 관리하며 분석 과정을 거쳐 의미 있는 지식을 발굴하고 눈에 보이게 만든다.
• 서비스 분야에 따라 일부 단계를 건너뛰거나 반복할 수도 있다.

빅데이터의 특징과 분석 기술

• 빅데이터의 대표 특징은 데이터의 양과 생성 속도와 형태의 다양성으로 이를 3V라고 한다.
• 여기에 변동성을 더해 볼륨과 벨로시티와 버라이어티와 배리어빌리티의 4V로 설명하기도 한다.
• 볼륨은 쌓이는 데이터가 수직적 확장의 물리적 한계를 넘는 거대한 크기를 뜻한다.
• 빅데이터의 가장 큰 특징은 기존 방식으로 처리하기 어렵던 복잡한 정형과 비정형 데이터를 빠르게 처리한다는 점이다.
• 과거에는 대용량 데이터를 모으고 저장하는 비용이 높았지만 하둡 같은 오픈소스와 클라우드 컴퓨팅과 분산병렬처리 기술로 비용이 낮아졌다.
• 텍스트 마이닝은 비정형 텍스트에서 자연어 처리 기술로 유익한 정보를 뽑아 가공하는 기술이다.
• 오피니언 마이닝은 소셜 미디어 글의 긍정과 부정과 중립 선호도를 판단하고 소셜 네트워크 분석은 입소문의 중심 이용자를 찾는 데 쓰인다.
• 군집 분석은 비슷한 특성의 개체를 묶어 유사한 군집을 찾아내는 기술이다.

빅데이터 분석 기술 비교

핵심 개념

• 빅데이터 — 규모가 방대하고 생성 주기가 짧으며 수치와 문자와 영상을 포함하는 대규모 데이터이다.
• 3V — 데이터의 양과 생성 속도와 형태의 다양성으로 빅데이터를 설명하는 세 가지 특징이다.
• 원시 데이터 — 가공하지 않고 수집한 상태 그대로의 데이터이다.
• 텍스트 마이닝 — 자연어 처리 기술로 텍스트에서 유익한 정보를 추출해 가공하는 기술이다.

자주 묻는 질문

• Q. 빅데이터의 3V는 무엇인가요?
  A. 데이터의 양과 생성 속도와 형태의 다양성이며 변동성을 더해 4V로 설명하기도 한다.
• Q. 빅데이터에서 지식을 얻는 과정은 어떻게 되나요?
  A. 데이터를 수집하고 전처리한 뒤 저장 관리와 분석을 거쳐 의미 있는 지식을 가시화한다.
• Q. 빅데이터 구축 비용이 낮아진 이유는 무엇인가요?
  A. 하둡 같은 오픈소스와 클라우드 컴퓨팅과 분산병렬처리 기술이 발전해 대용량 데이터를 저렴하게 처리할 수 있기 때문이다.

정리

빅데이터는 양과 속도와 다양성이 큰 대규모 데이터로 수집과 전처리와 저장과 분석과 가시화를 거쳐 지식이 되고 텍스트 마이닝과 오피니언 마이닝과 소셜 네트워크 분석과 군집 분석 같은 기술로 활용된다고 정리한다.