빅데이터의 전체 수명주기와 빅데이터 에코시스템
작성자 : m0mksii 분류 : 연구개발 | 공통지식 작성일 : 2018.02.26 16:08:29 조회 : 2450 키워드 : 4차산업혁명,수명주기,빅데이터,에코시스템,기술조합
(요약/배경) 빅데이터의 관리관점에서 빅데이터의 전체 수명주기는 어떻게 구성되며 이를 관리하기 위한 빅데이터 에코시스템(기술의 조합)은 어떻게 구성되는가?
(빅데이터의 수명주기)
빅데이터가 생성되고 처리되어 활용되기까지의 데이터의 전체 수명주기 흐름은 아래와 같은 단계를 가진다. 수명주기는 처리나 활용 후 재수집 되거나 재가공 되어 순환의 주기를 가질 수 있다.
그림 : 빅데이터의 수명주기 (출처: 저자 작성)
- 데이터 수집단계 : 빅데이터의 3V의 특징을 가지는 대용량의 실시간적이고 다양한 데이터를 수집하여 확보하는 단계
- 처리단계 : 수집된 데이터를 필요에 따라 전처리, 구조화, 정제, 변환 등의 단계를 거쳐 필요한 형태로 분산/병렬 처리하는 단계
- 저장단계 : 처리 전후의 중간과정 또는 최종 처리된 대량의 데이터를 저장소에 분산하여 저장하는 단계
- 분석단계 : 통계적 분석, 패턴분석, 데이터마이닝, 자연어분석, 머신러닝, 인공지능 등의 다양한 빅데이터 분석기법을 이용하여 데이터를 분석하고 가치를 부가하는 단계
- 활용단계 : 분석된 데이터를 시각화하거나 서비스의 형태로 변환하여 어플리케이션, 디바이스 등을 통해 활용하는 단계
(빅데이터 에코시스템의 구성)
빅데이터 수명주기 전반을 관리하기 위해서는 각 단계별로 IT기술이 필요하다. 빅데이터 처리기술은 수명주기별로 필요한 역할을 수행하는 기술이 존재하고, 각각의 기술들이 조합되어 전체 수명주기를 상호보완적으로 관리하기 때문에 “빅데이터 에코시스템”이라고 부르기도 한다. 대표적인 기술에는 무료로 사용할 수 있도록 공개된 오픈소스인 “하둡 에코시스템”이 있다.
Tip
빅데이터 수명주기, 하둡 에코시스템 등을 검색하여 다양한 관점으로 도식화된 빅데이터 수명주기 관리기술들을 참고 할 수 있다.
<전문용어>
빅데이터 수명주기, 하둡 에코시스템