대규모 빅데이터의 분석 기술
작성자 : m0mksii 분류 : 연구개발 | 공통지식 작성일 : 2018.02.26 16:15:36 조회 : 583 키워드 : 4차산업혁명,초지능,빅데이터,분석기술
(요약/배경) 4차 산업혁명의 서비스의 핵심 특징이라고 할 수 있는 초지능(super intelligence)은 빅데이터를 분석하여 서비스를 지능화함으로써 가능하다.
서비스 지능화하기 위해 참조 가능한 빅데이터 분석 기술은 무엇이 있을까?
(초지능의 개념) 초지능(super intelligence)은 패턴 분석이나 데이터마이닝, 인공지능 등의 기술을 기반으로 사용자에게 유용한 스마트 서비스를 구현하기 위한 지능화 기술을 말한다. 이러한 4차 산업혁명의 초지능 특성의 구현을 위해 실시간으로 수많은 데이터들의 패턴을 발견하고 해석한 후 자동으로 판단하는 빅데이터 분석기술을 이용해서 서비스를 지능화 할 수 있다.
(빅데이터 분석의 유형)
빅데이터 분석은 분석하고자 하는 데이터에 따라서 아래와 같은 유형으로 분류할 수 있다.
- 정형 비즈니스 데이터 분석 : 사용자의 고객정보, 구매이력, 웹사이트 방문이력, 서비스 이용이력 등 비즈니스에서 발생하는 데이터를 분석
- SNS 비정형 텍스트 분석 : 뉴스, 블로그, 페이스북, 인스타그램 등 SNS를 통해서 발생되는 비정형적인 자연어 텍스트 문장의 단어와 의미, 의도, 문맥 등을 분석
- 대용량 멀티미디어 분석 : 이미지, 영상, 음성 등의 멀티미디어를 분석하여 멀티미디내의 특성, 정보, 객체, 자연어 등의 정보를 추출하고 처리하는 분석
- IoT 센서, 로그정보 분석 : 실시간적인 센서와 로그정보를 연속적으로 처리하고 패턴을 분석하여 이상상황, 이벤트 등을 처리하는 분석
(빅데이터 분석의 기법)
빅데이터의 분석에 사용되는 기법은 아래와 같다.
(빅데이터 분석의 도구)
빅데이터의 분석에 사용되는 도구(소프트웨어)는 아래와 같다.
- 통계분석 도구 : 기술적 통계, 예측적 통계기법에 의해 데이터를 분석하는 SAS, SPSS와 같은 통계 패키지 소프트웨어
- 데이터마이닝 도구 : 군집화(클러스터링), 분류(의사결정트리), 선형회귀예측, 시계열 분석 등의 알고리즘을 제공하는 SAS Enterprise Miner, SPSS Modeler, MATLAB, R, Weka 등의 데이터 마이닝 분석 패키지 소프트웨어
- 시각화 도구 : 도표와 이미지를 통해 데이터를 시각적으로 표현하기 위한 R, 파이썬, D3, 아파치 제플린 등의 시각화 소프트웨어
- 인공지능 알고리즘 : 인공신경망과 딥러닝 알고리즘을 사용할 수 있도록 라이브러리의 형태로 제공되는 파이썬(Python)의 싸이킷런((scikit-learn), 구글의 텐서플로우(tensor Flow) 등의 알고리즘 라이브러리
- 인공지능 API : 인공지능의 영상, 음성인식, 언어이해, 자동번역 등의 기능을 제공하기위해 개방된 MS-Cortana, IBM Watson, Amazon Web Service, Google Prediction API 등의 어플리케이션 API
Tip
빅데이터의 등장과 함께 데이터 분석 소프트웨어로 각광받고 있는 오픈소스 데이터분석 패키지인 R을 이용하면 데이터 분석과 시각화, 머신러닝 등의 다양한 분석기법을 하나의 오픈소스에서 쉽게 사용할 수 있다. (다운로드 URL : https://www.r-project.org)
<전문용어>
통계분석, 패턴분석, 데이터마이닝, 머신러닝, 딥러닝, 인공지능