머신러닝을 이용한 빅데이터 분석을 위한 표준화된 방법론
작성자 : m0mksii 분류 : 연구개발 | 공통지식 작성일 : 2018.02.27 09:05:41 조회 : 5447 키워드 : 4차산업혁명,머신러닝,빅데이터분석,표준화방법론,데이터분석방법론
(요약/배경) 인공지능의 머신러닝 기술을 적용하여 빅데이터 분석 서비스를 개발하기 위해 적용가능한 방법론은 무엇이며 구체적인 절차는 무엇인가?
(데이터 분석의 표준화된 방법론)
데이터 분석분야의 표준화된 방법론은 업계의 글로벌 선도회사들이 표준화하여 발표한 여러 산업에 적용 가능한 표준화된 데이터 마이닝 프로세스인 CRISP-DM(Cross Industry Standard Process for Data Mining)방법론이 있다.
CRISP-DM방법론에서는 아래 그림과 같은 수행 사이클과 단계별 주요 활동을 정의하고 있다.
그림 : CRISP-DM방법론의 데이터분석 수행 사이클 (출처: CRISP-DM 방법론)
그림 : CRISP-DM방법론의 단계별 주요활동 (출처: CRISP-DM 방법론)
데이터 마이닝 기법을 이용하거나 머신러닝 알고리즘을 이용하는 경우에도 데이터를 분석하고 모델링을 수행하는 절차는 크게 다르지 않으므로 위의 방법론을 이용하여 스타트업의 인력과 환경에 맞게 서비스의 분석 모형설계과정을 정의 할 수 있다.
(머신러닝을 이용한 데이터 분석 모델링 절차)
실제로 머신러닝의 학습유형인 지도학습과 비지도학습을 구분하여 실무적인 데이터 분석 모델링 절차를 설계하여 적용한 사례는 아래 그림과 같다.
스타트업에서 보유한 데이터와 적용하고자 하는 알고리즘의 종류에 맞게 머신러닝 프레임워크를 선정하고 위의 절차를 응용하여 데이터 분석 절차를 수립해볼 수 있다.
그림 : 머신러닝을 이용한 데이터 분석 모델링 절차 사례 (출처: 저자 작성)
Tip
‘데이터 분석 방법론’,‘CRISP-DM’등의 키워드로 검색하여 데이터 분석 방법론에 대한 기술자료나 블로그를 참조 할 수 있다.
<참고자료·문헌>
☞ “CRISP-DM 방법론 안내서”
- IBM Knowledge Center의 CRISP-DM 방법론 안내서 (https://www.ibm.com/support/knowledgecenter/ko/SS3RA7_17.1.0/modeler_crispdm_ddita/clementine/crisp_help/crisp_overview.html)
<전문용어>
데이터분석 방법론