[ADSP 데이터분석준전문가자격증]1과목 데이터의 가치와 미래/빅데이터의 이해

빅데이터?

데이터베이스 소프트웨어 저장,관리,분석

범위를 초과하는 규모의 데이터

대규모데이터/저렴한 비용으로 가치추출,

데이터의 초고속 수집, 발굴, 분석 지원하도록 고안된 차세대 기술 및 아키텍쳐

 

가트너 그룹(GARTNER GROUP)외 더그래니(DOUGLANEY)의 3V

3V = 양(VOLUME), 다양성(VARIETY), 속도(VELOCITY)    투자비용요소

+4V(VALUE)   비즈니스효과요소 ROI는 4개 투자자본수익

 

빅데이터 범주 및 효과

데이터변화

규모(VOLUME) 형태(VARIETY) 속도(VELOCITY)

 

기술변화

새로운데이터 데이터처리와 저장, 분석기술 및 아키텍쳐 클라우드컴퓨팅활용

인재,조직변화

DATA SCIENTIST인재필요 데이터중심

클라우드컴퓨팅

빅데이터 분석에 경제적 효과를 제공해준 결정적 기술

 

출현배경

광고->아이덴티티 뚜렷(광고정확도높음)->SNS 감정 DATA/GPS,가속센서,거리센서 ->클라우드컴퓨팅(BIGDATA처리비용을 획기적으로 낮춤)

 

빅데이터기능

산업형명의 석탄철 = 제조업 에서 서비스업분야의 생산성으로 바뀜

21세기의 원유  = 정보제공(새로운범주산업)

렌즈

NGRAM VIEWER / 남북전쟁/ 변화과정을 볼 수있음

플랫폼

공동활용목적으로 구축된 유무형의 구조물

예전OS ->현재 FACEBOOK

 

데이터마이닝

가능한 많은 데이터를 모으고 그 데이터를 다양한 방식으로 조합해 숨은 정보를 찾아낸다.

 

빅데이터가 만들어내는 본질적인 변화

사전처리->사후처리

사전처리 필요정보만수집(효율성,문서포맷)

사후처리 가능한 많이(데이터마이닝)

표본조사에서 전수조사

표본조사 제약이 많았는데

제약이 사라지면서 전수조사가 이루어짐(이유 = 클라우드 컴퓨팅기술발전"데이터처리비용이떨어져서/재가공가능하고, 융통성이 높아짐)

질에서 양으로

질 샘플링

양 대세에 영향을 주지않음 ->모든조건충족하면 상당부분사례가 제외되는 현상이 생김

인과관계에서 상관관계로

데이터획득비용이 적어지면서 샘플링을안하고, 인과관계보다 상관관계(목적)

그렇다고 인과관계가 안중요한것은 아님