빅데이터 01

빅데이터

• 빅데이터 : 큰 사이즈의 데이터로부터 유의미한 지표를 분석해내기

특징

• Value : 가치
  • 저장 장치 가격의 하락, 네트워크 속도의 향상으로 수 페타바이트의 데이터가 매일 생성
• Variety : 다양성
  • 정형, 반정형, 비정형 형태의 다양한 데이터 분석
• Velocity : 속도
  • 정보의 유통 속도가 굉장히 빠름
  • 데이터의 처리 속도가 빠름, 초단위 실시간 데이터 처리
• Value : 가치
  • 유의미한 가치를 가지는 지표
  • 지표를 사용하는 사람의 의사 결정에 도움을 줄 수 있는 정보 제공
• Veracity : 정확성
  • 빅데이터를 이용하여 뽑아낸 데이터의 신뢰성, 정확성이 높음
  • 데이터가 많아질수록 더 정확한 분석 가능

데이터 형태

수집 형태에 따라 정형, 반정형, 비정형으로 구분

수집된 데이터를 다양한 도구를 이용해 정형 형태로 변형하고 분석에 이용하는 경우 많음

• 정형 : 데이터 베이스, csv, 엑셀과 같이 칼럼 단위의 명확한 구분자와 형태가 존재
• 반정형 : XML, HTML, JSON 형태와 같이 여러 가지 형태가 있을 수 있지만, 메타 데이터나 스키마가 존재하는 데이터
• 비정형 : 동영상, SNS 메시지, 사진, 오디오, 음성 데이터처럼 형태가 존재하지 않음

분석 형태

• 대화형 분석 : 사용자가 입력한 쿼리에 바로 반응하여 결과를 반환하는 분석 방법
  • 대화형 대시보드
• 배치 분석 : 저장된 데이터를 일정한 주기로 분석하는 방법
  • 일, 주, 월간 보고서
• 실시간 분석 : 사용자의 여러 입력이 실시간으로 저장되고 분석하는 방법
  • 결제, 사기 경고 1분 측정
• 기계 학습 : 기계 학습 알고리즘을 이용해 예측 모델을 생성하는 방법
  • 심리 분석, 예측 모델