빅데이터 처리 단계
- 수집
- 데이터 수집하는 단계
- 정제
- 수집한 데이터를 적재하기 위해 필요 없는 데이터, 깨진 데이터를 정리하는 단계
- 반정형, 비정형 데이터는 분석에 필요한 데이터 외에 필요 없는 부분을 제거하는 단계가 필요
- 적재
- 정제된 데이터를 분석하기 위해 적재하는 단계
- RDB, NoSQL 데이터베이스, Redshift, Druid 등의 도구에 적재
- 분석
- 적재한 데이터를 의미 있는 지표로 분석하는 단계
- 의사 결정권자나 이용자가 사용할 수 있는 데이터로 분석하는 단계
- 시각화
- 분석한 데이터를 도표로 보여주는 단계
- 데이터를 이해하기 쉬운 차트로 분석하는 단계
'빅데이터' 카테고리의 다른 글
| [hadoop] 하둡 클러스터 구축하기 2. 계정 생성 및 노드간 통신 설정 (0) | 2023.01.21 |
|---|---|
| [hadoop] 하둡 클러스터 구축하기 1. 자바 설치 (0) | 2023.01.20 |
| [문제 해결] sqoop import export시 java.lang.ClassNotFoundException (0) | 2023.01.17 |
| [hue] sqoop 에러 - connecting (0) | 2023.01.16 |
| 빅데이터 01 (0) | 2022.09.19 |
