클러스터 사용 목적 : 스파크를 이용하여 카프카에서 consume하는 데이터 분산 처리 및 분석
접속 OS - macOS Monterey Version 12.5
VM OS - centOS7
서버 4대
name01 : Acitve 네임노드
name02 : StandBy 네임노드
data01 : 데이터노드1
data02 : 데이터노드2
서버가 각각 ip 할당 및 hosts 설정까지 끝났다는 전제
(ip 할당 및 hosts 설정 포스트 추후 추가)
우선 yum 업데이트를 해준다
sudo yum -y update
1. 자바 설치
사용하려는 노드 4대 모두 동일하게 설치해 줘야 한다
1-1. 자바 명령어
yum install -y java-1.8.0-openjdk-devel.x86_64
1-2. 자바 설치 완료 확인
java -version
2. 자바 환경 변수 설정
마찬가지로 사용하려는 서버 모두 동일하게 설정
2-1. 자바 경로 파악
which java
/usr/bin/java
ll /usr/bin/java
lrwxrwxrwx. 1 root root 22 Jan 19 09:22 /usr/bin/java -> /etc/alternatives/java
ll /etc/alternatives/java
lrwxrwxrwx. 1 root root 73 Jan 19 09:22 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64/jre/bin/java
2-2. 환경 파일 열기
vi /etc/profile
2-3. 환경 파일 설정
# JAVA PATH
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64/jre/bin/java
export PATH=$PATH:$JAVA_HOME/bin
2-4. 환경 파일 적용
source /etc/profile
'빅데이터' 카테고리의 다른 글
[hadoop] 하둡 클러스터 구축하기 3. 주키퍼 설치 (0) | 2023.01.22 |
---|---|
[hadoop] 하둡 클러스터 구축하기 2. 계정 생성 및 노드간 통신 설정 (0) | 2023.01.21 |
[문제 해결] sqoop import export시 java.lang.ClassNotFoundException (0) | 2023.01.17 |
[hue] sqoop 에러 - connecting (0) | 2023.01.16 |
빅데이터 02 (0) | 2022.09.20 |