[hadoop] 하둡 클러스터 구축하기 2. 계정 생성 및 노드간 통신 설정

https://about2weeks.tistory.com/41

[hadoop] 하둡 클러스터 구축하기 1. 자바 설치

위 포스트에서 이어 주키퍼, 하둡을 위한 계정 생성 및 디렉토리 설정을 할 것이다.

3. 계정 생성

계정에 대한 linux 명령어는 아래에서 더 자세히 참조 가능

https://about2weeks.tistory.com/40

3-1. Zookeeper 계정 생성 (namenod1, namenode2, datanode1 세 노드만)

 

계정 추가

adduser zookeeper

비밀번호 설정

passwd zookeeper

3-2. hadoop 계정 생성

사용하려는 노드 4대 모두 동일하게 설치해 줘야 한다

계정 추가

adduser hadoop

비밀번호 설정

passwd hadoop

3-3. hadoop 계정 권한 설정

사용하려는 노드 4대 모두 동일하게 설치해 줘야 한다

3-3-1. 디렉토리 생성

mkdir /dfs
mkdir /yarn
mkdir /pids

3-3-2. 계정에 권한 부여

chown hadoop /dfs
chgrp hadoop /dfs
chown hadoop /yarn
chgrp hadoop /yarn
chown hadoop /pids
chgrp hadoop /pids

3-3-3. 권한 확인

cd /
ls -l

4. Zookeeper 노드간 SSH 설정

4-1. 계정 전환

su - zookeeper

4-2. RSA key 생성

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa;\
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys;\
chmod 0600 ~/.ssh/authorized_keys

4-3. key를 각 노드에 복사

name01 ssh 설정

ssh-copy-id -i .ssh/id_rsa.pub zookeeper@name02
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@data01

name02 ssh 설정

ssh-copy-id -i .ssh/id_rsa.pub zookeeper@name01
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@data01

data01 ssh 설정

ssh-copy-id -i .ssh/id_rsa.pub zookeeper@name01
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@name02

5. hadoop 노드간 SSH 설정

5-1. 계정 전환

su - hadoop

5-2. RSA key 생성

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa;\
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys;\
chmod 0600 ~/.ssh/authorized_keys

5-3. key를 각 노드에 복사

name01 ssh 설정

ssh-copy-id -i .ssh/id_rsa.pub hadoop@name02
ssh-copy-id -i .ssh/id_rsa.pub hadoop@data01
ssh-copy-id -i .ssh/id_rsa.pub hadoop@data02

name02 ssh 설정

ssh-copy-id -i .ssh/id_rsa.pub hadoop@name01
ssh-copy-id -i .ssh/id_rsa.pub hadoop@data01
ssh-copy-id -i .ssh/id_rsa.pub hadoop@data02

data01 ssh 설정

ssh-copy-id -i .ssh/id_rsa.pub hadoop@name01
ssh-copy-id -i .ssh/id_rsa.pub hadoop@name02
ssh-copy-id -i .ssh/id_rsa.pub hadoop@data02

data02 ssh 설정

ssh-copy-id -i .ssh/id_rsa.pub hadoop@name01
ssh-copy-id -i .ssh/id_rsa.pub hadoop@name02
ssh-copy-id -i .ssh/id_rsa.pub hadoop@data01