오픈소스로 구성하는 데브옵스 시스템 - Mesos 클러스터 구축

Mesos 클러스터 구축을 시작해 보겠습니다.

일단 서버의 역할 구성을 나눠야 할텐데요...

저는 처음에는 Mesos-Master와 Mesos-Slave만 구성을 하고, Zookeeper 구성은 고려하지 않은 standard alone 환경으로 구성을 하였습니다.

하지만 그건 어디까지나 테스트를 위한 환경이었기에...실제 운영환경은 아래와 같이 구성을 하고자 합니다.

호스트명	역할	설치 Application
Mesos-Master-01	Mesos-Master, Zookeeper	Docker, gitlab
Mesos-Master-02	Mesos-Master, Zookeeper	Docker, jenkins, Nexus
Mesos-Master-03	Mesos-Master, Zookeeper, Marathon	Docker, chronos
Mesos-Slave-01	Mesos-Slave, Marathon-lb	Docker
Mesos-Slave-02	Mesos-Slave, Marathon-lb	Docker

먼저 전체 서버의 /etc/hosts 파일에 hostname을 등록합니다. (만약 DNS에 서버 호스트 네임이 등록된다면 설정하지 않아도 됩니다.)

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

server real ip1  Mesos-Master-01

server real ip2  Mesos-Master-02

server real ip3  Mesos-Master-03

server real ip4  Mesos-Slave-01

server real ip5  Mesos-Slave-02

1. Mesos-Master와 Zookeeper 설치 (Mesos-Master-01 ~ 03에 구성)

• 저장소 설치

rpm -Uvh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm

yum -y install mesos mesosphere-zookeeper

2. Zookeeper 설정 (Mesos-Master-01 ~ 03 작업)

• /var/lib/zookeeper/myid 파일을 만들고 각 호스트별로 Zookeeper id 값을 만든다. 예를들어 Mesos-Master-01에는 아래와 같은 값을 입력한다.

1

• /etc/zookeeper/conf/zoo.cfg 파일을 다음과 같은 형식으로 만든다. Zookeeper의 설치 된 수 만큼 입력한다.

server.1=Host IP or Host 명:2888:3888

server.2=Host IP or Host 명:2888:3888

server.3=Host IP or Host 명:2888:3888

  ※ 실제 예시

server.1=Mesos-Master-01:2888:3888

server.2=Mesos-Master-02:2888:3888

server.3=Mesos-Master-03:2888:3888

• Zookeeper를 재시작한다.

systemctl restart zookeeper

3. Mesos-master 설정 (Mesos-Master-01 ~ 03에 구성)

• /etc/mesos/zk 파일에 아래와 같은 Zookeeper URL을 설정한다.

zk://server.1 ip or Hostname:2181,server.2 ip or Hostname:2181,server3 ip or Hostname:2181/mesos

  ※ 실제 예시

zk://Mesos-Master-01:2181,Mesos-Master-02:2181,Mesos-Master-03:2181/mesos

• /etc/mesos-master/quorum 파일에 마스터 노드 수를 2로 나눈 값보다 큰 수를 넣는다. 예를 들어, 마스터 노드가 3개이면 ((3/2)+1)=2로 설정한다.

2

• Mesos Master 서버의 ip와 hostname 파일을 만든다.

echo localhost-ip | sudo tee /etc/mesos-master/ip

cp /etc/mesos-master/ip /etc/mesos-master/hostname

• Mesos 슬레이브 서비스를 비활성화 한다.

systemctl stop mesos-slave.service

systemctl disable mesos-slave.service

• Mesos Master를 재시작한다.

systemctl restart mesos-master.service

• Docker 서비스를 재시작 한다.

systemctl restart docker.service

4. Marathon 설치 (Mesos-Master-03에 구성)

• yum으로 marathon을 설치 한다.

yum -y install marathon

• marathon을 재시작 한다

systemctl restart marathon.service

5. Mesos-slave 노드 설치 (Mesos-Slave-01~02에 구성)

• 저장소 설치

rpm -Uvh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm

yum -y install mesos

• mesos Master 비활성화 한다.

sudo systemctl stop mesos-master.service

sudo systemctl disable mesos-master.service

• /etc/mesos/zk 파일에 아래와 같은 Zookeeper URL을 설정한다.

zk://server.1 ip or Hostname:2181,server.2 ip or Hostname:2181,server3 ip or Hostname:2181/mesos 

• selinux 비활성화 한다. : 이걸 안하면 volume 설정시 문제 발생

setenforce 0

sed -ie 's/SELINUX=enforcing/SELINUX=disabled /g' /etc/selinux/config

• containerizers 파일 생성 한다. (이걸 안하면 marathon에서 docker 컨테이너 실행이 안됨)

echo "docker,mesos" > /etc/mesos-slave/containerizers

• Docker Pull의 시간을 고려해 Executor의 timeout을 10분으로 연장 한다.

echo "10mins" > /etc/mesos-slave/executor_registration_timeout

• Mesos Slave 서버의 ip와 hostname 파일을 만든다.

echo localhost-ip | sudo tee /etc/mesos-slave/ip

cp /etc/mesos-slave/ip /etc/mesos-slave/hostname

• Docker 서비스를 재시작 한다.

systemctl restart docker.service

• mesos-slave 서비스를 재시작 한다.

sudo systemctl start mesos-slave

http://Mesos-Master-01:5050으로 접속하면 아래와 같은 관리화면을 볼 수 있습니다.

각 관리화면에 대해서는 다음 글에서 자세히 다뤄보도록 하겠습니다.