[Ambari] Apache Ambari 튜토리얼

Bigdata

1. Apache Ambari 소개

- Apache ambari 프로젝트는 하둡 관리를 보다 쉽게 만들기 위한 것을 목표로 한다. 이를 위해 하둡 cluster에 대한 provisioning, managing, monitoring 소프트웨어를 개발하였으며, 계속 발전시키고 있다. Ambari는 직관적이고 사용하기 쉽도록 RESTfull API들을 통하여 webUI를 제공하며, customizing을 쉽게 수행할 수 있다. Ambari를 통해 다음과 같은 시스템 관리를 수행할 수 있다.

> Provision a Hadoop Cluster . 여러 host에 hadoop services를 설치하기 위한 wizard를 제공한다. . Cluster들에 대한 hadoop services들의 configuration을 제공한다.

> Manage a Hadoop Cluster

​ . 전체 cluster들에 대해서 hadoop services들의 정지기동 및 설정변경의 중앙관리를 제공한다.

> Monitor a Hadoop Cluster . hadoop cluster들의 상태와 현재정보를 제공하는 대쉬보드를 제공한다. . metrics collection을 위해서 Ambari Metrics System을 사용한다. . system alert 를 위해서 Ambari Alert Framework 를 사용한다.

2. Ambari 시작 하기

2-1) 사전 준비사항

  • Ambari 를 위해 사전에 설치되어야 하는 툴은 아래와 같다

    JDK 7 and later (PATH 및 JAVA_HOME 환경변수 설정)

    Apache Maven 3.3.9 이상 python 2.6 > python

    setuptools : python 2.6 or 2.7 버전

    rpmbuild g++ NodeJS : 테스트 된 가장 최신버전은 v0.10.44 이다. 0.12.x 버전에선 수행되지 않는다. Brunch : 1.7.20 버전사용, brunch 명령어가 수행되어야 한다.

2-2) 설치 및 구성

  1. Apache ambari 다운로드 img 사전 준비를 완료하였다면, ambari를 다운 받고 ambari server를 설치한다.

  2. ‘mvn’ 명령어를 통하여 ambari source code를 build 하는 경우, jms, jmxri, jmxtools에 대한 artifacts가 필요하다.

  3. compile 수행 중 hang 이 걸리고 이미 heapsize를 늘린 상태라면, git과 mvn의 package 를 초기화 해야 할 수도 있다.

  4. Ambari server를 setup 하고 start 한다.

  5. 모든 호스트에 ambari agent를 설치하고 시작한다.

  6. Ambari web UI(http://localhost:8080) 을 통해서 접속한다.

  7. admin/admin으로 접속 한 뒤, default value들을 각 환경에 맞게 설정한다.

  8. Install Option page에서 hosts에 들어가 cluster들을 추가한다.

  9. 어떠한 SSH 키도 적용하지 말고 “Perform manual registration on hosts and do not use SSH” 를 선택 후 “Next"를 누른다.