Hypertable Hadoop 파일 시스템에 설치 하기 – 2

Hypertable Hadoop 파일 시스템에 설치 하기 – 2

이번장에서는 hypertable을 hadoop을 이용하게 설정하고
클러스터 세팅을 할 예정이다
 

설치 환경: fedora 8 – 32 bit (amazon ec2), hadoop-0.17.1 x 4
  (총 4대의 서버로 구성된 소형 클러스터)

1. hadoop클러스터 구성
      4대의 amazon-ec2 컴퓨터로 소형 클러스터를 구성했다

2. HDFS(hadoop distributed file system)에 hypertable 디렉토리 생성
      HADOOP_HOME$ bin/hadoop dfs -mkdir /hypertable
      HADOOP_HOME$ bin/hadoop dfs -chmod 777 /hypertable

      잘 만들어졌나 확인해보자
      HADOOP_HOME$ bin/hadoop dfs -ls

3. 설정파일 변경하기

      HYPERTABLE_HOME$ 0.9.0.7/conf/hypertable.cfg

      만약 hadoop master설정이 hdfs://ip-10-251-91-180.ec2.internal:50001
      되어 있다면

      HdfsBroker.fs.default.name=hdfs://ip-10-251-91-180.ec2.internal:50001

      다음의 두개의 설정을 hypertable master서버가 있는쪽으로 바꿔준다 
     
      Hyperspace.Master.Host=ip-10-251-91-180.ec2.internal
      Hypertable.Master.Host=ip-10-251-91-180.ec2.internal

      만약 hadoop을 쓰지 않고 그냥 로컬 파일시스템을 쓰고 싶으면
      DfsBroker.Local.Root=fs/local <- 여기서 hypertable 루트 폴더를 설정

4. master server, hyperspace 작동

      HYPERTABLE_HOME$ bin/start-master.sh hadoop
      or bin/start-all-servers.sh hadoop

5. range server 작동

      HYPERTABLE_HOME$ conf/slaves 파일을 하나 만들고
      거기에 slaves 서버 이름들을 일일이 적어준다

      HYPERTABLE_HOME$ cat conf/slaves
      ip-10-251-71-150.ec2.internal
      ip-10-251-67-113.ec2.internal
      ip-10-251-42-245.ec2.internal
      ip-10-251-123-79.ec2.internal

      HYPERTABLE_HOME$ bin/slaves.sh ~/hypertable/0.9.0.7/bin/start-range-server.sh hadoop
      여기서 ~는 hypertable 경로..

      만약 여기서 ~/hypertable/0.9.0.7/bin/jrun: line 106: exec: java: not found
      이런 에러를 본다면 regionserver에 가서 jrun 스크립트를 수정해야 한다
      마지막 라인에 java를 실행하기 전에
      PATH=$PATH:*java bin folder path* <= 자바 bin폴더 path를 추가해준다

      서버 종료시에는 일단 로컬 서버는
      HYPERTABLE_HOME$ bin/stop-servers.sh (이전 버젼에서는 kill-servers.sh였는데 바뀌었다)
     
      이제 ~/hypertable/0.9.0.7/bin/hypertable 을 하면 HQL커맨드로 hypertable을
      시작할수 있다..
** 더 상세한 정보는 Hypertable wiki ==> http://code.google.com/p/hypertable/w/list
** 다음 포스트에서는 Hypertable on hadoop, Hbase on hadoop의 테스트 과정과 결과 비교를 올릴예정..
** hypertable on kfs, hypertable on hadoop 의 비교 결과도…

Advertisements

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중

%d 블로거가 이것을 좋아합니다: