Hadoop 설치!

이제 Hadoop을 설치해 보도록 해야 겠다.

PUTTY 설치는 Hadoop설치를 위해서 선행적으로 한 것인데. 은근히 시간이 많이 갔다...

그럼 우분투에 하둡을 설치해 보도록 하겠다.

우선 하둡(Hadoop)이 무엇일까?

하둡의 화두는 '분산' 입니다. 

 

하둡은 두가지 큰 요소의 결합입니다. '처리(계산)' 와 '저장' 입니다. 즉 '분산처리' 와 '분산저장' 이라고 보면 됩니다. 여러개의 저가형 컴퓨터를 마치 하나인것 처럼 묶어주는 기술이라고 보면 됩니다. (그래서 계산 능력과 저장 공간을 늘립니다)

- 이창민(님) 글에서 발취

정말 간결하지만 하둡을 잘 표현 한 것 같다.

그런 이제 하둡의 설치해 보자!

(SSH, JAVA는 설치 되어있어야 한다.)

step1.

아래 사이트에 접속하여 Hadoop을 DownLoad한다.

http://www.apache.org/dyn/closer.cgi/hadoop/common/

여기서 나는 hadoop-1.2.1.tar.gz 파일을 다운로드 했다.

이파일을 우분투로 옮겨야 되는데. 예전에 만든 FTP프로 그램을 써보려고 했는데. 사라졌다..

FTP로 하려고 하는데 잘 안된다.... 차후에 해결 해서 써봐야지... 

우선 가상머신에서 우분투로 직접 접속 하여서 파일을 다운로드 하였다.

step2.

다운로드 된 파일을 아래 명령어로 압축 해제 하여 준다.

sudo  tar xzf hadoop-1.2.1.tar.gz

step3. 

압축을 푼 파일을 hadoop으로 이름을 바꾸어 준다.

sudo mv hadoop-1.2.1 hadoop

step4.

환경 설정을 해주어야 한다.

vim .profile 로 들어가서 아래 내용을 작성하여 준다.

export HADOOP_HOME=/usr/local/hadoop-1.2.1 export JAVA_HOME=/usr/lib/jvm/ java-7-openjdk-amd64 export PATH=$PATH:$HADOOP_HOME/bin

그후에  source .profile 해줘서 파일 컴파일 해주어 야 한다.

step4.

하둡 HDFS 디렉토리를 셋팅 해야 줘야 한다.

sudo mkdir -p /app/hadoop/tmp sudo chown hanseungwan /app/hadoop/tmp sudo chmod 750 /app/hdaoop/tmp

step5.

/usr/local/hadoop/hadoop-1.2.1/conf/hadoop-env.sh 에서 맨 아래 부분을 다음과 같이 수정해야 된다.

 

export JAVA_HOME=/usr/lib/jvm/ java-7-openjdk-amd64 export HADOOP_OPTS=-Djava.net.preferIPv4Staack=ture export HADOOP_HOME_WARN_SUPPRESS=TURE

step6.

각각의 XML 파일에 아래내용을 추가 해 주어야 한다.

• /usr/local/hadoop/hadoop-1.2.1/conf/core-site.xml

<property> <name>hadoop.tmp.dir</name>   <value>/app/hadoop/tmp</value>   <description>A base for other temporary directories.</description> </property>   <property>   <name>fs.default.name</name>   <value>hdfs://localhost:54310</value>   <description>The name of the default file system.  A URI whose   scheme and authority determine the FileSystem implementation.  The   uri's scheme determines the config property (fs.SCHEME.impl) naming   the FileSystem implementation class.  The uri's authority is used to   determine the host, port, etc. for a filesystem.</description> </property>

• /usr/local/hadoop/hadoop-1.2.1/conf/mapred-site.xml

<property> <name>mapred.job.tracker</name>   <value>localhost:54311</value>   <description>The host and port that the MapReduce job tracker runs   at.  If "local", then jobs are run in-process as a single map   and reduce task.   </description> </property

• /usr/local/hadoop/hadoop-1.2.1/conf/hdfs-site.xml

<property>   <name>dfs.replication</name>   <value>1</value>   <description>Default block replication.   The actual number of replications can be specified when the file is created.   The default is used if replication is not specified in create time.   </description> </property>

step7.

하둡 시스템을 포맷 해주어야 한다.

/usr/local/hadoop/bin/hadoop namenode -format

step8.

Hadoop 구동을 한다. 정지는 stop-all.sh로 하면 된다.

/usr/local/hadoop/bin/start-all.sh

step9.

구동 확인을 해보자.

jps

여기 까지가 하둡 설치 과정이다. 하둡 실행 및 MapReduce 사용은 다음에 하기로..