Wan IT World

hadoop 을 실행하기 위해서 node들을 start 하는 명령어 이다. - start-dfs.sh && start-yarn.sh 다음 명령어를 통하여 제대로 실행 되었는지 확인 한다. -jps virtualbox 설정 -> 네트워크 -> 포트포워딩에서 다음과 같이 설정 한다. 이제 wordcount 예제를 실행해 보자.test 라는 파일을 생성 하고 아래와 같은 명령 어를 실행 한다. hdfs dfs -put test /testhdfs dfs -ls /home/hanseungwan/hadoop/share/hadoop/mapreduce에 들어 가서 다음과 같은 명령어를 입력 한다. hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /test /outp..

ls - 현재 디렉토리 정보를 나열합니다. hadoop fs -ls output lsr - 현재 디렉토리 목록과 하위디렉토리 정보를 나열합니다. hadoop fs -lsr output du - 디렉토리나 파일의 사용량을 확인하는 명령 바이트 단위로 결과 출력 hadoop fs -du output dus - 디렉토리 전체의 합계용량을 출력 hadoop fs -dus output cat - 테스트파일의 내용을 표시 hadoop fs -cat /user/root/output/part-r-00000 text - 테스트파일뿐 아니라 zip파일 형태의 내용도 표시. hadoop fs -text /user/root/output/part-r-00000 mkdir - 디렉토리를 생성합니다.. hadoop fs -mkdi..

빅데이터 하는데 데이터 수집 하는 일을 FLUENTD로 하기로 했다.. FLUENTD는 내가 이해 하기로는 그림 에서 나타 내는 것과 같이 수집한 데이터들이 막 정신 없이 나열 되어 있는데, 이를 관리 및 유지 해주는 것 같다. 자세한 내용은 사용해 보면서 찾아 봐야 겠다.

저번에는 hadoop 1.2.1 버전을 설치 했는데.. 2.x.x 버전이 필요 하게 되어서 다시 설치 하였다... 몇가지 다른 점이 있지만 거의 유사 한거 같다. 우선, 다운 받고 압축 풀는 것 까지는 같은데 추가 적으로 여기서 리눅스에서 웹페이지 다운 받으려면 아래와 같이 하면 된다.. wget http://apache.tt.co.kr/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 권한을 주는 것이 문제가 되었다.. 권한을 가진 유저에 디렉토리에 tar 를 정해서 해야한다...!!!!!! step1.쓰기 쉽게 바로 가기를 만든다. 바로 가기 명령어는 ln 이다. ln -s hadoop-2.6.0 hadoop step2..bashrc 를 수정한다.vim bashrc ..

Hadoop이 JAVA 기반이라서 우분투에 JAVA를 설치 해야 한다. 아래 명령어는 jdk관련 패키지를 검색 하는 것이다. apt-cache search jdk 위의 패키지 중에 나는 openjdk-7-jdk를 설치 하였다.설치 명령어는 아래와 같다. (sudo로 하거나 루트권한 에서 해야 한다.) apt-get install openjdk-7-jdk 설치가 끝나면 /usr/lib/jvm/에서 살펴 보면 설치된 파일이 보일 것이다. 이제 환경 설정을 해 주어야 한다. vim /etc/bash.bashrc 에서 맨 마지막에 아래와 같이 작성 하여 준다. export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

이제 Hadoop을 설치해 보도록 해야 겠다.PUTTY 설치는 Hadoop설치를 위해서 선행적으로 한 것인데. 은근히 시간이 많이 갔다... 그럼 우분투에 하둡을 설치해 보도록 하겠다.우선 하둡(Hadoop)이 무엇일까? 하둡의 화두는 '분산' 입니다. 하둡은 두가지 큰 요소의 결합입니다. '처리(계산)' 와 '저장' 입니다. 즉 '분산처리' 와 '분산저장' 이라고 보면 됩니다. 여러개의 저가형 컴퓨터를 마치 하나인것 처럼 묶어주는 기술이라고 보면 됩니다. (그래서 계산 능력과 저장 공간을 늘립니다)- 이창민(님) 글에서 발취 정말 간결하지만 하둡을 잘 표현 한 것 같다. 그런 이제 하둡의 설치해 보자!(SSH, JAVA는 설치 되어있어야 한다.) step1.아래 사이트에 접속하여 Hadoop을 Down..

Virtualbox에 설치된 우분투가 너무 느려서 PuTTY로 원격 접속 해서 사용 하기로했다. PuTTY 설치는 아래 링크http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html(구글에 입력 하면됨.) 설치는 쉽다. 이제 VirtualBox에 우분투와 연결 해야 한다. 우선 우분투에 SSH를 설치 해야 된다. (SSH를 설치 해야 원격 지원 시스템과 연결이 가능하기 때문이다.) 터미널에서 아래 같이 입력 하면 SSH가 설치가 된다. sudo apt-get install ssh 비밀번호를 입력 하라고 하면 루트 권한을 가진 사용자 비밀번호를 입력 하면 된다. 설치가 끝나면 아래와 같은 명령 어를 입력 한다. ifconfig 위의 명령어를 입력 하면..