빅데이터 관리/Hadoop
FLUME - Tomcat 연결해보기
하둡 설치에 대해서 궁금하시다면 메일 바랍니다. 따로 자료 공유 드리겠습니다. 데이터를 수집하여 하둡에 분산 저장한다. 몽고 DB도 하둡같은 기술을 사용하여 분산저장으로 구현한다. FLUME은 txt 같은 로그파일을 수집할 때 많이 사용한다. Sqoop은 정형데이터를 수집할 때 많이 사용한다. 리눅스 설정 가상머신 4개를 만들어 하둡 분산환경 시스템을 구축하자. HDFS :Hadoop Distributed file system Web Server : Tomcat, Nginx : txt 파일로 로그를 관리함 → Agent의 설정으로 5분에 한 번씩 하둡에 저장하는 등의 방식으로 설정 가능. - Web Server 대신에 Linux System(다중사용자용 로그발생관리), FTP 등이 들어가기서 해당 장소에..
