빅데이터 관리/리눅스

빅데이터 관리/리눅스

Linux Crontab을 사용한 Job Scheduling

Crontab이란 유닉스, 리눅스, 맥 OS 등의 운영 체제에서 사용되는 작업 예약 프로그램입니다. 해당 기능을 사용하여 일정 시간마다 실행될 커맨드나 스크립트를 정의할 수 있습니다. 저는 Crontab을 AWS EC2에 등록한 백엔드 서버에서 저장한 로그기록을 매일 AWS S3에 저장하거나 매일 업데이트 된 ML 모델을 AWS S3로부터 다운로드하는데 해당 기능을 사용하였습니다. 사용법 -e 옵션 : edit user's crontab -l 옵션 : list user's crontab -r 옵션 : delete user's crontab -i prompt before deleting user's crontab -s selinux context * * * * * 실행명령어 각 별표별로 min(0~59),..

빅데이터 관리/리눅스

리눅스 기초 - 2

문서 편집 리눅스의 편집기 종류 GUI 환경인 그놈에서 제공하는 gedit 유닉스에서부터 사용했던 행 편집기(라인 편집기)와 화면 편집기 sudo gedit test, txt 현재 디렉터리 아래에 gui 에디터 (메모장) 열기 GUI를 제공하지 않는 터미널 환경에서는 사용 불가능 하다 - 이럴 때 사용되는 편집기가 vi이다. 모드형과 비모드형 편집기 모드형 • 입력 모드와 명령 모드가 구분 • 입력 모드 : 텍스트를 입력할 수 있는 모드 • 명령 모드 : 텍스트를 수정하고, 삭제하고, 복사와 붙이기 등 편집을 하는 모드 • 같은 글자라도 입력 모드에서는 텍스트로 처리하여 입력되고, 명령 모드에서는 텍스트로 입력되는 것이 아니라 편집 명령으로 사용 • vi는 모드형 편집기 비모드형 • 입력 모드와 명령 모..

빅데이터 관리/리눅스

리눅스 기초

특징 공개 소프트웨어이며 무료로 사용할 수 있음 유닉스와의 완벽한 호환성을 유지 서버용 운영체제로 많이 사용 편리한 GUI 환경을 제공 구조 커널 리눅스의 핵심 프로세스/메모리/파일시스템/장치관리 컴퓨터의 모든 자원 초기화 및 제어 기능 셀 사용자 인터페이스 명령해석 프로그래밍기능 배시 셸을 기본으로 사용 응용 프로그램 각종 프로그래밍 개발 도구 문서 편집 도구 네트워크 관련 도구 등 리눅스 명령 사용법 노란색 동그라미 쳐진 검색 버튼을 클릭해서 terminal검색 명령어들은 사실 각 기능별로 c로 짜여진 함수 같은 개념이라 생각하면 된다, 리눅스 명령어는 쉘 기반이기 때문에 terminal에서 입력해주어야 한다. pwd : 현재 위치 상위 디렉터리로 이동하기 : cd.. 디렉터리 내 폴더, 파일 보기 ..

빅데이터 관리/리눅스

윈도우 리눅스 설치

빅데이터 처리를 위해서 하둡이나 pig 등등 우리가 필요로 하는 환경이 4개이다. 이를 해결하기 위해 완전 분산으로 4개의 리눅스 환경을 준비하는 방법이 있는데, 너무 오랜 시간이 걸리기 때문에 연습용으로는 추천하지 않는다.(실제로는 이걸 사용) 의사 분산 모드는 물리적으로는 한대이지만 마치 여러 대인 것처럼 만드는 방법으로 연습용으로 사용하기 적절하다. 의사 분산 모드로 환경을 만들기 위해서 위 이미지 파일을 기준으로 실습을 진행하는 글을 정리하겠습니다. 관련 파일을 저도 받은 자료다 보니 공유할 수 없는 글임을 미리 알립니다. 윈도우 리눅스 설치 VirtualBox 설치 경로 : www.virtualbox.org/ 다운로드하여준 후 exe 파일을 실행시켜 기본설정대로 next를 눌러 설치한다. 정상 ..

잘잔디
'빅데이터 관리/리눅스' 카테고리의 글 목록