0306 빅데이터

빅데이터 자료
ai딥러닝 개념을 배우는것

데이터적재 (하드디스크에 데이터를 쌓는것) ,수집 , 탐색(찾는것)

빅데이터 -서버들이있는데
1번 대빵 서버를 master server라고 함 (c드라이브 역할느낌)
2,3.... 서버들은 ( d,e 등등등)
40TB+40TB+40TB

네이버가 빅데이터 강서구lg데이터센터

1. 하루동안 모은데이터를 한번에 보내는 데이터 (하루1번)

2. 실시간으로 데이터를 보내는 형태

CM서버&에이전트
하둡 (c,d드라이버 관리하는느낌)    Hbase = 데이터베이스 ,    PostgreSQL

JAVA path를 통해 자바 버전우선순위를 바꿀수있다. ( 자바는 여러개 사용할수있기때문 )
as


47p 환경설정

hdfs하드역할

vi(콘솔 편집기) X  요즘은 안씀 => nano 를 쓴다. putty는 오라클vm으로 원격접속한것

http://192.168.56.101:7180/cmf/login
http://server01.hadoop.com:7180/cmf/login

2장 도메인서버

Zookeper 여러프로그램을 동기화시켜주는느낌

# cd /
# cd /home/bigdata/
# cd ..

수집 카프카 풀럼
적재 하둡Hbase,레디스
처리/탐색
분석/응용 레이어

Page37

# cd /    내컴퓨터위치임 (리눅스는 c,d드라이버가없음) cd /home/ 은 사용자폴더랑똑같음
putty 에서 관리자는 # 사용자는 $  표기

# hdfs dfs -put Sample.txt /tmp
 (빅데이터를 보내겠다.) put(업로드를) 하겠다 /tmp에 (리눅스의 초기저장공간 /tmp /user로 나뉘는것중 하나)  -PAGE97
지정파일 이름바꾸기 hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt
가져오기 hdfs dfs -get /tmp/Sample2.txt
삭제하기 hdfs dfs -rm /tmp/Sample2.txt

mkdir= make a directory

주키퍼 종료 = control + z