빅데이터관련 하여 하둡과정에 대해 정리해보겠습니다.
하둡과정의 학습목표로는
→ 하둡의 분산파일시스템을 이해하는 것
→ 에코시스템을 이해하여 협업에 적용점을 찾아 활용할 수 있는 것
→ 장/단점을 파악하여, 기존 RDBMS 와의 시너지 효과를 찾아 낼 수 있는 것
빅데이터 하둡과정에 관한 커리큘럼 정리
※ 하둡개요 :
- 빅데이터정의, 시장동향 파악, 빅데이터 하둡의 필요성
- 가성서버 및 하둡을 활용한 클러스터 구성
- MapREDuce 개발환경 및 샘플 앱 실행
- HDFS 개욥 및 아키텍처
- HDFS 명령어
- 매퍼 및 리듀서 개념 / 구현
- 맵리듀스 프로그램의 원리 파악
- 맵리듀스 프로그램에 관한 요소 개발
- 하둡 아케텍처, 요소, 구성 및 failover 테스트 구성
- Flum 개요 및 수집환경 구성
- 클러스터 환경에서의 데이터 수집
- Pig 프로그램 전처리 구조 이해
- SQL on Hadoop 의 이해 및 암기
- SQL in Hadoop 의 Hive 아키텍처
- SQL ob Hadoop : Hive 사용
- 부가 에코시스템 활용 : Thrift 를 활용한 서버 개발 프로그래밍
- 이기종간 데이터 전송을 활용
- NoSQL 개념, 구조, 특징,
- Hbase 개요, 구조
- Hbase - Hadoop 연동