Warning: Your browser is not fully supported. We strongly recommend using Chrome or Firefox.
빅데이터 프레임워크
MA_CUK
대학
학번
이메일
학점인정 수강신청을 위한 대학, 학번, 이메일의 정보 활용에 동의합니다.
강좌 소개
수업내용/목표
[수업내용]
날이 갈수록 데이터의 규모가 커지면서 빅데이터 처리의 방법도 다양해지고 있다.
대용량의 데이터를 처리하기 위해서는 규모가 큰 컴퓨팅 리소스를 다루는 기술이 수반되어야 한다.
본 과목에서는 규모가 큰 컴퓨팅 리소스를 다루는 기술을 기반으로, 빅데이터를
수집,저장,처리,시각화하기위해필요한분산처리기술을 배우고, 그 기술에 기반이 되는 오픈소스 프레임워크들을
실습해본다.
[학습목표]
1. 빅데이터 수집, 저장, 처리, 분석, 시각화의 프레임워크를 활용할 수 있다.
2. 빅데이터 처리 용도로 가장 많이 사용되고 있는 하둡과 맵리듀스의 원리를 이해할 수 있다.
3. 실시간 처리 및 배치 처리에 관해 이해할 수 있다.
[연계과목]
머신러닝 빅데이터 분석
홍보/예시 영상
강좌 운영 계획
[강의계획서]
1주차
빅데이터 처리 기술의 개요
빅데이터 처리의 개념과 프레임워크를 통한 빅데이터 처리 방법을 이해 할 수 있다.
l1차시
: 빅데이터 처리 개요
l2차시
: 빅데이터 프레임워크 개념
l3차시
: 빅데이터 프레임워크 활용 분야
2주차
빅데이터 기반 기술 - OS 및 가상화
기술
빅데이터 처리의 기반 기술이 되는 OS 및 가상화 기술의 원리를 이해하고
도커 기반의 실습환경을 만들 수 있다.
l1차시
: 분산 시스템과 리눅스 운영체제
l2차시
: 가상화 기술
l3차시
: 도커 기반의 실습환경 만들기
l
학습활동 : 퀴즈
3주차빅데이터
수집 기술
빅데이터 수집 기술에 필요한 기술적 조건을 이해하고, 데이터 수집을 수행할
수 있다.
l1차시
: 데이터 수집의 개요
l2차시
: Flume - 데이터 수집 프레임워크
l3차시
: Flume 실습
4주차빅데이터
저장 기술
빅데이터 저장 기술의 개념과 원리를 파악하고 분산파일 시스템(HDFS)을
활용할 수 있다
l1차시
: 분산 파일 시스템의 개념
l2차시
: HDFS의 개요
l3차시
: HDFS 실습
l학습활동 : 퀴즈
5주차
빅데이터 처리 기술 1
Hadoop의
기본 개념과 특징을 이해하고, Mapreduce 프로그래밍을 수행할 수
있다.
l1차시
: Hadoop 개요
l2차시
: MapReduce 개념
l3차시
: Hadoop 실습
6주차
빅데이터 처리 기술 2
인메모리 기반의 데이터 처리 기술을 이해하고, Spark를 활용한 데이터
처리를 수행할 수 있다.