Skip to main content
빅데이터 프레임워크 이미지

빅데이터 프레임워크




강좌 소개

수업내용/목표

[수업내용]
날이 갈수록 데이터의 규모가 커지면서 빅데이터 처리의 방법도 다양해지고 있다.
대용량의 데이터를 처리하기 위해서는 규모가 큰 컴퓨팅 리소스를 다루는 기술이 수반되어야 한다.
본 과목에서는 규모가 큰 컴퓨팅 리소스를 다루는 기술을 기반으로, 빅데이터를 수집,저장,처리,시각화하기위해필요한분산처리기술을 배우고, 그 기술에 기반이 되는 오픈소스 프레임워크들을 실습해본다.

[학습목표]
1. 빅데이터 수집, 저장, 처리, 분석, 시각화의 프레임워크를 활용할 수 있다.
2. 빅데이터 처리 용도로 가장 많이 사용되고 있는 하둡과 맵리듀스의 원리를 이해할 수 있다.
3. 실시간 처리 및 배치 처리에 관해 이해할 수 있다.

[연계과목]
머신러닝 빅데이터 분석

홍보/예시 영상

강좌 운영 계획

[강의계획서]

1주차 빅데이터 처리 기술의 개요

빅데이터 처리의 개념과 프레임워크를 통한 빅데이터 처리 방법을 이해 할 수 있다.

l  1차시 : 빅데이터 처리 개요

l  2차시 : 빅데이터 프레임워크 개념

l  3차시 : 빅데이터 프레임워크 활용 분야

 

2주차 빅데이터 기반 기술  - OS 및 가상화 기술

빅데이터 처리의 기반 기술이 되는 OS 및 가상화 기술의 원리를 이해하고 도커 기반의 실습환경을 만들 수 있다.

l  1차시 : 분산 시스템과 리눅스 운영체제

l  2차시 : 가상화 기술

l  3차시 : 도커 기반의 실습환경 만들기

l  학습활동 : 퀴즈

 

3주차빅데이터 수집 기술

빅데이터 수집 기술에 필요한 기술적 조건을 이해하고, 데이터 수집을 수행할 수 있다.

l  1차시 : 데이터 수집의 개요

l  2차시 : Flume - 데이터 수집 프레임워크

l  3차시 : Flume 실습

 

4주차빅데이터 저장 기술

빅데이터 저장 기술의 개념과 원리를 파악하고 분산파일 시스템(HDFS)을 활용할 수 있다

l  1차시 : 분산 파일 시스템의 개념

l  2차시 : HDFS의 개요

l  3차시 : HDFS 실습

l  학습활동 : 퀴즈

 

5주차 빅데이터 처리 기술 1

Hadoop의 기본 개념과 특징을 이해하고, Mapreduce 프로그래밍을 수행할 수 있다.

l  1차시 : Hadoop 개요

l  2차시 : MapReduce 개념

l  3차시 : Hadoop 실습

 

6주차 빅데이터 처리 기술 2

인메모리 기반의 데이터 처리 기술을 이해하고, Spark를 활용한 데이터 처리를 수행할 수 있다.

l  1차시 : Spark 개요

l  2차시 : RDD 개념

l  3차시 : Spark 실습

l  학습활동 : 퀴즈

 

7주차 빅데이터 처리 기술 3 (실시간 처리)

실시간 데이터의 개념을 이해하고 실시간 데이터 처리 기법을 활용할 수 있다.

l  1차시 : 실시간 처리 기술의 개념

l  2차시 : Kafka - 실시간 처리를 위한 프레임워크

l  3차시 : Kafka 실습

l  학습활동 : 과제

 

8주차 총괄평가(시험)

강좌운영팀 소개

교수자

김윤기 professor
김윤기 교수
∙소속 : 고려사이버대학교 미래학부 빅데이터 전공 교수
∙학력 : 고려대학교 컴퓨터공학 박사
∙주요경력 :
- 현) 고려사이버대학교 전임교수
- 전) SK 주식회사 C&C 빅데이터·AI 플랫폼 기술 연구 개발
∙E-mail : ykkim77@cuk.edu

강좌지원팀

이지연 튜터
이지연 튜터
∙소속 : 고려사이버대학교 매치업 과정 튜터
∙학력 : 성균관대학교 통계학 석사과정
∙E-mail: jyl22@g.skku.edu

강좌 수강 정보

이수/평가정보

[이수/평가정보]

l  퀴즈 : 20%

l  과제 : 30%

l  총괄평가(시험) : 50%

60점 충족 시 이수증 발부

강좌 수준 및 선수요건

- 특별한 선수 요건 없음

교재 및 참고문헌

[교재]
강의자료를 PDF파일로 제공합니다.

자주 묻는 질문

관련 강좌

현재 강좌와 관련있는 강좌를 찾을 수 없습니다.
  1. Subject

    Engineering
    (null)
  2. 강좌 내용의 어려운 수준을 의미합니다. 교양, 전공기초, 전공심화 순으로 난이도가 증가합니다.

    Course difficulty

    advanced
  3. 강좌를 개발하고 운영하는 기관입니다. 컨소시엄으로 운영 시, 대표기관의 명칭이 나타납니다

    Institution

    CYBER UNIVERSITY OF KOREA(matchup)
  4. 운영 기관의 전화번호 입니다.

    Phone

    -
  5. 강좌의 구성 주차 수를 의미합니다. (강좌를 충실히 학습하기 위해 필요한 주당 학습시간을 의미합니다.)

    Course Week
    (Estimated Effort)

    08week
    (주당 01시간 50분)
  6. 본 강좌 이수자에게 인정되는 학습시간으로 해당 강좌의 동영상, 과제, 시험, 퀴즈, 토론 등의 시간을 포함합니다. (강의 내용과 관련된 동영상 재생 시간의 총 합계입니다.)

    Accredited learning time
    (Video Duration)

    14시간 36분
    (09시간 36분)
  7. 수강신청이 가능한 기간으로 해당 기간 내에만 수강신청이 가능합니다.

    Registration Period

    2023.04.17 ~ 2023.06.18
  8. 강좌가 운영되고 교수지원이 이루어지는 기간입니다. 이수증은 강좌운영기간이 종료된 이후에 발급받을 수 있습니다.

    Classes Period

    2023.05.08 ~ 2023.07.02
  9. ※ 만족도 응답 표본 수 미달 등 일정 기준이 충족되지 않은 경우 별점이 공개되지 않을 수 있습니다.
Enroll