Skip to main content
대용량 데이터 처리 이미지

대용량 데이터 처리




강좌 소개

수업내용/목표

[수업내용]
본 강의는 대용량 데이터 처리에 대한 기본적인 개념 및 절차에 대한 기본 이론 습득을 목표로 한다.
본 강의를 통해 실 환경 (개발 프로젝트)에 적용할 수 있는 능력을 확보를 목표로 한다.
또한, 대용량 데이터 처리 툴인 Hive에 대한 개념 및 처리 방법을 습득하여 실력을 향상 할 수 있도록 한다.

[학습목표]
1. 데이터 처리에 대한 기본적인 절차를 설명할 수 있다.
2. 대용량 데이터 처리에 대한 방안을 이해하고 프로젝트 진행 시 적용 할 수 있다.
3. Hive를 활용하여 대용량 데이터를 처리를 할 수는 개념 이해 및 개발을 할 수 있다.

[연계과목]
SQL 정형 데이터 분석

홍보/예시 영상

강좌 운영 계획

[강의계획서]

1주차 메타데이터와 데이터 표준화

데이터 처리를 하기 위해 사전에 정의 되어야 할 기본적인 사항에 대해 습득한다.

l  1차시 : 메타데이터 의미

l  2차시 : 데이터 표준화 정의

l  3차시 : 데이터 표준화 절차

 

2주차 ETL / CDC

데이터 처리 흐름에 대한 개념 및 솔루션에 대한 지식을 학습한다.

l  1차시 : ETL 개념

l  2차시 : CDC 개념

l  3차시 : 대용량 고객 데이터 통합 방안

l  학습활동 : 퀴즈

 

3주차대용량 데이터 Batch

대용량 데이터의 이행 및 처리를 위한 개념을 학습한다.

l  1차시 : 대용량 데이터 이행

l  2차시 : 대용량 데이터 처리 개념

l  3차시 : 빅데이터 아키텍쳐 개념

 

4주차데이터 품질

대용량 데이터를 처리하는 과정에서 발생되는 데이터의 품질에 대한 개념을 학습한다.

l  1차시 : 데이터 품질 개념

l  2차시 : 데이터 품질 관리 구성 요소 및 데이터 품질 관리 프로세스 1

l  3차시 : 데이터 품질 관리 프로세스 2

l  학습활동 : 퀴즈

 

5주차 Hive 처리 기술 1

대용량 데이터 처리를 지원하는 Hive에 대한 이해와 특성을 학습한다.

l  1차시 : 설치 및 환경구성

l  2차시 : Hive 명령 개념

l  3차시 : Hive CLI 인터페이스 개념

 

6주차 Hive 처리 기술 2

대용량 데이터 처리를 위한 데이터 유형과 데이터베이스 구성에 대한 개념을 학습한다.

l  1차시 : 데이터처리유형과 파일 포맷

l  2차시 : Hive 데이터베이스 구성

l  3차시 : Hive 데이터베이스 구성 실습

l  학습활동 : 퀴즈

 

7주차 Hive 처리 기술 3

Hive를 지원하는 함수등의 이해를 통해 Hive를 활용에 대해 학습한다.

l  1차시 : HiveQL데이터 처리

l  2차시 : HiveSQL Query

l  3차시 : Hive 함수 사용 실습

l  학습활동 : 과제

 

8주차 총괄평가(시험) 

강좌운영팀 소개

교수자

김현철 professor
김현철 교수
∙소속 : 데이터스트림즈 제품서비스본부 상무
∙학력 : 국민대학교 공학 석사
∙주요경력 :
- 현) POSCO 빅데이터 시스템 구축
- 전) 국회사무처 데이터 표준화 시스템 구축
- 전) 하나은행 (구 외환은행) 국내 은행권 최초 차세대 시스템 구축
∙E-mail : hckim@datastreams.co.kr

강좌지원팀

이지현 튜터
이지현 튜터
∙소속 : 고려사이버대학교 매치업 과정 튜터
∙학력 : 성균관대학교 통계학 석사과정
∙E-mail: annack5@naver.com

강좌 수강 정보

이수/평가정보

[이수/평가정보]

l  퀴즈 : 20%

l  과제 : 30%

l  총괄평가(시험) : 50%

60점 충족 시 이수증 발부

강좌 수준 및 선수요건

- 특별한 선수 요건 없음

교재 및 참고문헌

[교재]
강의자료를 PDF파일로 제공합니다.

자주 묻는 질문

 

 

관련 강좌

현재 강좌와 관련있는 강좌를 찾을 수 없습니다.
  1. Subject

    Engineering
    (null)
  2. 강좌 내용의 어려운 수준을 의미합니다. 교양, 전공기초, 전공심화 순으로 난이도가 증가합니다.

    Course difficulty

    advanced
  3. 강좌를 개발하고 운영하는 기관입니다. 컨소시엄으로 운영 시, 대표기관의 명칭이 나타납니다

    Institution

    CYBER UNIVERSITY OF KOREA(matchup)
  4. 운영 기관의 전화번호 입니다.

    Phone

    -
  5. 강좌의 구성 주차 수를 의미합니다. (강좌를 충실히 학습하기 위해 필요한 주당 학습시간을 의미합니다.)

    Course Week
    (Estimated Effort)

    08week
    (주당 01시간 50분)
  6. 본 강좌 이수자에게 인정되는 학습시간으로 해당 강좌의 동영상, 과제, 시험, 퀴즈, 토론 등의 시간을 포함합니다. (강의 내용과 관련된 동영상 재생 시간의 총 합계입니다.)

    Accredited learning time
    (Video Duration)

    14시간 40분
    (09시간 40분)
  7. 수강신청이 가능한 기간으로 해당 기간 내에만 수강신청이 가능합니다.

    Registration Period

    2023.04.17 ~ 2023.06.18
  8. 강좌가 운영되고 교수지원이 이루어지는 기간입니다. 이수증은 강좌운영기간이 종료된 이후에 발급받을 수 있습니다.

    Classes Period

    2023.05.08 ~ 2023.07.02
  9. ※ 만족도 응답 표본 수 미달 등 일정 기준이 충족되지 않은 경우 별점이 공개되지 않을 수 있습니다.
Enroll