K-MOOC

주차

주차명(주제)

차시

차시명(학습내용)

평가방법

1

멀티모달 인공지능 소개

1-1

멀티모달 인공지능이란 무엇인가?

퀴즈(1)

멀티모달 인공지능의 정의, 핵심 개념, 주요 용어들을 소개하고 단일모달 AI와의 차이를 이해한다.

1-2

멀티모달 학습의 필요성과 응용 사례

퀴즈(2)

멀티모달 학습이 필요한 이유를 설명하고, 실제로 사용되는 응용 분야(예: 자율주행, 챗봇, 의료 AI 등)를 분석한다.

1-3

멀티모달 AI 기술의 발전 흐름

퀴즈(3)

멀티모달 AI의 발전 역사와 기술 흐름을 정리하고, 현재 주목받는 연구 분야와 산업 동향을 탐구한다.

2

멀티모달 데이터 표현

2-1

각 모달리티의 데이터 특성과 구조

퀴즈(1)

텍스트, 이미지, 오디오, 비디오 등 주요 모달리티의 데이터 특성과 구조적 차이점을 분석한다.

2-2

모달리티별 표현 방법: 임베딩 기초

퀴즈(2)

각 모달리티를 벡터 공간으로 표현하는 기본 임베딩 기법(e.g., Word2Vec, CNN, spectrogram 등)을 학습한다.

2-3

멀티모달 임베딩의 개념과 활용

퀴즈(3)

여러 모달리티를 공통 표현 공간에 매핑하는 멀티모달 임베딩의 목적, 방법론, 활용 사례를 살펴본다.

3

모달리티 간 정렬 방법론

3-1

모달리티 정렬의 개념과 Late/Early Fusion

퀴즈(1)

Early fusion, late fusion, hybrid fusion의 개념을 이해하고 각각의 장단점을 비교한다.

3-2

Cross-modal Attention과 정렬 기법

퀴즈(2)

텍스트-이미지, 텍스트-오디오 등에서 활용되는 attention 기반의 정렬 방법(cross-attention 등)을 학습한다.

3-3

유사도 학습과 Feature Alignment

퀴즈(3)

토론(1)

contrastive learning, metric learning을 활용한 의미 기반 feature 정렬 기법을 학습하고 실제 모델 사례를 분석한다.

4

멀티모달 융합 방법론

4-1

기초 융합 전략 이해

퀴즈(1)

Concatenation, averaging, attention 등 기본 융합 기법의 구조와 작동 원리를 학습한다.

4-2

고급 융합 기법

퀴즈(2)

Co-attention, bilinear pooling, tensor fusion 등 고급 융합 모델의 설계와 원리를 이해한다.

4-3

융합 기법 비교 및 응용 분석

퀴즈(3)

다양한 융합 기법들의 장단점을 비교하고, 실제 응용 사례에 적합한 전략을 도출한다.

5

멀티모달 사전학습

5-1

멀티모달 사전학습 개요

퀴즈(1)

멀티모달 pretraining의 필요성과 전이학습 관점에서의 의의를 학습한다.

5-2

Contrastive learning 기반 사전학습

퀴즈(2)

CLIP, ALIGN 등의 contrastive 학습 모델 구조와 학습 방식을 분석한다.

5-3

Masked/Matching 기반 사전학습

퀴즈(3)

VilBERT, LXMERT 등의 masked modeling, matching task 기반 전략을 학습한다.

6

멀티모달 LLM 및 Foundation Models

6-1

멀티모달 LLM의 구조

퀴즈(1)

Flamingo, GPT-4V 등 멀티모달 대형 언어 모델의 입력 처리 구조와 특징을 학습한다.

6-2

Pretraining과 Instruction Tuning

퀴즈(2)

Instruction tuning과 aligned fine-tuning 기법을 사례 기반으로 학습한다.

6-3

Foundation Model의 확장 방향

퀴즈(3)

토론(1)

멀티모달 Foundation Model의 범용성과 미래 활용 가능성을 분석한다.

7

기말고사

7

기말고사 시험 실시