-
멀티모달 인공지능의 이해와 학습 진행중 이수증
-
멀티모달 인공지능의 이해와 학습
참여기관 목록
강좌소개
- 이 강좌는 멀티모달 AI에 대한 포괄적인 개요를 제공하며, 데이터 표현, 정렬, 융합의 기본 개념을 다루고, 현대적인 사전 학습 전략과 멀티모달 대규모 언어 모델(M-LLMs) 및 파운데이션 모델의 아키텍처, 훈련, 응용으로 나아갑니다.
- 왜
「멀티모달
인공지능 이해와 학습」을
수강해야하는가?
우리가 마주하는 현실 세계는 텍스트, 이미지, 소리 등 단편적인 정보의 합이 아닌, 복잡하게 상호 연결된 다양한 정보의 총체입니다. 인공지능이 이 세계를 인간처럼 깊이 있게 이해하고 소통하기 위해서는, 이질적인 데이터들을 통합적으로 바라보는 새로운 시각이 반드시 필요합니다. 이 강좌는 바로 그 핵심 질문, 즉 'AI는 어떻게 여러 감각을 동시에 이해할 수 있는가?'에서 출발합니다. 본 강좌는 서로 다른 데이터를 어떻게 '표현(Representation)'하고 , '정렬(Alignment)'하며 , '융합(Fusion)'할 것인지에 대한 근본적인 개념을 다룹니다. 나아가 현시대 AI의 정점인 '멀티모달 대규모 언어 모델(M-LLMs) 및 파운데이션 모델'의 아키텍처와 훈련, 응용으로 나아가는 지적 탐구의 기회를 제공하는데 그 의의가 있습니다.
- 「멀티모달
인공지능 이해와 학습」의
목표는 무엇인가?
본 강좌의 목표는 멀티모달 인공지능이라는 방대한 분야에 대한 포괄적인 개요를 제공하는 것입니다.수강생은 '멀티모달 머신러닝의 정의, 핵심 기술적 과제, 역사적 발전'과 같은 기본 개념을 이해하고 , '데이터 표현, 정렬, 융합'이라는 세 가지 핵심 기둥을 학습합니다. 또한 이미지(CNN)와 텍스트(RNN) 등 개별 모달리티를 처리하는 기본 아키텍처의 원리를 파악합니다. 이러한 탄탄한 기초를 배운 후에 '현대적인 사전 학습 전략'을 배우고, 궁극적으로 'M-LLMs 및 파운데이션 모델'의 작동 원리와 응용까지 체계적으로 나아가는 것이 본 강좌의 최종 목표입니다.
학습목표
- 멀티모달 인공지능의 핵심 개념과 작동 원리를 이해하고, 다양한 모달리티(텍스트, 이미지, 오디오, 비디오 등)를 융합하는 모델의 설계와 구현에 대한 통찰을 제공합니다.
- 멀티모달 아키텍쳐, Multimodal Pretraining, Cross-modal Alignment, Contrastive Learning 등 최신 기술을 학습하고, 이를 실제 응용 문제에 적용하는 방법을 익힙니다.
- 학습자가 멀티모달 인공지능 분야의 최신 연구 동향과 산업적 흐름을 이해하고, 이를 기반으로 창의적 문제 해결과 연구, 산업적 기여를 도모할 수 있는 기회를 제공합니다.
강좌 운영일정
- 수강신청기간 : ~2026.12.31.
- 강좌운영기간 : ~2026.12.31.
이수 및 평가기준
- 이수기준 : 60%의 이수기준은 블룸의 교육목표 분류에서 “이해”와 “적용” 단계 해당한다고 판단하며 이는 학습자가 개념을 이해하고 기본적으로 적용할 수 있는 수준에 판단됨
- 평가기준 : 총점(100%) = 퀴즈(25%) + 토론(25%) + 기말고사(50%)
수업계획서
주차 | 주차명(주제) | 차시 | 차시명(학습내용) | 평가방법 |
1 | 멀티모달 인공지능 소개 | 1-1 | 멀티모달 인공지능이란 무엇인가? | 퀴즈(1) |
멀티모달 인공지능의 정의, 핵심 개념, 주요 용어들을 소개하고 단일모달 AI와의 차이를 이해한다. | ||||
1-2 | 멀티모달 학습의 필요성과 응용 사례 | 퀴즈(2) | ||
멀티모달 학습이 필요한 이유를 설명하고, 실제로 사용되는 응용 분야(예: 자율주행, 챗봇, 의료 AI 등)를 분석한다. | ||||
1-3 | 멀티모달 AI 기술의 발전 흐름 | 퀴즈(3) | ||
멀티모달 AI의 발전 역사와 기술 흐름을 정리하고, 현재 주목받는 연구 분야와 산업 동향을 탐구한다. | ||||
2 | 멀티모달 데이터 표현 | 2-1 | 각 모달리티의 데이터 특성과 구조 | 퀴즈(1) |
텍스트, 이미지, 오디오, 비디오 등 주요 모달리티의 데이터 특성과 구조적 차이점을 분석한다. | ||||
2-2 | 모달리티별 표현 방법: 임베딩 기초 | 퀴즈(2) | ||
각 모달리티를 벡터 공간으로 표현하는 기본 임베딩 기법(e.g., Word2Vec, CNN, spectrogram 등)을 학습한다. | ||||
2-3 | 멀티모달 임베딩의 개념과 활용 | 퀴즈(3) | ||
여러 모달리티를 공통 표현 공간에 매핑하는 멀티모달 임베딩의 목적, 방법론, 활용 사례를 살펴본다. | ||||
3 | 모달리티 간 정렬 방법론 | 3-1 | 모달리티 정렬의 개념과 Late/Early Fusion | 퀴즈(1) |
Early fusion, late fusion, hybrid fusion의 개념을 이해하고 각각의 장단점을 비교한다. | ||||
3-2 | Cross-modal Attention과 정렬 기법 | 퀴즈(2) | ||
텍스트-이미지, 텍스트-오디오 등에서 활용되는 attention 기반의 정렬 방법(cross-attention 등)을 학습한다. | ||||
3-3 | 유사도 학습과 Feature Alignment | 퀴즈(3) 토론(1) | ||
contrastive learning, metric learning을 활용한 의미 기반 feature 정렬 기법을 학습하고 실제 모델 사례를 분석한다. | ||||
4 | 멀티모달 융합 방법론 | 4-1 | 기초 융합 전략 이해 | 퀴즈(1) |
Concatenation, averaging, attention 등 기본 융합 기법의 구조와 작동 원리를 학습한다. | ||||
4-2 | 고급 융합 기법 | 퀴즈(2) | ||
Co-attention, bilinear pooling, tensor fusion 등 고급 융합 모델의 설계와 원리를 이해한다. | ||||
4-3 | 융합 기법 비교 및 응용 분석 | 퀴즈(3) | ||
다양한 융합 기법들의 장단점을 비교하고, 실제 응용 사례에 적합한 전략을 도출한다. | ||||
5 | 멀티모달 사전학습 | 5-1 | 멀티모달 사전학습 개요 | 퀴즈(1) |
멀티모달 pretraining의 필요성과 전이학습 관점에서의 의의를 학습한다. | ||||
5-2 | Contrastive learning 기반 사전학습 | 퀴즈(2) | ||
CLIP, ALIGN 등의 contrastive 학습 모델 구조와 학습 방식을 분석한다. | ||||
5-3 | Masked/Matching 기반 사전학습 | 퀴즈(3) | ||
VilBERT, LXMERT 등의 masked modeling, matching task 기반 전략을 학습한다. | ||||
6 | 멀티모달 LLM 및 Foundation Models | 6-1 | 멀티모달 LLM의 구조 | 퀴즈(1) |
Flamingo, GPT-4V 등 멀티모달 대형 언어 모델의 입력 처리 구조와 특징을 학습한다. | ||||
6-2 | Pretraining과 Instruction Tuning | 퀴즈(2) | ||
Instruction tuning과 aligned fine-tuning 기법을 사례 기반으로 학습한다. | ||||
6-3 | Foundation Model의 확장 방향 | 퀴즈(3) 토론(1) | ||
멀티모달 Foundation Model의 범용성과 미래 활용 가능성을 분석한다. | ||||
7 | 기말고사 | 7 | 기말고사 시험 실시 |
|
강좌운영진
-
교수자 : 김준영중앙대학교 AI학과 김준영 교수는 KAIST 전기및전자공학부에서 학사, 석사, 박사 학위를 취득 후, Microsoft Research Asia의 NLP group 및 KAIST 정보전자연구소에서 박사후 과정을 거쳐 중앙대학교 AI학과에서 멀티모달 인공지능 연구를 활발히 수행중입니다. -
교수팀 운영 TA : 황진권Email: wlsrnjs905@cau.ac.kr현 소속: 중앙대학교 일반대학원 AI학과
-
교수팀 운영 TA : 우현동Email: hyeondong@cau.ac.kr현 소속: 중앙대학교 일반대학원 AI학과
추천강좌
-
데이터의 힘 : 뇌를 닮은 알고리즘과 딥러닝 탐험 진행중 이수증데이터의 힘 : 뇌를 닮은 알고리즘과 딥러닝 탐험
백재순
명지전문대학
2026.09.14 ~ 2026.12.31딥러닝 AI 알고리즘 데이터 명지전문대학-
운영기관
운영기관 명지전문대학
-
주차
주차 15 주
-
학습인정시간
학습인정시간 (총 동영상시간) 15시간 00분 (09시간 09분)
-
운영기관
-
AI와의 첫 만남 : 생성형 인공지능으로 보는 미래 진행중 이수증AI와의 첫 만남 : 생성형 인공지능으로 보는 미래
백재순
명지전문대학
2026.09.14 ~ 2026.12.31딥러닝 AI 알고리즘 데이터 명지전문대학-
운영기관
운영기관 명지전문대학
-
주차
주차 15 주
-
학습인정시간
학습인정시간 (총 동영상시간) 15시간 00분 (09시간 53분)
-
운영기관
-
인공지능과문제해결 진행중 이수증인공지능과문제해결
정인숙
우석대학교
2026.09.14 ~ 2026.12.18AI 인공지능 교양 우석대 우석대학교 컴퓨터 공학-
운영기관
운영기관 우석대학교
-
주차
주차 15 주
-
학습인정시간
학습인정시간 (총 동영상시간) 39시간 00분 (20시간 41분)
-
운영기관
-
쉽게 배우는 소프트웨어 공학 진행중 이수증쉽게 배우는 소프트웨어 공학
김치수
국립공주대학교
2026.09.01 ~ 2026.12.20-
운영기관
운영기관 국립공주대학교
-
주차
주차 15 주
-
학습인정시간
학습인정시간 (총 동영상시간) 19시간 12분 (17시간 02분)
-
운영기관
-
[실습] 공간정보 분석 진행중 이수증[실습] 공간정보 분석
서동조
서울디지털대학교
2026.09.02 ~ 2027.02.21공간정보 공간_정보 공간 공간정보융합기능사-
운영기관
운영기관 서울디지털대학교
-
주차
주차 8 주
-
학습인정시간
학습인정시간 (총 동영상시간) 23시간 34분 (08시간 17분)
-
운영기관
-
[실습] 공간정보의 처리·가공 진행중 이수증[실습] 공간정보의 처리·가공
서동조
서울디지털대학교
2026.09.02 ~ 2027.02.21공간정보 공간 공간_정보 공간정보융합기능사 토목공학 토목공학과-
운영기관
운영기관 서울디지털대학교
-
주차
주차 7 주
-
학습인정시간
학습인정시간 (총 동영상시간) 19시간 46분 (07시간 17분)
-
운영기관
-
[실습] 공간정보 자료 수집 및 편집 진행중 이수증[실습] 공간정보 자료 수집 및 편집
김은경
서울디지털대학교
2026.09.02 ~ 2027.02.21공간정보 공간 공간_정보 공간정보융합기능사 토목공학 토목공학과-
운영기관
운영기관 서울디지털대학교
-
주차
주차 7 주
-
학습인정시간
학습인정시간 (총 동영상시간) 20시간 06분 (06시간 24분)
-
운영기관
-
[실습] 공간정보 오픈소스 소프트웨어 기초 진행중 이수증[실습] 공간정보 오픈소스 소프트웨어 기초
김은경
서울디지털대학교
2026.09.02 ~ 2027.02.21공간정보 공간 공간_정보 공간정보융합기능사 토목공학 토목공학과-
운영기관
운영기관 서울디지털대학교
-
주차
주차 7 주
-
학습인정시간
학습인정시간 (총 동영상시간) 20시간 02분 (06시간 43분)
-
운영기관
-
공간정보 분석 진행중 이수증공간정보 분석
서동조
서울디지털대학교
2026.09.02 ~ 2027.02.21공간정보 공간_정보 공간 공간정보융합기능사-
운영기관
운영기관 서울디지털대학교
-
주차
주차 8 주
-
학습인정시간
학습인정시간 (총 동영상시간) 23시간 34분 (08시간 05분)
-
운영기관
-
공간정보의 처리·가공 진행중 이수증공간정보의 처리·가공
서동조
서울디지털대학교
2026.09.02 ~ 2027.02.21공간정보 공간_정보 공간 공간정보융합기능사-
운영기관
운영기관 서울디지털대학교
-
주차
주차 7 주
-
학습인정시간
학습인정시간 (총 동영상시간) 20시간 38분 (07시간 18분)
-
운영기관
같은기관강좌
-
SoC구조및설계 진행중 이수증SoC구조및설계
이우주
중앙대학교
2026.09.01 ~ 2026.11.01-
운영기관
운영기관 중앙대학교
-
주차
주차 15주
-
학습인정시간
학습인정시간 (총 동영상시간) 15시간 00분 (13시간 00분)
-
운영기관
-
시스템반도체입문 진행중 이수증시스템반도체입문
이우주
중앙대학교
2026.09.01 ~ 2026.11.01-
운영기관
운영기관 중앙대학교
-
주차
주차 15주
-
학습인정시간
학습인정시간 (총 동영상시간) 16시간 00분 (12시간 20분)
-
운영기관
-
반도체 제대로 이해하기 진행중 이수증반도체 제대로 이해하기
권혁인
중앙대학교
2026.09.01 ~ 2026.11.01반도체 기초반도체 차세대반도체-
운영기관
운영기관 중앙대학교
-
주차
주차 15주
-
학습인정시간
학습인정시간 (총 동영상시간) 8시간 30분 (06시간 03분)
-
운영기관
-
기초미적분 진행중 이수증기초미적분
남궁정일
중앙대학교
2026.09.01 ~ 2027.01.31-
운영기관
운영기관 중앙대학교
-
주차
주차 16주
-
학습인정시간
학습인정시간 (총 동영상시간) 11시간 40분 (16시간 10분)
-
운영기관
-
기초화학 진행중 이수증기초화학
홍종인
중앙대학교
2026.09.01 ~ 2027.01.31-
운영기관
운영기관 중앙대학교
-
주차
주차 16주
-
학습인정시간
학습인정시간 (총 동영상시간) 11시간 40분 (12시간 39분)
-
운영기관
-
첨단소재공정공업수학 진행중 이수증첨단소재공정공업수학
조성욱
중앙대학교
2026.09.01 ~ 2027.01.31-
운영기관
운영기관 중앙대학교
-
주차
주차 16주
-
학습인정시간
학습인정시간 (총 동영상시간) 17시간 30분 (21시간 54분)
-
운영기관
-
생활속의첨단소재나노적층공정기술 진행중 이수증생활속의첨단소재나노적층공정기술
박용재 외 2 명
중앙대학교
2026.09.01 ~ 2027.01.31-
운영기관
운영기관 중앙대학교
-
주차
주차 15주
-
학습인정시간
학습인정시간 (총 동영상시간) 16시간 15분 (19시간 06분)
-
운영기관
-
첨단소재공정일반물리 진행중 이수증첨단소재공정일반물리
정의국 외 2 명
중앙대학교
2026.09.01 ~ 2027.01.31-
운영기관
운영기관 중앙대학교
-
주차
주차 17주
-
학습인정시간
학습인정시간 (총 동영상시간) 18시간 45분 (26시간 21분)
-
운영기관
-
첨단소재공정일반화학 진행중 이수증첨단소재공정일반화학
안솔 외 1 명
중앙대학교
2026.09.01 ~ 2027.01.31-
운영기관
운영기관 중앙대학교
-
주차
주차 17주
-
학습인정시간
학습인정시간 (총 동영상시간) 18시간 45분 (20시간 26분)
-
운영기관
-
기초통계및머신러닝 진행중 이수증기초통계및머신러닝
김석민 외 2 명
중앙대학교
2026.09.01 ~ 2027.01.31-
운영기관
운영기관 중앙대학교
-
주차
주차 16주
-
학습인정시간
학습인정시간 (총 동영상시간) 17시간 30분 (19시간 41분)
-
운영기관