교육신청
AI 모델 서빙 엔지니어
• 과정소개
LLM과 Diffusion 모델의 기본 개념과 추론 흐름을 이해하고, 공개 AI 모델을 직접 선택해 소규모 서빙 환경을 구성하며 API 기반 활용까지 실습해보는 과정입니다.
학습목표
LLM과 Diffusion 모델의 기본 개념과 추론 흐름을 이해하고, 공개 AI 모델을 선택하여 실행 환경을 구성하며 소규모 서빙 및 API 활용 방법을 익힐 수 있습니다.
세부 교육내용
01
생성 모델과 공개 AI 모델 이해
3시간
· LLM과 Diffusion 모델의 기본 개념과 발전 흐름 이해하기
· 공개 AI 모델의 개념과 특징 알아보기
· 모델 카드와 라이선스를 확인하는 방법 익히기
· 공개 AI 모델의 개념과 특징 알아보기
· 모델 카드와 라이선스를 확인하는 방법 익히기
02
핵심 용어와 E2E 추론 이해
3시간
· 서빙 환경에서 사용하는 주요 용어 이해하기
· LLM의 End-to-End 추론 흐름 알아보기
· Diffusion 모델의 추론 과정과 동작 방식 이해하기
· LLM의 End-to-End 추론 흐름 알아보기
· Diffusion 모델의 추론 과정과 동작 방식 이해하기
03
포맷·양자화와 모델 선택
2.5시간
· 모델 포맷과 양자화 개념 이해하기
· 실행 환경에 맞는 모델을 선택하는 방법 익히기
· 업무 시나리오에 맞춰 사용할 모델 선정하기
· 실행 환경에 맞는 모델을 선택하는 방법 익히기
· 업무 시나리오에 맞춰 사용할 모델 선정하기
04
자원 산정
1시간
· 모델 실행에 필요한 CPU·RAM·GPU·VRAM 확인하기
· 실습 환경과 모델 특성에 맞는 실행 자원 산정하기
· 실습 환경과 모델 특성에 맞는 실행 자원 산정하기
05
소규모 LLM 서빙
3.5시간
· Ollama를 활용해 LLM API 서빙하기
· LM Studio에서 모델을 선택하고 상세 설정하기
· 로딩 및 서빙 환경 구성하기
· Ollama와 LM Studio의 API 활용 방식 비교하기
· LM Studio에서 모델을 선택하고 상세 설정하기
· 로딩 및 서빙 환경 구성하기
· Ollama와 LM Studio의 API 활용 방식 비교하기
06
ComfyUI 워크플로와 API
2.5시간
· ComfyUI 워크플로 실행 방법 익히기
· ComfyUI의 노드와 실행 구조 이해하기
· API 요청을 생성하고 실행 결과 받아보기
· ComfyUI의 노드와 실행 구조 이해하기
· API 요청을 생성하고 실행 결과 받아보기
07
사내 서빙 구성안
1시간
· 소규모 사내 AI 모델 서빙 구조 설계하기
· 업무 적용을 위한 서빙 구성안 작성하기
· 적용 시 고려사항과 확장 방향 정리하기
· 업무 적용을 위한 서빙 구성안 작성하기
· 적용 시 고려사항과 확장 방향 정리하기
강사 프로필
국내외 대규모 인프라 구축 프로젝트 경험을 보유한 모델 서빙 전문가
· 제조 해외 도메인 설계·구축·운영 프로젝트 경험 보유
· 대규모 사용자 가상화 인프라 설계 및 구축 프로젝트 수행
· LLM Optimization & Serving, GenAI Service Architecture Patterns 사내강사
· LLMOps 구성 및 Model Serving 기술 업무 수행 중
· 대규모 사용자 가상화 인프라 설계 및 구축 프로젝트 수행
· LLM Optimization & Serving, GenAI Service Architecture Patterns 사내강사
· LLMOps 구성 및 Model Serving 기술 업무 수행 중
교육 준비사항
원활한 실습을 위해 Apple Silicon이 탑재된 MacBook 또는 고용량 RAM 및 GPU가 장착된 Windows 노트북 지참을 권장합니다.