DeepSpeed for Deep Learning ( deepspeed | 21 hours )

• 딥러닝 원리에 대한 중급 지식
• PyTorch 또는 유사한 딥러닝 프레임워크 사용 경험
• Python 프로그래밍에 익숙함

청중

• 데이터 과학자
• 머신러닝 엔지니어
• 개발자

DeepSpeed는 분산 하드웨어에서 딥 러닝 모델의 확장을 보다 쉽게 해주는 딥 러닝 최적화 라이브러리입니다. Microsoft에서 개발한 DeepSpeed는 PyTorch와 통합되어 더 나은 확장, 더 빠른 학습, 향상된 리소스 활용을 제공합니다.

강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 딥 러닝 모델의 성능을 개선하고자 하는 초보에서 중급 수준의 데이터 과학자와 머신 러닝 엔지니어를 대상으로 합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 분산형 딥러닝의 원리를 이해합니다.
• DeepSpeed를 설치하고 구성합니다.
• DeepSpeed를 사용하여 분산 하드웨어에서 딥 러닝 모델을 확장하세요.
• 최적화 및 메모리 효율성을 위해 DeepSpeed 기능을 구현하고 실험해 보세요.

과정 형식

• 대화형 강의 및 토론.
• 연습과 실습이 많아요.
• 라이브 랩 환경에서의 실습 구현.

코스 사용자 정의 옵션

• 이 과정에 대한 맞춤형 교육을 요청하려면 당사에 연락하여 준비하세요.

소개

• 딥러닝 스케일링 과제 개요
• DeepSpeed 및 기능 개요
• DeepSpeed 대 기타 분산형 딥러닝 라이브러리

시작하기

• 개발 환경 설정
• PyTorch 및 DeepSpeed 설치
• 분산 학습을 위한 DeepSpeed 구성

DeepSpeed 최적화 기능

• DeepSpeed 훈련 파이프라인
• ZeRO(메모리 최적화)
• 활성화 체크포인팅
• 그래디언트 체크포인팅
• 파이프라인 병렬성

DeepSpeed를 사용한 모델 확장

• DeepSpeed를 사용한 기본 스케일링
• 고급 스케일링 기술
• 성능 고려 사항 및 모범 사례
• 디버깅 및 문제 해결 기술

고급 DeepSpeed 주제

• 고급 최적화 기술
• 혼합 정밀도 훈련에 DeepSpeed 사용
• 다양한 하드웨어(예: GPU, TPU)에서의 DeepSpeed
• 여러 개의 훈련 노드를 갖춘 DeepSpeed

DeepSpeed를 PyTorch와 통합

• DeepSpeed를 PyTorch 워크플로와 통합
• PyTorch Lightning과 함께 DeepSpeed 사용

문제 해결

• 일반적인 DeepSpeed 문제 디버깅
• 모니터링 및 로깅

요약 및 다음 단계

• 핵심 개념 및 기능 요약
• 프로덕션에서 DeepSpeed를 사용하기 위한 모범 사례
• DeepSpeed에 대해 더 알아보기 위한 추가 리소스