MIG Instance 정리.

 

NVIDIA의 MIG(Multi-Instance GPU) 기능에서 GPU Instance와 Compute Instance는 서로 다른 역할을 합니다.

---

🛠️ 1. GPU Instance (GI)란?

• 물리적인 GPU의 하드웨어 리소스를 논리적으로 분할한 것
• 메모리(RAM), 캐시, SM(Streaming Multiprocessors) 등의 자원을 분리하여 가상화
• 할당된 GPU 메모리와 연산 유닛을 독립적으로 사용 가능
• 각 Instance는 다른 사용자 또는 프로세스에서 독립적으로 실행

➡️ 하드웨어 리소스를 나누는 기본 단위

---

⚡ 2. Compute Instance (CI)란?

• GPU Instance 내부에서 실행되는 연산 단위
• 하나의 GPU Instance(GI) 안에서 여러 개의 Compute Instance(CI)를 가질 수 있음
• CI는 CUDA 코어 및 연산 유닛(SM) 단위로 분리
• 특정 CI는 특정 프로세스만 실행할 수 있어 서로 다른 워크로드를 완전히 격리 가능

➡️ 연산(CUDA 코어)만 분리하여 특정 워크로드를 실행하는 단위

---

🏗️ 간단한 비유: 아파트(물리 GPU)와 방(GI, CI)

• GPU Instance (GI) = 아파트의 각 세대
  • 세대별로 독립된 공간(메모리, 캐시, 연산 유닛)을 가짐
• Compute Instance (CI) = 세대 내의 방
  • 한 세대(GI) 내에서 특정 방을 특정 용도로 나누어 사용 가능
  • 예를 들어, 한 방은 AI 모델 훈련, 다른 방은 그래픽 렌더링

---

📌 예제: A100 GPU에서 MIG 설정 예시

A100 80GB GPU를 7개 Instance로 나눈다면:

1. GPU Instance 1 → Compute Instance 1, Compute Instance 2
2. GPU Instance 2 → Compute Instance 3

즉,

• GPU Instance 1 안에는 Compute Instance 1, 2가 존재
• GPU Instance 2 안에는 Compute Instance 3이 존재

각 Compute Instance는 서로 다른 CUDA 워크로드를 실행할 수 있음.

---

✅ 정리

구분설명역할

GPU Instance (GI)	GPU의 하드웨어 리소스를 분할 (메모리, 연산 유닛 포함)	기본 논리 단위 (VM처럼 작동)
Compute Instance (CI)	GI 내에서 연산 유닛(SM)만 따로 분할	실제 연산을 수행하는 단위

즉,
GI는 GPU의 하드웨어 리소스를 나누고, CI는 연산 자원(SM)을 세분화하여 격리하는 역할을 합니다.

🚀 MIG를 사용하면 여러 사용자가 하나의 GPU를 효과적으로 공유할 수 있어 클라우드 환경에서 매우 유용합니다!

 

본문은 Chat GPT에 의해서 작성되었습니다.