MIG 구성 단위 + MIG 지원 GPU 목록

 

https://docs.nvidia.com/datacenter/tesla/mig-user-guide/index.html

NVIDIA Multi-Instance GPU User Guide :: NVIDIA Data Center GPU Driver Documentation

<MIG 구성 단위>
-------------------------------------------------------------------------------
## GPU 엔진  
GPU 엔진은 GPU에서 작업을 실행하는 엔진으로, 
가장 일반적으로 사용되는 엔진은 컴퓨팅 명령어를 실행하는 Compute/Graphics 엔진입니다. 
그 외에 DMA를 수행하는 Copy Engine (CE), 비디오 디코딩을 위한 
NVDEC, 인코딩을 위한 NVENC 등이 있으며, 각 엔진은 독립적으로 스케줄링이 가능하며,
서로 다른 GPU 컨텍스트에 대한 작업을 실행할 수 있습니다.  
  
## GPU 메모리 슬라이스  
GPU 메모리 슬라이스는 해당 메모리 컨트롤러 및 캐시를 포함하는 
GPU 메모리 중 가장 작은 부분입니다. 
GPU 메모리 슬라이스는 용량 및 대역폭을 모두 포함하는 총 GPU 메모리 리소스의 약 1/8입니다.  
  
## GPU SM 슬라이스  
GPU SM 슬라이스는 GPU에서 SM 중 가장 작은 부분입니다. 
GPU SM 슬라이스는 MIG 모드에서 구성할 때,
GPU에서 사용할 수 있는 총 SM 수의 약 7분의 1입니다.  

## GPU 슬라이스  
GPU 슬라이스는 단일 GPU 메모리 슬라이스와 
단일 GPU SM 슬라이스를 결합한 GPU 중 가장 작은 부분입니다.  
  
## GPU 인스턴스  GI
GPU 인스턴스(GI)는 GPU 슬라이스와 GPU 엔진(DMAs, NVDECs 등)의 조합입니다. GPU 인스턴스 내의 모든 것은 항상 모든 GPU 메모리 슬라이스와 다른 GPU 엔진을 공유하지만 SM 슬라이스는 CI(Comput Instance)로 더 세분화될 수 있습니다. GPU 인스턴스는 메모리 QoS를 제공합니다. 각 GPU 슬라이스는 가용 용량과 대역폭을 모두 제한하고 메모리 QoS를 제공하는 전용 GPU 메모리 리소스를 포함합니다. 각 GPU 메모리 슬라이스는 총 GPU 메모리 리소스의 1/8을 얻고 각 GPU SM 슬라이스는 총 SM 수의 1/7을 얻습니다.  
  
## 컴퓨팅 인스턴스   CI
GPU 인스턴스는 다수의 컴퓨팅 인스턴스로 세분될 수 있으며, 컴퓨팅 인스턴스(CI)는 상위 GPU 인스턴스의 SM 슬라이스 및 기타 GPU 엔진(DMA, NVDEC 등)의 서브셋을 포함하며, CI는 메모리 및 엔진을 공유합니다.

-------------------------------------------------------------------------------
### GPU Engine

A GPU engine is what executes work on the GPU. The most commonly used engine is the Compute/Graphics engine that executes the compute instructions. Other engines include the copy engine (CE) that is responsible for performing DMAs, NVDEC for video decoding, NVENC for encoding, etc. Each engine can be scheduled independently and execute work for different GPU contexts.

### GPU Memory Slice

A GPU memory slice is the smallest fraction of the GPU's memory, including the corresponding memory controllers and cache. A GPU memory slice is roughly one eighth of the total GPU memory resources, including both capacity and bandwidth.

### GPU SM Slice

A GPU SM slice is the smallest fraction of the SMs on the GPU. A GPU SM slice is roughly one seventh of the total number of SMs available in the GPU when configured in MIG mode.

### GPU Slice

A GPU slice is the smallest fraction of the GPU that combines a single GPU memory slice and a single GPU SM slice.

### GPU Instance

A GPU Instance (GI) is a combination of GPU slices and GPU engines (DMAs, NVDECs, etc.). Anything within a GPU instance always shares all the GPU memory slices and other GPU engines, but it's SM slices can be further subdivided into compute instances (CI). A GPU instance provides memory QoS. Each GPU slice includes dedicated GPU memory resources which limit both the available capacity and bandwidth, and provide memory QoS. Each GPU memory slice gets 1/8 of the total GPU memory resources and each GPU SM slice gets 1/7 of the total number of SMs.

### Compute Instance

A GPU instance can be subdivided into multiple compute instances. A Compute Instance (CI) contains a subset of the parent GPU instance's SM slices and other GPU engines (DMAs, NVDECs, etc.). The CIs share memory and engines.

-------------------------------------------------------------------------------

 

<MIG 지원 GPU 목록>

<Nvidia Driver 설치>
Nvidia driver 다운로드 링크(공식 고급 드라이버 설치)
PPA를 통한 Nvidia 드라이버 설치(Ubuntu)

<Cuda 설치>
deb(network) 방식을 이용한 Cuda 11.8 설치
run파일 방식을 이용한 CUDA 12.2 설치
CUDA sample 설치 및 Device Query, Bandwidth test.

 

<MIG 관련글>
MIG란?
MIG 구성 단위 + MIG 지원 GPU 목록
MIG enable
MIG instance 생성, 삭제+ Instance 조합방법

<Nvidia-Docker 관련글>
Docker 컨테이너에서 Nvidia driver
Docker 컨테이너별로 Nvidia GPU 분할방법 2가지