GDS란?

*GDS Docs : https://docs.nvidia.com/gpudirect-storage/index.html

NVIDIA GPUDirect Storage - NVIDIA Docs

 

<GDS란?>

Nvidia GDS는 Nvidia GPU Direct Storage의 약자로, GPU 메모리와 스토리지 사이에 직접적인 데이터 경로를 제공하는 기술입니다.

이 기술은 cpu를 거치지 않고 직접 메모리 접근 (dma) 전송을 수행하기 때문에 시스템의 대역폭을 높이고 지연시간과 cpu의 부하를 줄여줍니다.(Bottleneck 현상 방지.)

 

Nvidia GDS 는 cufile api라는 cuda® 애플리케이션을 위한 api를 통해 사용할 수 있으며,

libcufile.so와 nvidia-fs.ko라는 별도의 패키지로 제공됩니다.

<Nvidia GDS Requirements>
커널 스토리지 드라이버가 GPU메모리로부터 사용자 데이터의 dma 전송을 수행할 수 있어야 합니다.
스토리지 근처의 장치가 pcie를 통해 gpu 메모리 버퍼에 접근할 수 있는 dma 엔진을 가지고 있어야 합니다.
스토리지 장치가 o_direct 모드를 지원하고 있어야 합니다.

 

Nvidia gds를 사용하기 위해서는 최소한 turing 아키텍처 이상의 gpu가 필요합니다.

Turing 아키텍처 이상의 GPU는 다음과 같은 것들이 있습니다.:

#Geforce rtx 20 시리즈 

; RTX 2080 ti, RTX 2080 super, RTX 2080, RTX 2070 super, RTX 2070, RTX 2060 super, RTX 2060 등

 

#Geforce GTX 16 시리즈 

; GTX 1660 ti, GTX 1660 super, GTX 1660, GTX 1650 super, GTX 1650 등

 

#Quadro rtx 시리즈 

; RTX 8000, RTX 6000, RTX 5000, RTX 4000 등 

 

#Titan RTX

turing 아키텍처는 ray tracing과 deep learning을 위한 새로운 기술들을 탑재한 gpu 아키텍처입니다.

turing gpu는 rt 코어와 tensor 코어라는 특수한 하드웨어 유닛을 가지고 있습니다.

rt 코어는 광선 추적 연산을 가속화하고 tensor 코어는 딥러닝 연산을 가속화합니다.

 

<Nvidia GDS를 실습하는 방법>

#Nvidia GDS 드라이버와 cufile api를 설치해야 합니다

#GDS를 지원하는 파일 시스템을 활성화하고 설정해야 합니다.

#cufile api를 사용하는 샘플 애플리케이션을 실행하고 성능을 측정해볼 수 있습니다. nvidia gds의 설계 가이드와 벤치마킹 및 구성 가이드를 참고하면 더 자세한 정보를 얻을 수 있습니다.

<Nvidia Driver 설치>
Nvidia driver 다운로드 링크(공식 고급 드라이버 설치)
PPA를 통한 Nvidia 드라이버 설치(Ubuntu)

<Cuda 설치>
deb(network) 방식을 이용한 Cuda 11.8 설치
run파일 방식을 이용한 CUDA 12.2 설치
CUDA sample 설치 및 Device Query, Bandwidth test.

 

<MIG 관련글>
MIG란?
MIG 구성 단위 + MIG 지원 GPU 목록
MIG enable
MIG instance 생성, 삭제+ Instance 조합방법

<Nvidia-Docker 관련글>
Docker 컨테이너에서 Nvidia driver
Docker 컨테이너별로 Nvidia GPU 분할방법 2가지

 

 

*읽어보면 좋은 글 : https://m.blog.naver.com/uclick2016/222036489394