반응형 nvidia14 MIG Instance 정리. NVIDIA의 MIG(Multi-Instance GPU) 기능에서 GPU Instance와 Compute Instance는 서로 다른 역할을 합니다.🛠️ 1. GPU Instance (GI)란?물리적인 GPU의 하드웨어 리소스를 논리적으로 분할한 것메모리(RAM), 캐시, SM(Streaming Multiprocessors) 등의 자원을 분리하여 가상화할당된 GPU 메모리와 연산 유닛을 독립적으로 사용 가능각 Instance는 다른 사용자 또는 프로세스에서 독립적으로 실행➡️ 하드웨어 리소스를 나누는 기본 단위⚡ 2. Compute Instance (CI)란?GPU Instance 내부에서 실행되는 연산 단위하나의 GPU Instance(GI) 안에서 여러 개의 Compute Instance(CI)를 .. 2025. 3. 9. LLM LLM은 "Large Language Model"의 약자로, 대규모 언어 모델을 의미합니다. 이는 인간의 언어를 이해하고 생성할 수 있도록 설계된 인공지능(AI) 모델입니다. LLM은 대량의 텍스트 데이터를 학습하여 언어의 패턴, 문법, 의미 등을 이해하고, 이를 바탕으로 질문에 답하거나, 텍스트를 생성하거나, 번역을 수행하는 등의 작업을 할 수 있습니다. 주요 특징 - 대규모 학습 데이터LLM은 수십억에서 수조 개의 단어로 이루어진 방대한 텍스트 데이터를 학습합니다.이러한 데이터를 통해 언어의 다양한 측면을 학습합니다. - 복잡한 모델 구조LLM은 수백억에서 수천억 개의 매개변수(parameters)를 가지는 복잡한 신경망 구조를 가지고 있습니다.이는 모델이 더 정교한 언어 패턴을 학습하고 이해하는 .. 2024. 5. 31. Nvidia-detector "Nvidia-detector"는 컴퓨터 시스템에서 NVIDIA 그래픽 카드를 감지하고 관련 정보를 제공하는 도구입니다. 이 도구는 일반적으로 리눅스 기반 시스템에서 사용되며, NVIDIA GPU 드라이버를 설치하거나 관리할 때 유용합니다. Nvidia-detector는 시스템에 설치된 NVIDIA GPU의 모델과 드라이버 버전을 식별하여, 적절한 드라이버 설치를 도와줍니다. 주요 기능은 다음과 같습니다: GPU 감지: 시스템에 설치된 NVIDIA GPU의 존재 여부를 확인합니다. 모델 정보 제공: 설치된 GPU의 모델명을 출력합니다. 드라이버 정보 제공: 현재 설치된 드라이버 버전을 확인하고 출력합니다. 이 도구는 NVIDIA의 공식 도구는 아니지만, NVIDIA GPU와 관련된 시스템 설정을 간편하게.. 2024. 5. 28. NVIDIA Omniverse란? 공식페이지 : https://www.nvidia.com/en-us/omniverse/ NVIDIA Omniverse The platform for creating and operating metaverse applications. www.nvidia.com Docs:https://docs.omniverse.nvidia.com/ NVIDIA Omniverse Documentation Launcher The launch-pad for Apps, Connectors, and News. docs.omniverse.nvidia.com NVIDIA Omniverse는 NVIDIA가 개발한 가상 현실 및 시뮬레이션 환경을 구축하기 위한 플랫폼입니다. 이 플랫폼은 현실적이고 고품질의 가상 환경을 만들고 관리하기 위해 .. 2023. 12. 9. Docker 컨테이너별로 Nvidia GPU 분할방법 2가지 이전글: Docker 컨테이너에서 Nvidia driver 앞선 글에서, 컨테이너에서 Nvidia driver를 확인했다. 요번 글에서는 컨테이너별로 Nvidia GPU 분할의 두가지 방법을 안내합니다. #초기 상태 root@user:~# nvidia-smi # 1 https://realblack0.github.io/2020/03/23/docker-for-gpu.html docker GPU 사용법 시작하기 전에 본 포스팅은 공식문서를 기반으로 작성하였으며, ubuntu 18.04 LTS에서 정상동작을 확인했습니다. 작성일자(2020-02-12) 기준으로 설명했기 때문에 에러가 날 경우에는 공식 문서를 확인 realblack0.github.io root@user:~# docker run --name tes.. 2023. 12. 1. MIG instance 생성, 삭제+ Instance 조합방법 -------------------------------------------- ## GPU Instance 생성 -------------------------------------------- -cgi : --create-gpu-instance // gpu instance 생성 -C : --default-compute-instance // compute instance 생성 -cci : --create-compute-instance(cgi시에 -C 로 대체가능 >> -) // compute instance 생성 >>nvidia-smi mig -cgi 19,19,19,19,19,19,19 >>nvidia-smi mig -cci >>nvidia-smi mig -cgi 19,19,19,19,19,19,19 .. 2023. 11. 22. 이전 1 2 3 다음 more 반응형
