본문 바로가기
반응형

nvidia13

LLM LLM은 "Large Language Model"의 약자로, 대규모 언어 모델을 의미합니다. 이는 인간의 언어를 이해하고 생성할 수 있도록 설계된 인공지능(AI) 모델입니다. LLM은 대량의 텍스트 데이터를 학습하여 언어의 패턴, 문법, 의미 등을 이해하고, 이를 바탕으로 질문에 답하거나, 텍스트를 생성하거나, 번역을 수행하는 등의 작업을 할 수 있습니다. 주요 특징 - 대규모 학습 데이터LLM은 수십억에서 수조 개의 단어로 이루어진 방대한 텍스트 데이터를 학습합니다.이러한 데이터를 통해 언어의 다양한 측면을 학습합니다.  - 복잡한 모델 구조LLM은 수백억에서 수천억 개의 매개변수(parameters)를 가지는 복잡한 신경망 구조를 가지고 있습니다.이는 모델이 더 정교한 언어 패턴을 학습하고 이해하는 .. 2024. 5. 31.
Nvidia-detector "Nvidia-detector"는 컴퓨터 시스템에서 NVIDIA 그래픽 카드를 감지하고 관련 정보를 제공하는 도구입니다. 이 도구는 일반적으로 리눅스 기반 시스템에서 사용되며, NVIDIA GPU 드라이버를 설치하거나 관리할 때 유용합니다. Nvidia-detector는 시스템에 설치된 NVIDIA GPU의 모델과 드라이버 버전을 식별하여, 적절한 드라이버 설치를 도와줍니다. 주요 기능은 다음과 같습니다: GPU 감지: 시스템에 설치된 NVIDIA GPU의 존재 여부를 확인합니다. 모델 정보 제공: 설치된 GPU의 모델명을 출력합니다. 드라이버 정보 제공: 현재 설치된 드라이버 버전을 확인하고 출력합니다. 이 도구는 NVIDIA의 공식 도구는 아니지만, NVIDIA GPU와 관련된 시스템 설정을 간편하게.. 2024. 5. 28.
NVIDIA Omniverse란? 공식페이지 : https://www.nvidia.com/en-us/omniverse/ NVIDIA Omniverse The platform for creating and operating metaverse applications. www.nvidia.com Docs:https://docs.omniverse.nvidia.com/ NVIDIA Omniverse Documentation Launcher The launch-pad for Apps, Connectors, and News. docs.omniverse.nvidia.com NVIDIA Omniverse는 NVIDIA가 개발한 가상 현실 및 시뮬레이션 환경을 구축하기 위한 플랫폼입니다. 이 플랫폼은 현실적이고 고품질의 가상 환경을 만들고 관리하기 위해 .. 2023. 12. 9.
Docker 컨테이너별로 Nvidia GPU 분할방법 2가지 이전글: Docker 컨테이너에서 Nvidia driver 앞선 글에서, 컨테이너에서 Nvidia driver를 확인했다. 요번 글에서는 컨테이너별로 Nvidia GPU 분할의 두가지 방법을 안내합니다. #초기 상태 root@user:~# nvidia-smi # 1 https://realblack0.github.io/2020/03/23/docker-for-gpu.html docker GPU 사용법 시작하기 전에 본 포스팅은 공식문서를 기반으로 작성하였으며, ubuntu 18.04 LTS에서 정상동작을 확인했습니다. 작성일자(2020-02-12) 기준으로 설명했기 때문에 에러가 날 경우에는 공식 문서를 확인 realblack0.github.io root@user:~# docker run --name tes.. 2023. 12. 1.
MIG instance 생성, 삭제+ Instance 조합방법 -------------------------------------------- ## GPU Instance 생성 -------------------------------------------- -cgi : --create-gpu-instance // gpu instance 생성 -C : --default-compute-instance // compute instance 생성 -cci : --create-compute-instance(cgi시에 -C 로 대체가능 >> -) // compute instance 생성 >>nvidia-smi mig -cgi 19,19,19,19,19,19,19 >>nvidia-smi mig -cci >>nvidia-smi mig -cgi 19,19,19,19,19,19,19 .. 2023. 11. 22.
MIG enable 기본 nvidia-smi(-pm 1) mig 한개의 gpu 만 enable >> nvidia-smi -i 0 >해당 옵션을 통해 한 개의 GPU가 선택가능. >>nvidia-smi -i 0 -mig 1 > GPU 0번만 mig enable >> nvidia-smi >> nvidia-smi -mig 1 ///모든 GPU mig enable >> nvidia-smi Nvidia driver 다운로드 링크(공식 고급 드라이버 설치) PPA를 통한 Nvidia 드라이버 설치(Ubuntu) deb(network) 방식을 이용한 Cuda 11.8 설치 run파일 방식을 이용한 CUDA 12.2 설치 CUDA sample 설치 및 Device Query, Bandwidth test. MIG란? MIG 구성 단위 + .. 2023. 11. 1.
반응형

티스토리툴바