Mellanox 카드 드라이버 설치 + 대역폭 테스트

Mellanox 카드테스트.

https://jkpark.me/linux/infiniband/2019/06/04/InfiniBand-OFA-%EB%93%9C%EB%9D%BC%EC%9D%B4%EB%B2%84-%EC%84%A4%EC%B9%98-%EB%B0%8F-%EC%84%A4%EC%A0%95-%EB%B0%A9%EB%B2%95.html

 

 

InfiniBand OFA 드라이버 설치 및 설정 방법

해당 글을 따라서 진행. 

 

Ib-send-bw Docs : https://enterprise-support.nvidia.com/s/article/ib-send-bw

ib_send_bw

시스템 2ea 구성 

OS : Centos7.9

Mellanox 카드 : mcx555a-ecat * 양쪽 시스템에 설치 후 케이블 연결.

*모든 테스트는 관리자 권한으로 실행.

드라이버 설치.

Ib0 인터페이스 설정시에,

Server :192.168.1.10

Client :192.168.1.20

Netmask는 255.255.255.0

으로 지정, 내부망통신이라 gateway는 지정 X.

 

 

>>wget https://content.mellanox.com/ofed/MLNX_OFED-5.7-1.0.2.0/MLNX_OFED_LINUX-5.7-1.0.2.0-rhel7.9-x86_64.tgz

 

///멜라녹스 드라이버 다운로드.

>> tar xvf MLNX_OFED_LINUX-5.7-1.0.2.0-rhel7.9-x86_64.tgz

>>./mlnxofedinstall #생성된 디렉토리 내부의 인스톨파일실행.

>>/etc/init.d/openibd restart # 드라이버 인스톨 완료 후 재부팅 후 실행.

>>ibstat # status 확인.

 

**State : active가 아닌 initializing일 때, Open Subnet Manager 사용해줘야 함.

>>opensm –c opensm.conf # opensm.conf 생성&내부 내용 수정

Subnet_prefix 0xfe80000000000000 #인터페이스별로 달라야 함 내 경우에는 client쪽을0xfe80000000000001로 변경

*server는 변경 X

*server

*client.

 

>>opensm –f opensm.conf >>변경설정적용, Client를 변경했기 때문에 client에서 수행함.

이후

ibstat시에 status active 확인.

<server>

 

** Bw_send_ test시에 Server쪽 방화벽 꺼져 있어야 함.

Server(192.168.1.10)쪽 명령어

>>ib_send_bw –d mlx5_0 –i 1 –F --report_gbits

//client의 connect를 기다리게 된다.

Client(192.168.1.20)쪽 명령어

>>ib_send_bw –d mlx5_0 –i 1 –F --report_gbits 192.168.1.10

Client쪽 결과 : BW peak : 96.36Gb/sec BW average : 96.26Gb/sec

 

2024-01-12추가. 

*Bytes 조절.

기본값 :  65536

서버쪽

Client 쪽.

 

-s 옵션으로 Bytes size를 조절할 수 있다.

서버와 클라이언트 각각 크기조절이 가능하나 되도록 같은 사이즈로 테스트 수행