안녕하세요. 동국시스템즈 영업마케팅팀에서 견적을 담당하고 있는 박용원입니다!
오늘은 너무나도 많은 질문을 받았던 DL380 Gen10 Plus 서버에 꽂히는 Riser Cards에 대해서 알아보고자 합니다.
Issue 1 ) DL380 Plus 서버에 Double Wide GPU 장착시 Riser 구성이 궁금해요!
Issue 2 ) DL380 Plus 서버에 Infiniband NIC 장착시 Riser 구성이 궁금해요!
Issue 3 ) DL380 Plus 서버에 x16 bus width 최대 몇 개까지 구성 가능한지 궁금해요!
대표적인 질문 3가지를 뽑아봤는데요,, 이에 대한 답변 전에 Riser에 대해서 간단히 설명하고 갈게요!
서버마다 Riser 구성과 종류가 제각각이지만, 이번 시간에는 가장 보편적인 DL380 Gen10 Plus 서버를 집중적으로 살펴볼게요.
위 사진은 DL380 Gen10 Plus의 후면 모습입니다!
좀 더 쉽게 이해하기 위해 아래 단면도를 같이 볼까요?
DL380 Gen10 Plus는 총 8개의 PCIe Slot을 사용할 수 있는데요!
① 부터 ③ 까지의 슬롯을 Primary Riser, ④ 부터 ⑥ 까지의 슬롯을 Secondary Riser,
⑦ 부터 ⑧ 까지의 슬롯을 Tertiary Riser 라고 일컫습니다.
여기서 한 가지 주의할 점이 있습니다!
DL380 Gen10 Plus에서 Primary Riser 까지는 1개의 CPU에 별도의 Riser Card 구성이 없어도 사용 가능하지만,
Secondary Riser 부터 사용하려면 반드시 ‘2nd CPU’가 필요합니다.
자 그럼 어떤 종류의 Riser Card 들이 있는지 알아볼까요?
NVMe 장착시 필요한 Riser Card도 있고, 디스크를 후면에 장착하기 위해 필요한 Riser Card도 있지만..
저는 GPU와 NIC를 장착할 때 필요한 Riser Card를 중점적으로 볼게요!
DL380 Gen10과 DL380 Gen10 Plus에 꽂히는 Riser Card 종류는 당연히 다릅니다!
(클릭하면 선명하게 보실 수 있습니다)
표를 보시면 각각의 Riser Card가 어느 위치에 꽂히는지, 몇 배속의 bus width로 구성되어 있는지,
그리고 GPU와의 호환 여부를 알 수 있습니다! (여기서 x8은 8배속, x16은 16배속을 뜻합니다.)
예를 들어 P14587-B21 HPE DL38X Gen10+ x8/x16/x8 Secondary Riser Kit 이 파트는 단면도로 보면 아래와 같이 구성됩니다!
그렇다면, P14599-B21 HPE DL38X Gen10+ 2x16 Slot 2/3 FIO Kit 이 파트는 어떻게 구성될까요?
여기서 주의할 점! FIO Kit 라고 쓰여 있는 Riser Card는 Primary Riser에 꽂히는 Riser Card인데요,,
DL380 Gen10 Plus를 견적하기 위해 OCA에 들어가보면
P37038-B21 HPE ProLiant DL380 Gen10 Plus x8/x16/x8 Primary FIO Riser Kit
이 파트가 Default로 들어가 있습니다!
이 파트가 들어가 있으면 Primary Riser에 들어갈 수 있는 다른 Riser Card들이 보이지 않기 때문에 꼭 제거를 해주셔야 합니다!
Secondary나 Tertiary Riser도 마찬가지에요! 다른 선택지를 고르기 위해서는 기존에 들어있는 Riser를 클릭해서 빼주셔야 합니다!
조금 이해가 되셨을까요~?
Riser Card에 대한 설명은 이쯤에서 마치고, 앞서 말씀드렸던 질문들에 대해 정리해볼게요!
Issue 1 ) DL380 Plus 서버에 Double Wide GPU 장착시 Riser 구성이 궁금해요!
Double Wide GPU 중 A100을 예로 설명해볼게요.
DL380 Gen10 Plus에 A100 GPU는 최대 3개까지 구성 가능합니다.
NIC는 없고 GPU만 3개 넣는다고 가정할 때, 같이 구성해볼까요?
저는 이렇게 Riser Card를 구성해볼게요.
아니면 이렇게도 가능해요!
위와 같이 구성하면 GPU가 최대 3개까지 에러 없이 장착됩니다.
그렇다면, 퀴즈 나갑니다!
: DL380 Gen10 Plus 서버에
1G 4p UTP OCP3 x 1ea / 10G 2p SFP+ NIC x 2ea / 16G 2p HBA x 2ea / A30 GPU x 2ea 구성해주세요.
어떻게 구성하면 될까요?
이런 식으로 구성하면 요청 파트들을 모두 구성할 수 있습니다!
Issue 2 ) DL380 Plus 서버에 Infiniband NIC 장착시 Riser 구성이 궁금해요!
Infiniband 란, 고성능 컴퓨팅과 기업용 데이터 센터에서 사용되는 스위치 방식의 통신 연결 방식을 의미합니다.
이러한 Infiniband는 보편적인 NIC를 장착할 때보다 몇 가지 제한 사항이 따르는데요!
12LFF, 24SFF 샷시에는 호환 불가
Mid-tray 드라이브 케이지와 호환 불가
Maximum Performance Fan Kit 필요
메모리 1개당 128GB 이상인 DIMMS와 호환 불가
240W 이상인 CPU와 호환 불가
PCIe 슬롯 # 1 / 2 / 4 / 5 / 7 에만 장착 가능
# 3 / 6 에는 장착 불가
마지막 빨간 글씨에 주목해주세요!
이 말은 즉 아래 단면도에서 맨 아래 3번, 6번 슬롯에는 Infiniband 장착이 불가능하다는 내용입니다.
만약 Infiniband를 장착하고 싶다면 이 제한 사항을 잘 기억해 두고 견적 하면 조금 덜 복잡하겠죠?
Issue 3 ) DL380 Plus 서버에 x16 bus width 최대 몇 개까지 구성 가능한지 궁금해요!
결론부터 말씀드리면, 최대 7개까지 가능합니다!
Primary riser kit:
P14599-B21 DL38X Gen10 Plus 2x16 Slot 2/3 FIO Kit + P14600-B21 DL38X Gen10 Plus Slot1 Additional riser
Secondary riser kit:
P14590-B21 DL38X Gen10 Plus Slot2-3 secondary riser(2x16) ＋P14600-B21 DL38X Gen10 Plus Slot1 Additional riser
Tertiary riser kit:
P14588-B21 HPE DL38X Gen10 Plus x16 Tertiary Riser Kit
이런식으로 구성한다면 총 7개의 x16 슬롯을 사용할 수 있겠죠?
마지막으로, 내가 알맞게 구성했는지 검토할 수 있는 방법 두 가지도 알려드릴게요!
첫번째, CLIC Check 확인하기!
OCA에서 견적을 전부 구성한 뒤, BOM 탭에 가면 CLIC Check 버튼이 있습니다.
그 버튼을 눌러보면, 지금 구성에 Unbuildable Error가 있는지 없는지 확인할 수 있어요!
두번째, Layout에서 I/O cards 확인하기!
위 그림대로 들어가면 몇 번째 Riser에 어떤 파트가 들어가 있는지 대략적인 레이아웃을 확인하실 수 있습니다!
이렇게 자주 하는 질문 세 가지에 대해 정리해 보았는데요!
Riser Card를 어떻게 구성하느냐에 따라 조합할 수 있는 구성이 천차만별이기 때문에
여러 종류의 Riser Card를 넣어보면서 구성해보시면 더 좋을 것 같아요 ㅎㅎ
그럼 오늘 글은 여기서 마치겠습니다!
문의 사항 있으시면 언제든지 연락주세요 :)
감사합니다!
안녕하세요. 동국시스템즈 영업마케팅팀에서 견적을 담당하고 있는 박용원입니다!
오늘은 너무나도 많은 질문을 받았던 DL380 Gen10 Plus 서버에 꽂히는 Riser Cards에 대해서 알아보고자 합니다.
Issue 1 ) DL380 Plus 서버에 Double Wide GPU 장착시 Riser 구성이 궁금해요!
Issue 2 ) DL380 Plus 서버에 Infiniband NIC 장착시 Riser 구성이 궁금해요!
Issue 3 ) DL380 Plus 서버에 x16 bus width 최대 몇 개까지 구성 가능한지 궁금해요!
대표적인 질문 3가지를 뽑아봤는데요,, 이에 대한 답변 전에 Riser에 대해서 간단히 설명하고 갈게요!
서버마다 Riser 구성과 종류가 제각각이지만, 이번 시간에는 가장 보편적인 DL380 Gen10 Plus 서버를 집중적으로 살펴볼게요.
위 사진은 DL380 Gen10 Plus의 후면 모습입니다!
좀 더 쉽게 이해하기 위해 아래 단면도를 같이 볼까요?
DL380 Gen10 Plus는 총 8개의 PCIe Slot을 사용할 수 있는데요!
① 부터 ③ 까지의 슬롯을 Primary Riser, ④ 부터 ⑥ 까지의 슬롯을 Secondary Riser,
⑦ 부터 ⑧ 까지의 슬롯을 Tertiary Riser 라고 일컫습니다.
여기서 한 가지 주의할 점이 있습니다!
DL380 Gen10 Plus에서 Primary Riser 까지는 1개의 CPU에 별도의 Riser Card 구성이 없어도 사용 가능하지만,
Secondary Riser 부터 사용하려면 반드시 ‘2nd CPU’가 필요합니다.
자 그럼 어떤 종류의 Riser Card 들이 있는지 알아볼까요?
NVMe 장착시 필요한 Riser Card도 있고, 디스크를 후면에 장착하기 위해 필요한 Riser Card도 있지만..
저는 GPU와 NIC를 장착할 때 필요한 Riser Card를 중점적으로 볼게요!
DL380 Gen10과 DL380 Gen10 Plus에 꽂히는 Riser Card 종류는 당연히 다릅니다!
(클릭하면 선명하게 보실 수 있습니다)
표를 보시면 각각의 Riser Card가 어느 위치에 꽂히는지, 몇 배속의 bus width로 구성되어 있는지,
그리고 GPU와의 호환 여부를 알 수 있습니다! (여기서 x8은 8배속, x16은 16배속을 뜻합니다.)
예를 들어 P14587-B21 HPE DL38X Gen10+ x8/x16/x8 Secondary Riser Kit 이 파트는 단면도로 보면 아래와 같이 구성됩니다!
그렇다면, P14599-B21 HPE DL38X Gen10+ 2x16 Slot 2/3 FIO Kit 이 파트는 어떻게 구성될까요?
여기서 주의할 점! FIO Kit 라고 쓰여 있는 Riser Card는 Primary Riser에 꽂히는 Riser Card인데요,,
DL380 Gen10 Plus를 견적하기 위해 OCA에 들어가보면
P37038-B21 HPE ProLiant DL380 Gen10 Plus x8/x16/x8 Primary FIO Riser Kit
이 파트가 Default로 들어가 있습니다!
이 파트가 들어가 있으면 Primary Riser에 들어갈 수 있는 다른 Riser Card들이 보이지 않기 때문에 꼭 제거를 해주셔야 합니다!
Secondary나 Tertiary Riser도 마찬가지에요! 다른 선택지를 고르기 위해서는 기존에 들어있는 Riser를 클릭해서 빼주셔야 합니다!
조금 이해가 되셨을까요~?
Riser Card에 대한 설명은 이쯤에서 마치고, 앞서 말씀드렸던 질문들에 대해 정리해볼게요!
Issue 1 ) DL380 Plus 서버에 Double Wide GPU 장착시 Riser 구성이 궁금해요!
Double Wide GPU 중 A100을 예로 설명해볼게요.
DL380 Gen10 Plus에 A100 GPU는 최대 3개까지 구성 가능합니다.
NIC는 없고 GPU만 3개 넣는다고 가정할 때, 같이 구성해볼까요?
저는 이렇게 Riser Card를 구성해볼게요.
아니면 이렇게도 가능해요!
위와 같이 구성하면 GPU가 최대 3개까지 에러 없이 장착됩니다.
그렇다면, 퀴즈 나갑니다!
: DL380 Gen10 Plus 서버에
1G 4p UTP OCP3 x 1ea / 10G 2p SFP+ NIC x 2ea / 16G 2p HBA x 2ea / A30 GPU x 2ea 구성해주세요.
어떻게 구성하면 될까요?
이런 식으로 구성하면 요청 파트들을 모두 구성할 수 있습니다!
Issue 2 ) DL380 Plus 서버에 Infiniband NIC 장착시 Riser 구성이 궁금해요!
Infiniband 란, 고성능 컴퓨팅과 기업용 데이터 센터에서 사용되는 스위치 방식의 통신 연결 방식을 의미합니다.
이러한 Infiniband는 보편적인 NIC를 장착할 때보다 몇 가지 제한 사항이 따르는데요!
12LFF, 24SFF 샷시에는 호환 불가
Mid-tray 드라이브 케이지와 호환 불가
Maximum Performance Fan Kit 필요
메모리 1개당 128GB 이상인 DIMMS와 호환 불가
240W 이상인 CPU와 호환 불가
PCIe 슬롯 # 1 / 2 / 4 / 5 / 7 에만 장착 가능
# 3 / 6 에는 장착 불가
마지막 빨간 글씨에 주목해주세요!
이 말은 즉 아래 단면도에서 맨 아래 3번, 6번 슬롯에는 Infiniband 장착이 불가능하다는 내용입니다.
만약 Infiniband를 장착하고 싶다면 이 제한 사항을 잘 기억해 두고 견적 하면 조금 덜 복잡하겠죠?
Issue 3 ) DL380 Plus 서버에 x16 bus width 최대 몇 개까지 구성 가능한지 궁금해요!
결론부터 말씀드리면, 최대 7개까지 가능합니다!
Primary riser kit:
P14599-B21 DL38X Gen10 Plus 2x16 Slot 2/3 FIO Kit + P14600-B21 DL38X Gen10 Plus Slot1 Additional riser
Secondary riser kit:
P14590-B21 DL38X Gen10 Plus Slot2-3 secondary riser(2x16) ＋P14600-B21 DL38X Gen10 Plus Slot1 Additional riser
Tertiary riser kit:
P14588-B21 HPE DL38X Gen10 Plus x16 Tertiary Riser Kit
이런식으로 구성한다면 총 7개의 x16 슬롯을 사용할 수 있겠죠?
마지막으로, 내가 알맞게 구성했는지 검토할 수 있는 방법 두 가지도 알려드릴게요!
첫번째, CLIC Check 확인하기!
OCA에서 견적을 전부 구성한 뒤, BOM 탭에 가면 CLIC Check 버튼이 있습니다.
그 버튼을 눌러보면, 지금 구성에 Unbuildable Error가 있는지 없는지 확인할 수 있어요!
두번째, Layout에서 I/O cards 확인하기!
위 그림대로 들어가면 몇 번째 Riser에 어떤 파트가 들어가 있는지 대략적인 레이아웃을 확인하실 수 있습니다!
이렇게 자주 하는 질문 세 가지에 대해 정리해 보았는데요!
Riser Card를 어떻게 구성하느냐에 따라 조합할 수 있는 구성이 천차만별이기 때문에
여러 종류의 Riser Card를 넣어보면서 구성해보시면 더 좋을 것 같아요 ㅎㅎ
그럼 오늘 글은 여기서 마치겠습니다!
문의 사항 있으시면 언제든지 연락주세요 :)
감사합니다!