안녕하세요 동국시스템즈 용오니입니다. 😎
오늘은 자주 질문해주셨던 “이 서버에 이 GPU 몇 개까지 꽂히나요?” 에 대해서 정리해보려고 합니다.
👉 GPU 폼팩터는?
본론에 들어가기에 앞서 GPU Form Factor 부터 알아볼게요.
GPU Form Factor 는 크게 GPU 크기와 GPU 연결 방식으로 나눠서 볼 수 있겠는데요.
먼저 GPU 크기입니다.
GPU 크기를 칭할 때는 주로 Double-wide(DW) GPU 혹은 Single-wide(SW) GPU 라고 칭합니다.
말그대로 Double-wide 는 두 배 너비를 가지며, 일반적으로 두 개의 슬롯을 차지합니다.
더 큰 크기이기 때문에 일부 서버는 이 GPU 를 지원하지 않을 수 있습니다.
주로 고성능 그래픽 카드나 멀티-GPU 구성 등에서 사용됩니다.
반면, Single-wide GPU 는 일반적으로 한 개의 슬롯을 차지합니다.
대부분의 서버와 호환되며, 가격도 저렴한 편이기에 많은 사용자들이 쉽게 접근하여 사용합니다.
다음은 GPU 연결 방식입니다.
GPU 연결 방식에는 NVLink 타입과 PCIe 타입이 있습니다.
(출처 : HPE Partner Day 'AI의 상당수' Session 中)
NVLink 타입은 HGX, SXM, Modular 타입과 동일한 의미이고, NVLink 는 PCIe 보다 더 많은 데이터를 전송할 수 있습니다.
NVLink 는 그래픽 카드들이 서로 통신하고, 서버 성능을 높이기 위해 고안된 브릿지라고도 할 수 있습니다.
또한, 높은 대역폭과 멀티-GPU 작업에 특화되어 있어 주로 데이터 센터나 고성능 컴퓨팅 분야에서 사용됩니다.
따라서 성능을 더 중요시한다면 NVLink 가 적절한 솔루션이 될 것입니다.
반면, PCIe 타입은 현재 가장 일반적으로 사용되는 GPU 연결 인터페이스입니다.
일반 PCIe 슬롯에 탑재되며, 유연한 구성이 가능하기 때문에 확장성을 기대한다면 적절한 솔루션이 될 것입니다.
👉 GPU 장착은?
그럼 이제 각각의 서버에 GPU 장착이 어떻게 되는지 살펴볼게요!
조건 1) Gen11 및 Apollo 시리즈에서 주로 나가는 서버들 기준으로 설명 드립니다.
조건 2) 2개의 CPU 구성에 모든 Riser 뚫려 있고, 모든 슬롯은 비어있다는 가정 하에 설명 드립니다.
(Riser Card 관련 자세한 내용이 궁금하시다면 아래 썸네일 클릭해주세요!)
👇
[DL360 Gen11]
1U 서버에 2P 기준 PCIe 슬롯 최대 3개까지 사용 가능한 서버입니다.
A2와 L4 GPU 만 장착 가능하고, 두 GPU 모두 Single-Wide 이니 모든 슬롯에 한 개씩 장착 가능하겠죠?
따라서 L4 GPU 는 3개까지 장착 가능합니다.
하지만 A2 GPU 는 현재 2개까지 가능하고, 3개 장착은 Q4에 가능해질 예정이라고 합니다.
또한, 1U 서버이다 보니 Double-Wide GPU 는 장착 불가!
[DL380 Gen11]
2U 서버에 2P 기준 PCIe 슬롯 최대 8개까지 사용 가능한 서버입니다.
Single-Wide 및 Double-Wide GPU 두 가지 모두 장착 가능하구요!
Single-Wide GPU 인 L4는 8개 Full 로 장착 가능합니다.
그 외로 Double-Wide GPU 는 A16, L40, A100, H100 GPU 가 장착 가능한데요.
A16, L40, A100 GPU 는 Primary / Secondary / Tertiary Riser 에 각각 한 개씩 총 3개 가능합니다. (2개 슬롯 점유)
※ 반면, H100 GPU 는 조금 다릅니다!
HPE TECHub 답변에 따르면, 전면에 1개의 8SFF Drive cage 를 선택 시 H100 GPU는 최대 2개까지 장착 가능하다고 합니다.
[DL380a Gen11]
다음은 이번 Generation 에 새롭게 출시된 GPU 특화 서버입니다.
Mid Range 부터 High Range 까지 AI 트레이닝 및 추론에 적합한 서버이기도 하죠.
DL380 Gen11과 동일하게 2U 사이즈에 2CPU 까지 구성 가능하지만 다른 점이 있습니다.
바로 디스크가 NVMe 만 장착 가능하고, 8SFF 만 장착 가능하다는 점입니다.
그리고 다른 서버들과 다르게 이 서버는 GPU 가 앞면 디스크 cage 양 옆에 장착 됩니다!
Power 도 GPU 수량이 많으니 당연히 기존 서버보다 많이 필요하겠죠?
4 power 까지 장착 가능합니다.
그렇다면 GPU 는 어떤 것들이 장착될까요?
4DW GPU 로는 L40, A100, H100 GPU 가 장착 가능하고, 4개가 한 set 로 장착됩니다.
또한, 8SW GPU 도 구성 가능하지만, 현재 OCA 에는 launching 이 되지 않았습니다. 아마 다음 달부터 지원 가능 하다고 해요.
추가로 한 가지 더 알려드리자면 4DW GPU 는 PCIe 방식으로 연결이 가능하지만,
NVIDIA Ampere NVLink 2x2 Bridge 를 추가한다면 NVLink 연결 방식으로도 구성 가능합니다!
[XL675d / XL645d]
Apollo 6500 Gen10 Plus 서버는 AMD CPU 가 기반이 되는 서버입니다.
종류에는 XL675d 와 XL645d 가 있죠.
XL645d 는 샤시형으로, XL675d의 1/2만 구성된다고 보시면 됩니다.
XL675d는 Double-Wide GPU 기준 최대 10개, Single-Wide GPU 기준 최대 16개까지 구성 가능합니다.
반면, XL645d는 Double-Wide GPU 기준 최대 4개, Single-Wide GPU 기준 최대 8개까지 구성 가능합니다.
또한, 두 서버 모두 GPU 연결 방식을 선택해서 구성할 수 있는데요.
NVLink 방식으로 구성할 경우, GPU 개수를 낱개로 고를 수 없으며 묶음으로 구성해야 합니다.
XL675d 의 경우 8GPU 가 한 set 이며, XL645d 의 경우 4GPU 가 한 set 입니다.
PCIe 방식으로 구성할 경우, GPU 개수를 낱개로 원하시는 수량만큼 고를 수 있습니다.
👇 XL675d
👇 XL645d
[Cray XD670]
Cray XD670 은 예전 Intel CPU 가 기반인 Apollo 6500 Gen10 의 후속 모델입니다.
새롭게 출시된 Sapphire Rapids CPU 가 장착되는 서버이죠.
이 서버는 독특하게 GPU 가 default 로 장착되어 나오는데요.
바로 H100 SXM5 8GPU 가 샤시에 포함되어 있습니다!
따라서 OCA 구성 시 별도로 눌러주지 않아도 되는 점 주의해주세요. 🙂
👉 총정리!
👉 GPU 용도는?
마지막으로 GPU 가 연산용으로 특화되어 있는지, 그래픽용으로 특화되어 있는지 등
GPU 를 용도별로 나눠 놓은 장표도 같이 드리니 참고하시면 좋을 것 같아요.
(출처 : HPE Partner Day 'AI의 상당수' Session 中)
여기까지, “GPU 몇 개 꽂히나요?” 에 대한 정리를 해보았는데요.
GPU 수급 상황이나 구성 rule 이 변경됨에 따라 OCA 도 유동적으로 바뀌기 때문에
오늘 정리해드린 내용이 변동될 수도 있다는 점 참고 부탁 드려요!
문의 사항 있으시면 언제든지 연락 부탁 드립니다.
감사합니다 🙂
안녕하세요 동국시스템즈 용오니입니다. 😎
오늘은 자주 질문해주셨던 “이 서버에 이 GPU 몇 개까지 꽂히나요?” 에 대해서 정리해보려고 합니다.
👉 GPU 폼팩터는?
본론에 들어가기에 앞서 GPU Form Factor 부터 알아볼게요.
GPU Form Factor 는 크게 GPU 크기와 GPU 연결 방식으로 나눠서 볼 수 있겠는데요.
먼저 GPU 크기입니다.
GPU 크기를 칭할 때는 주로 Double-wide(DW) GPU 혹은 Single-wide(SW) GPU 라고 칭합니다.
말그대로 Double-wide 는 두 배 너비를 가지며, 일반적으로 두 개의 슬롯을 차지합니다.
더 큰 크기이기 때문에 일부 서버는 이 GPU 를 지원하지 않을 수 있습니다.
주로 고성능 그래픽 카드나 멀티-GPU 구성 등에서 사용됩니다.
반면, Single-wide GPU 는 일반적으로 한 개의 슬롯을 차지합니다.
대부분의 서버와 호환되며, 가격도 저렴한 편이기에 많은 사용자들이 쉽게 접근하여 사용합니다.
다음은 GPU 연결 방식입니다.
GPU 연결 방식에는 NVLink 타입과 PCIe 타입이 있습니다.
(출처 : HPE Partner Day 'AI의 상당수' Session 中)
NVLink 타입은 HGX, SXM, Modular 타입과 동일한 의미이고, NVLink 는 PCIe 보다 더 많은 데이터를 전송할 수 있습니다.
NVLink 는 그래픽 카드들이 서로 통신하고, 서버 성능을 높이기 위해 고안된 브릿지라고도 할 수 있습니다.
또한, 높은 대역폭과 멀티-GPU 작업에 특화되어 있어 주로 데이터 센터나 고성능 컴퓨팅 분야에서 사용됩니다.
따라서 성능을 더 중요시한다면 NVLink 가 적절한 솔루션이 될 것입니다.
반면, PCIe 타입은 현재 가장 일반적으로 사용되는 GPU 연결 인터페이스입니다.
일반 PCIe 슬롯에 탑재되며, 유연한 구성이 가능하기 때문에 확장성을 기대한다면 적절한 솔루션이 될 것입니다.
👉 GPU 장착은?
그럼 이제 각각의 서버에 GPU 장착이 어떻게 되는지 살펴볼게요!
조건 1) Gen11 및 Apollo 시리즈에서 주로 나가는 서버들 기준으로 설명 드립니다.
조건 2) 2개의 CPU 구성에 모든 Riser 뚫려 있고, 모든 슬롯은 비어있다는 가정 하에 설명 드립니다.
(Riser Card 관련 자세한 내용이 궁금하시다면 아래 썸네일 클릭해주세요!)
👇
[DL360 Gen11]
1U 서버에 2P 기준 PCIe 슬롯 최대 3개까지 사용 가능한 서버입니다.
A2와 L4 GPU 만 장착 가능하고, 두 GPU 모두 Single-Wide 이니 모든 슬롯에 한 개씩 장착 가능하겠죠?
따라서 L4 GPU 는 3개까지 장착 가능합니다.
하지만 A2 GPU 는 현재 2개까지 가능하고, 3개 장착은 Q4에 가능해질 예정이라고 합니다.
또한, 1U 서버이다 보니 Double-Wide GPU 는 장착 불가!
[DL380 Gen11]
2U 서버에 2P 기준 PCIe 슬롯 최대 8개까지 사용 가능한 서버입니다.
Single-Wide 및 Double-Wide GPU 두 가지 모두 장착 가능하구요!
Single-Wide GPU 인 L4는 8개 Full 로 장착 가능합니다.
그 외로 Double-Wide GPU 는 A16, L40, A100, H100 GPU 가 장착 가능한데요.
A16, L40, A100 GPU 는 Primary / Secondary / Tertiary Riser 에 각각 한 개씩 총 3개 가능합니다. (2개 슬롯 점유)
※ 반면, H100 GPU 는 조금 다릅니다!
HPE TECHub 답변에 따르면, 전면에 1개의 8SFF Drive cage 를 선택 시 H100 GPU는 최대 2개까지 장착 가능하다고 합니다.
[DL380a Gen11]
다음은 이번 Generation 에 새롭게 출시된 GPU 특화 서버입니다.
Mid Range 부터 High Range 까지 AI 트레이닝 및 추론에 적합한 서버이기도 하죠.
DL380 Gen11과 동일하게 2U 사이즈에 2CPU 까지 구성 가능하지만 다른 점이 있습니다.
바로 디스크가 NVMe 만 장착 가능하고, 8SFF 만 장착 가능하다는 점입니다.
그리고 다른 서버들과 다르게 이 서버는 GPU 가 앞면 디스크 cage 양 옆에 장착 됩니다!
Power 도 GPU 수량이 많으니 당연히 기존 서버보다 많이 필요하겠죠?
4 power 까지 장착 가능합니다.
그렇다면 GPU 는 어떤 것들이 장착될까요?
4DW GPU 로는 L40, A100, H100 GPU 가 장착 가능하고, 4개가 한 set 로 장착됩니다.
또한, 8SW GPU 도 구성 가능하지만, 현재 OCA 에는 launching 이 되지 않았습니다. 아마 다음 달부터 지원 가능 하다고 해요.
추가로 한 가지 더 알려드리자면 4DW GPU 는 PCIe 방식으로 연결이 가능하지만,
NVIDIA Ampere NVLink 2x2 Bridge 를 추가한다면 NVLink 연결 방식으로도 구성 가능합니다!
[XL675d / XL645d]
Apollo 6500 Gen10 Plus 서버는 AMD CPU 가 기반이 되는 서버입니다.
종류에는 XL675d 와 XL645d 가 있죠.
XL645d 는 샤시형으로, XL675d의 1/2만 구성된다고 보시면 됩니다.
XL675d는 Double-Wide GPU 기준 최대 10개, Single-Wide GPU 기준 최대 16개까지 구성 가능합니다.
반면, XL645d는 Double-Wide GPU 기준 최대 4개, Single-Wide GPU 기준 최대 8개까지 구성 가능합니다.
또한, 두 서버 모두 GPU 연결 방식을 선택해서 구성할 수 있는데요.
NVLink 방식으로 구성할 경우, GPU 개수를 낱개로 고를 수 없으며 묶음으로 구성해야 합니다.
XL675d 의 경우 8GPU 가 한 set 이며, XL645d 의 경우 4GPU 가 한 set 입니다.
PCIe 방식으로 구성할 경우, GPU 개수를 낱개로 원하시는 수량만큼 고를 수 있습니다.
👇 XL675d
👇 XL645d
[Cray XD670]
Cray XD670 은 예전 Intel CPU 가 기반인 Apollo 6500 Gen10 의 후속 모델입니다.
새롭게 출시된 Sapphire Rapids CPU 가 장착되는 서버이죠.
이 서버는 독특하게 GPU 가 default 로 장착되어 나오는데요.
바로 H100 SXM5 8GPU 가 샤시에 포함되어 있습니다!
따라서 OCA 구성 시 별도로 눌러주지 않아도 되는 점 주의해주세요. 🙂
👉 총정리!
👉 GPU 용도는?
마지막으로 GPU 가 연산용으로 특화되어 있는지, 그래픽용으로 특화되어 있는지 등
GPU 를 용도별로 나눠 놓은 장표도 같이 드리니 참고하시면 좋을 것 같아요.
(출처 : HPE Partner Day 'AI의 상당수' Session 中)
여기까지, “GPU 몇 개 꽂히나요?” 에 대한 정리를 해보았는데요.
GPU 수급 상황이나 구성 rule 이 변경됨에 따라 OCA 도 유동적으로 바뀌기 때문에
오늘 정리해드린 내용이 변동될 수도 있다는 점 참고 부탁 드려요!
문의 사항 있으시면 언제든지 연락 부탁 드립니다.
감사합니다 🙂