PR CENTER

PR센터

홈>PR센터>보도자료

보도자료

게시물 상세
[GIGABYTE] AI에 적합한 서버를 선택하는 방법은 무엇입니까? 2부: 메모리, 스토리지 등
작성자 : 관리자( khkim@goak.co.kr)  작성일 : 2023.10.04   조회수 : 686
첨부파일 o202309211140152390.jpg

기술 가이드 1부 에서는  AI 서버  에  적합한 중앙 처리 장치(CPU)  와  그래픽 처리 장치(GPU)를 선택하는 데 도움이 되는 몇 가지 유용한 팁을 살펴보았습니다   . 처리 능력이 가장 중요하지만 AI 컴퓨팅 플랫폼에는 이 두 가지 구성 요소보다 더 많은 것이 있습니다. 이 섹션에서는 메모리, 스토리지, 전원 공급 장치(PSU), 열 관리, 확장 슬롯 및 I/O 포트가 서버 성능에 어떤 영향을 미칠 수 있는지, 그리고 AI 작업에 적합한 장치를 선택하는 방법을 살펴봅니다. . 자세히 알아보기: 《AI 개발 및 응용을 위한 GIGABYTE AI 서버 소개   》《기술 가이드:  서버란 무엇입니까? 》

 

인공 지능을 기반으로 하는 도구와 서비스가 확산되면서 크고 작은 조직에서 "AI 서버" 조달이 우선 순위가 되었습니다. AI 서버 선택에 관한 GIGABYTE Technology의 기술 가이드 2부에서는 서버를 슈퍼컴퓨팅 강자로 변모시킬 수 있는 CPU 및 GPU 외에 6가지 다른 필수 구성 요소를 살펴봅니다.

 

AI 서버에 적합한 메모리를 선택하는 방법은 무엇입니까?
RAM이라고도 하는 메모리는 서버에서 프로세서가 즉시 사용할 수 있도록 프로그램과 데이터를 저장하는 데 사용됩니다. 가장 강력한 AI 칩은 많은 양의 데이터를 매우 빠르게 계산할 수 있으므로 부적절한 메모리로 인해 성능이 저하될 수는 없습니다. 서버의 메모리는 항상 프로세서를 지원할 만큼 충분한 처리량과 용량을 가지고 있어야 합니다.

현재 가장 발전된 유형의 메모리는 5세대 Double Data Rate 동기식 동적 랜덤 액세스 메모리인 DDR5 SDRAM입니다. 줄여서 DDR5라고 부르겠습니다. 이전 세대보다 더 높은 데이터 전송 속도, 더 높은 대역폭, 더 낮은 전압 요구 사항 및 더 많은 용량을 제공하므로 최고의 AI 서버에 선택되는 메모리 구성 요소입니다.

분명히 하나의 RAM 스틱(더 정확하게는  DIMM 이라고 함))만으로는 충분하지 않습니다. AI 서버에 워크로드 요구 사항을 충족하기에 충분한 DIMM 슬롯이 있는지 확인하십시오. 예를 들어,  AI 훈련  및  추론을  위해 설계된  G 시리즈 GPU 서버인 GIGABYTE  의 G493-ZB3 에는 인상적인 48개의 DIMM 슬롯이 있습니다. DIMM 자체는 속도, 안정성 및 용량을 최적화하도록 설계될 수 있습니다. 예로는 RDIMM(등록된 DIMM) 및 LRDIMM(부하 감소 DIMM)과 같은 특정 DIMM 하위 집합이 있습니다. 마지막으로, 서버 프로세서에는 메모리 사용을 합리화하는 방법이 있을 수 있습니다. GIGABYTE의 강력한 AI 트레이닝 제품인  G593-SD0은 Intel® Xeon® CPU Max 시리즈 프로세서를 지원합니다. 이 프로세서는 고대역폭 메모리(HBM)를 통해 향상된 메모리 사용을 제공합니다. 

HPC  및 AI 워크로드. AMD GPU가 사용하는 XDNA™ 아키텍처는 외부 메모리에 의존하지 않고 데이터가 AI 모델의 계층을 통과할 수 있도록 하는 적응형 데이터 흐름 아키텍처를 자랑합니다.
 
 
AI 서버에 적합한 스토리지를 선택하는 방법은 무엇입니까?
메모리는 즉시 사용할 수 있도록 데이터를 저장하는 반면, 스토리지는 사용자가 삭제할 때까지 서버의 모든 데이터를 영구적으로 보관합니다. 고려해야 할 세 가지 기준은 속도(예: 데이터 전송 속도 및 대역폭), 저장 용량, 장치가 "현대 데이터  센터 의 세 번째 기둥 "(CPU 및 GPU에 이어)  인 DPU 와 호환되는지 여부입니다. .

기억해야 할 약어가 많으니 계속 함께해주세요. 우선, 솔리드 스테이트 드라이브(SSD)가 하드 디스크 드라이브(HDD)보다 우수한 저장 장치로서 오랫동안 앞섰으므로 AI 서버에서 반드시 사용해야 한다는 것은 말할 필요도 없습니다. 스토리지 인터페이스에는 SATA, SAS, NVMe 의 세 가지 유형이 있습니다. . SATA는 가장 확립된 기술이며 처음에는 HDD와 함께 사용하도록 설계되었습니다. SAS는 SATA보다 빠르지만 SSD에서만 사용할 수 있는 NVMe가 챔피언입니다. NVMe는 PCIe 기술을 활용하여   읽기/쓰기 속도를 향상하고 저장 장치와 프로세서 간의 대역폭을 높이기 때문에 결과적으로 데이터 전송 속도가 빨라지고 대기 시간이 단축됩니다. 따라서 최신 Gen5 NVMe 인터페이스를 사용하는 SSD는 AI 서버의 스토리지 장치로 최고의 선택입니다.

고려해야 할 다음 속성은 용량입니다. 대체로 말하면, NVMe SSD는 더 작은 M.2 폼 팩터 또는 보다 보편적인 엔터프라이즈급 2.5인치 폼 팩터를 채택합니다. GIGABYTE의 포괄적인 AI 서버 제품군은 더 큰 용량과 핫 스왑 가능 설계로 인해 주로 2.5인치 스토리지 베이를 활용하므로 서버 전원을 끄지 않고도 베이를 편리하게 제거하거나 교체할 수 있습니다. 많은 서버 모델에서는 추가 M.2 슬롯도 사용할 수 있습니다.

마지막으로  H223-V10  H-시리즈 고밀도 서버 와 같은 GIGABYTE의 일부 AI 서버 NVIDIA Grace Hopper™ Superchip으로 구동되는 이 제품은 확장 슬롯에 NVIDIA BlueField-3 DPU를 추가하여 보조 2.5" Gen5 NVMe 핫스왑 가능 스토리지 베이를 지원할 수 있습니다. 이는 옵션을 비교할 때 고려해야 할 흥미로운 새 기능입니다. AI 서버의 스토리지 베이용.
메모리와 스토리지는 서로 다른 기능을 수행하지만 AI 슈퍼컴퓨팅 플랫폼에 적합한 것을 선택할 때 비슷한 경험 법칙이 있습니다.
AI 서버에 적합한 전원 공급 장치를 선택하는 방법은 무엇입니까?
서버의 전원 공급 장치(PSU)는 서버 실행에 안전하고 안정적인 전원을 제공합니다. AI 워크로드는 컴퓨팅 집약적인 경향이 있으므로 탁월한 전력 효율성과 중복성을 제공하는 PSU 구성을 선택하는 것이 필수적입니다.

PSU의 전력 효율성을 확인하는 가장 좋은 방법은 80 PLUS라는 인증 프로그램을 이용하는 것입니다. 이 프로그램은 에너지 효율성을 기준으로 PSU를 6가지 레벨로 구분하며, 80 PLUS Titanium이 가장 효율적입니다. 이 수준에서 변환효율(즉, 얼마나 많은 에너지 입력이 유용한 출력으로 변환되는지)은 간단히 말하면 90%에서 96% 사이입니다. 두 번째로 높은 수준은 80 PLUS Platinum으로, 변환 효율은 89%에서 94% 사이입니다. GIGABYTE의 AI 서버는 주로 80 PLUS Titanium 인증 PSU를 사용합니다.

기억해야 할 또 다른 점은 중복성이 필수적이라는 것입니다. 하나 이상의 PSU가 다운되더라도 서버는 계속 작동해야 합니다. GIGABYTE의 AI 서버는 적절한 수의 예비 전원 공급 장치로 설계되었습니다. 일부 서버는 PSU의 절반이 오프라인이 되어도 정상 작동을 계속할 수 있습니다.
 
 
AI 서버에 적합한 열 관리를 선택하는 방법은 무엇입니까?
서버 내부의 모든 구성 요소가 많은 열을 발생시키는 것은 당연합니다. 전기 요금을 많이 내지 않고 서버에서 최고의 성능을 얻으려면 올바른 열 관리 또는 방열 도구를 선택하는 것이 중요합니다.

서버를 시원하게 유지하는 전통적인 방법은 공기 냉각입니다. 즉, 서버에 팬이 설치되어 뜨거운 공기를 데이터 센터 통로로 펌핑합니다. GIGABYTE의 모든 AI 서버는 독점적인 공기 흐름 친화적인 하드웨어 설계를 채택합니다. 섀시의 공기 흐름 방향은 시뮬레이션 소프트웨어를 통해 평가되어 환기를 최적화했습니다. 고성능 팬과 방열판을 장착해 방열 성능을 더욱 강화했습니다. 자동 팬 속도 제어 프로그램은 섀시의 중요한 지점의 온도를 모니터링하고 그에 따라 해당 팬의 속도를 조정합니다. 팬 속도 프로필을 수동으로 조정하여 열 관리와 전력 효율성 간의 적절한 균형을 유지할 수도 있습니다. GIGABYTE의 G363-SR0

과 같은 특정 AI 서버 NVIDIA HGX™ H100 4-GPU 모듈과 통합된 GPU 서버인 는  액체 냉각 도 지원합니다 . 이는 서버의 주요 구성 요소 주위를 감고 열을 흡수하는 냉각 루프를 통해 액체 냉각수를 펌핑하는 혁신적인 새로운 열 관리 방법입니다. 액체 냉각은 프로세서의 잠재력을 최대한 활용하는 동시에 데이터 센터의 전체  PUE를 향상시킬 수 있는 잠재력을 가지고 있습니다 .

액체 냉각의 정점은  침수 냉각 으로, 비전도성 유전체 유체 욕조에 서버를 직접 담그는 방식입니다. GIGABYTE는 단상 및 2상 침수 냉각 솔루션을 모두 제공합니다  . 예를 들어  A1P0-EB0 는 표준 19인치 EIA 서버용으로 설계된 원스톱 침수형 냉각 솔루션이고,  A1O3-CC0 은 OCP 서버용  으로 설계되었습니다   .  GIGABYTE의 AI 서버는 전체 PUE를 더욱 향상시키면서 TDP를 최적화하는 이러한 고급 냉각 방법과 함께 작동하도록 수정될 수 있습니다  .

자세히 알아보기:
《GIGABYTE 전용  고급 냉각 솔루션 미니 사이트 방문 》
《기술 가이드:  서버에 적합한 냉각 솔루션을 선택하는 방법은 무엇입니까? 》
다음은 AI 서버용 전원 공급 장치, 열 관리, 확장 슬롯 및 I/O 포트를 선택하는 방법에 대한 몇 가지 간단한 지침입니다.
AI 서버에 적합한 확장 슬롯을 선택하는 방법은 무엇입니까?
확장  성 (필요할 때 컴퓨팅 도구 키트를 확장할 수 있는 여유 공간)이 중요하므로 AI 서버의 확장 슬롯에 주의를 기울이는 것을 잊어서는 안 됩니다. 잘못된 선택은 없지만 몇 가지 사항을 염두에 두는 것이 도움이 됩니다.

먼저, PCIe Gen5 슬롯을 찾으십시오. 많을수록 더 좋습니다. PCIe Gen5의 대역폭은 128GB/s이고 데이터 전송 속도는 32GT/s입니다. 둘 다 이전 세대에 비해 100% 증가했습니다. 이 슬롯을 사용하면 데이터 전송, 데이터 압축, 데이터 저장, 데이터 보안 및 CPU에 대한 데이터 분석을 처리할 수 있는 추가 그래픽 카드,  RAID  카드는 물론 앞서 언급한 DPU도 추가하여 서버 성능을 더욱 향상시킬 수 있습니다.

버스 표준 외에도 섀시에 사용할 수 있는 물리적 공간도 있습니다. FHFL(전체 높이, 전체 길이) 및 HHHL(절반 높이, 절반 길이)과 같은 약어가 표시되며 이는 LP(로우 프로파일)와 동일합니다. 이러한 설명은 확장 슬롯이 작동하도록 설계된 카드의 크기를 나타냅니다. 더 작은 카드가 더 큰 카드용으로 설계된 슬롯에 들어갈 수 있지만 그 반대는 불가능하다는 점은 주목할 가치가 있습니다. 따라서 슬롯의 다양성과 달성하려는 컴퓨팅 밀도 중에서 선택해야 합니다. OCP 네트워킹 및 저장소 카드에 필요한 OCP 메자닌 슬롯은 이러한 추가 기능을 사용할 가능성이 있는 경우 AI 서버에서도 사용할 수 있어야 합니다.
 
 
AI 서버에 적합한 I/O 포트를 선택하는 방법은 무엇입니까?
AI 서버에서 마지막으로 고려해야 할 사항은 스위치, 디스플레이 및 기타 서버와 같은 외부 장치에 연결하는 방법입니다. 언제나 그렇듯이, 기본 원칙은 가장 진보된 기술을 더 많이 확보하려고 노력하는 것입니다.  1Gb/s 또는 10Gb/s 전송 속도, USB 3.0 이상(예: USB 3.2)을 지원하는 LAN 포트를 목표로 하세요  .

또한 서버에 MLAN이라고도 하는 전용 관리 포트가 있는지 확인할 수도 있습니다. 이는 서버의  BMC 에 대한 보안 액세스를 제공하므로 보다 편리한 서버 관리 방법을 원하는 경우 유용할 수 있습니다. 모든 것이 준비되면 AI 워크로드에 이상적으로 적합한 슈퍼컴퓨팅 플랫폼을 갖게 됩니다.

"AI에 적합한 서버를 선택하는 방법"에 관한 GIGABYTE 기술 가이드를 읽어주셔서 감사합니다. 2부: 메모리, 스토리지 등”. 이 기사가 도움이 되고 유익한 정보가 되었기를 바랍니다. 
이전글 [GIGABYTE] 의료 및 의료 산업에서 AI를 활용하는 방법
다음글 [GIGABYTE] 지리적 경계를 뛰어넘다! BIM 기술 혁신 센터
리스트