생성적 AI와 기타 인공 지능의 실용적인 응용이 등장하면서 "AI 서버"의 조달은 자동차부터 의료까지 다양한 산업, 학계 및 공공 기관 모두에서 우선 순위가 되었습니다. GIGABYTE Technology의 최신 기술 가이드에서는 가장 중요한 두 가지 구성 요소인 CPU와 GPU부터 시작하여 AI 서버의 8가지 주요 구성 요소를 단계별로 안내합니다. 올바른 프로세서를 선택하면 슈퍼컴퓨팅 플랫폼을 활성화하고 AI 관련 컴퓨팅 워크로드를 가속화할 수 있습니다.

완전하지는 않지만 이 순서도는 AI 워크로드에 가장 적합한 CPU 설정에 대한 좋은 아이디어를 제공합니다.

AI 서버에 적합한 GPU를 선택하는 방법은 무엇입니까?

AI 서버의 중수소는  그래픽 처리 장치 또는 GPU 입니다 . 이는 CPU가 AI 워크로드를 훨씬 더 빠르게 처리하는 데 도움이 되는 가속기 역할을 합니다. 그 이유는 GPU에는 CPU 도구 상자의 단순화된 버전이 탑재되어 있지만 그 수가 훨씬 더 많기 때문입니다. 결론은 GPU가 작업을 더 작은 세그먼트로 나누고  병렬 컴퓨팅을 통해 동시에 처리할 수 있다는 것입니다 . 특히 워크로드가 그래픽 데이터로 구성된 경우(AI의 경우가 자주 발생함)

자세히 알아보기:
《기술 가이드:  CPU와 GPU: 귀하에게 적합한 프로세서는 무엇입니까? 》 《 GIGABYTE의 GPU 서버
에 대한 추가 정보  》

AI 서버용 GPU를 선택할 때 다음과 같은 질문을 함으로써 분야를 좁히는 데 도움이 될 수 있습니다. AI 워크로드의 특성이 시간이 지남에 따라 급격하게 변할 가능성이 있습니까? 대부분의 최신 GPU는 매우 특정한 작업을 위해 설계되었습니다. 해당 칩 아키텍처는 AI 개발 또는 애플리케이션의 특정 하위 집합에 적합할 수 있습니다. 그러나 서버가 다양한 범위의 과제를 처리할 수 있는 유연성을 발휘하기를 원한다면  FPGA  ("필드 프로그래밍 가능 게이트 어레이") 구성을 기반으로 하는 GPU가 더 나은 선택일 수 있습니다. ASIC("응용프로그램별 집적 회로") 칩과 달리 FPGA 칩은 제조 후 다시 프로그래밍하여 다양한 기능을 수행할 수 있습니다. AMD가 인수한 Xilinx는 유명한 FPGA 칩 제조업체였습니다. 많은 GIGABYTE 서버는 FPGA 가속기와 호환됩니다.

다음으로 고려해야 할 질문은 AI 훈련  이나  추론 에 주로 참여할 것인지입니다  . 이 두 프로세스는 "제한된 메모리" AI의 모든 최신 반복의 기초입니다.  훈련 중에 AI 모델은 수십억, 심지어는 수조 개의 매개변수가 포함된 대량의  빅데이터를 수집합니다. 일관되게 올바른 출력을 생성할 수 있을 때까지 알고리즘의 "가중치"를 조정합니다. 추론 중에 AI는 훈련의 '기억'을 활용하여 현실 세계의 새로운 입력에 반응합니다. 이 두 프로세스는 모두 컴퓨팅 집약적이므로 작업 속도를 높이기 위해 GPU 확장 카드와 모듈이 설치됩니다.

자세히 알아보기:
《기술 가이드:  생성 AI를 활용하려면 "훈련" 및 "추론"에 대해 배워야 합니다. 》
《자주 묻는 10가지 질문으로 AI에 대한 지식을 강화하세요》

AI 훈련의 경우 특정 GPU에는 프로세스를 간소화할 수 있는 특수 코어와 "엔진"이 내장되어 있습니다. 좋은 예는 32페타플롭스 이상의 FP8  딥 러닝  성능을 제공할 수 있는 NVIDIA HGX™ H100 8-GPU입니다. 이 모듈은 GIGABYTE의  G593-SD0 ,  G593-SD2 및  G593-ZD2  서버에 통합되어 있습니다. NVIDIA HGX™ H100 4-GPU라고 하는 4개의 GPU가 포함된 모듈 변형도 있습니다. GIGABYTE G363-SR0 에 통합되어  액체 냉각을 지원하여  데이터 센터의  PUE를  높이는 동시에 칩의 잠재력을 최대한 활용합니다. . 각 H100 SXM5 GPU에는 새로운 FP8 데이터 유형을 사용하는 4세대 Tensor 코어와 모델 훈련을 최적화하는 "Transformer Engine"이 포함되어 있습니다. 최대 900GB/s의 대역폭을 제공하는 NVLink®는 프로세서를 연결하는 데 사용되며 NVSwitch는 클러스터를 조정하는 데 사용됩니다. AMD의 Instinct™ MI300X는 OCP(Open Compute Project)를

따르는 강력한 대안입니다.  OAM 표준. 그 전문 분야 중 하나는 엄청난 메모리와 데이터 처리량인데, 이는 LLM(대형 언어 모델)에서 볼 수 있는 것과 같은 생성 AI 워크로드에 중요합니다. 이를 통해 400억 개의 매개변수가 있는 모델인 Falcon-40과 같은 LLM을 단일 MI300X 가속기에서 실행할 수 있습니다. AMD Instinct™ 플랫폼은 AI 컴퓨팅의 최첨단 성능을 위해 최대 8개의 MI300X GPU를 결합하는 모듈입니다. 곧 GIGABYTE 서버에 출시될 예정입니다.

항상 그렇듯이, 예산 제약 내에서 유지하기 위해 약간의 성능을 포기해야 하거나 AI를 교육하는 데이터 세트가 그다지 방대하지 않은 경우 AMD 및 NVIDIA의 다른 제품을 고려할 수 있습니다. GIGABYTE는 AMD Instinct™ MI200 시리즈를 지원하는 포괄적인 솔루션 제품군을 보유하고 있습니다.  가속기의. GIGABYTE G493-SB0 ,  G293-S40 ,  G293-S41 및  G293-S45 에서 지원되는 NVIDIA L40S GPU는  AI 훈련에도 적극 권장됩니다. R162  -Z11  랙 서버는 컴퓨팅 모듈은 포함하지 않지만   최대 3개의 NVIDIA GPU를 지원할 수 있는 PCIe 슬롯이 있는 다목적 서버의 또 다른 좋은 예입니다.

자세히 알아보기: 《 GIGABYTE의 랙 서버
에 대한 추가 정보  》《사례 연구:  GIGABYTE GPU 서버가 NCKU의 슈퍼컴퓨팅 챔피언십 우승을 도왔습니다 .》

GPU는 AI 워크로드 처리의 핵심이므로 실제 요구 사항에 따라 올바른 옵션을 선택하는 것이 중요합니다.

 

AI 추론을 위해서는 사용자 시나리오별 장점이 있는 GPU를 찾아보세요. 예를 들어, 시장에 출시된 최고의 AI 추론 서버 중 하나는 GIGABYTE  G293-Z43 입니다 . 이 서버에는 2U 섀시에 16개의 AMD Alveo™ V70 카드로 구성된 고밀도 구성이 들어 있습니다. 이러한 GPU는 외부 메모리 없이 데이터가 AI 모델의 계층을 통과할 수 있게 해주는 적응형 데이터 흐름 아키텍처로 유명한 AMD의 XDNA™ 아키텍처를 기반으로 합니다. 이는 성능을 향상시키고 대기 시간을 낮추는 효과가 있어 G293-Z43은 매우 까다로운 AI 워크로드에 이상적인 솔루션이 됩니다. 여러 개의 PCIe Gen 4(또는 그 이상) 확장 슬롯이 있는 GIGABYTE 서버는 AI 추론 워크로드 처리를 목표로 하는 NVIDIA A2 Tensor Core GPU 및 L4 Tensor Core GPU와도 호환됩니다.

추론 워크로드가 주로 클라우드에서 발생하는 경우 전력 효율성 및 신호 처리와 같은 다른 속성이 거래를 성사시킬 수 있습니다. 이 시나리오에서는 클라우드 컴퓨팅의 고유한 요구 사항을 해결하므로 에지에서 보다 효과적으로 추론할 수 있는 Qualcomm® Cloud AI 100 GPU를 고려할 수 있습니다  . 이러한 가속기는 G 시리즈 GPU 서버, R 시리즈 랙 서버 및 E 시리즈 엣지 서버를 포함한 다양한 GIGABYTE 서버에 배포될 수 있습니다  .

마지막으로, AI 훈련에 대한 컴퓨팅 요구 사항은 일반적으로 추론보다 높기 때문에 대부분의 훈련 서버는 추론 워크로드에도 사용할 수 있습니다. 업계 리더들이 주도하는 또 다른 흥미로운 트렌드는 모든 범주의 AI 및 HPC 워크로드에 대해 두 가지 장점을 모두 제공하는 "CPU + GPU" 패키지입니다. GIGABYTE의 H223-V10  및  H263-V11  고밀도 서버에서 사용할 수 있는 NVIDIA Grace Hopper™ Superchip  과 AMD의 첫 번째 APU(가속 처리 장치)인 AMD Instinct™ MI300A는 모두 이 새로운 사고 방식의 완벽한 예입니다. . 현재 존재하는 가장 정교한 슈퍼컴퓨팅 플랫폼으로 작업하려면 이 제품을 선택하십시오.

"AI에 적합한 서버를 선택하는 방법"에 관한 GIGABYTE 기술 가이드를 읽어주셔서 감사합니다. 1부: CPU 및 GPU”. AI 서버의 다른 구성 요소를 선택하는 방법에 대해 자세히 알아보려면 "2부: 메모리, 스토리지 및 기타"를 읽어보세요. 이 기사가 도움이 되고 유익한 정보가 되었기를 바랍니다.