NVidia H100

NVIDIA H100 Tensor Core GPU는 Hopper 아키텍처의 일부로, AI 및 고성능 컴퓨팅을 위해 설계된 매우 고급 GPU입니다. H100의 주요 사양은 다음과 같습니다.

1. 트랜지스터 수: 무려 800억 개의 트랜지스터가 있어, 그 복잡성과 능력을 나타낸다.
2. 열 설계 전력(TDP): H100은 700와트의 TDP를 가지고 있으며, 이는 이전 세대보다 훨씬 높아 성능 능력이 증가했음을 반영한다.
3. 제조 공정: H100은 TSMC의 4N 공정으로 제작되었으며, 이는 TSMC의 N5 기술의 업데이트된 버전으로 더 나은 전력/성능 특성을 제공한다.
4. 메모리 및 대역폭: 높은 메모리 대역폭을 특징으로 하며, NVIDIA는 H100에 HBM3 메모리를 사용. 이는 각각 16GB 메모리의 6개 스택으로 구성되어 있으며, 1개의 스택이 비활성화되어 총 80GB의 HBM3 메모리가 된다. 메모리는 4.8Gbps/핀의 데이터 속도로 실행되며, 5120비트 메모리 버스에 연결되어 3TB/초의 대역폭을 제공한다.
5. 아키텍처 특징: H100은 네 번째 세대의 Tensor 코어와 FP8 정밀도의 Transformer 엔진을 통합하여, GPT-3와 같은 모델의 훈련 속도를 최대 4배까지 높일 수 있다. 또한, 동적 프로그래밍 알고리즘의 성능을 크게 향상시키는 새로운 DPX 명령을 특징으로 한다.
6. 성능 향상: 그 전 A100에 비해, H100은 AI 훈련 및 추론 모두에서 상당한 성능 향상을 제공하며, 고성능 컴퓨팅(HPC) 애플리케이션의 경우 최대 7배 높은 성능을 제공한다.
7. 형태 요소: H100은 고성능 서버용 SXM 메자닌과 더 일반적인 서버용 PCIe 카드의 두 가지 형태로 제공된다.
8. 트랜스포머용 특수 Tensor 코어: H100의 독특한 측면은 자연 언어 처리 및 컴퓨터 비전에서 특히 유용한 트랜스포머 ML 모델을 가속화하기 위해 설계된 특수한 텐서 코어인 트랜스포머 엔진이다.

이 GPU는 기술에서 상당한 도약을 나타내며, 특히 AI 및 머신 러닝 워크로드 측면에서 GPU 기술의 중요한 발전을 나타낸다.