엔비디아, 베라 루빈 HBM4 대역폭 약 13% 낮춰…사유 설명 없어

엔비디아가 서버용 Rubin GPU의 메모리와 인터커넥트 대역폭 사양을 이전 목표보다 낮춘 것으로 드러났다. GPU 한 개의 HBM4 대역폭은 초당 22TB에서 19.2TB로 약 13% 줄었다. 엔비디아는 보도자료나 별도 설명을 내지 않았고, 9월에 공식 웹페이지와 데이터시트의 수치를 고쳤다고 ServeTheHome과 Silicon Report는 전했다. 양산 하드웨어는 4분기에 클라우드 사업자에게 출하되기 시작한다.

무엇이 바뀌었나

엔비디아 공식 사양표에는 Rubin GPU 1개의 HBM4 용량 288GB, 메모리 대역폭 19.2TB/s, 6세대 NVLink 대역폭 3TB/s, 네트워킹 대역폭 0.45TB/s로 올라 있다. 이전 예비 사양은 메모리 22TB/s, NVLink 3.6TB/s였다. 22TB/s에서 19.2TB/s로 내려가면 12.7% 감소다. NVLink는 17% 줄었다. 반면 네트워킹 대역폭은 0.4TB/s에서 0.45TB/s로 늘었다.

HBM4의 핀당 데이터 속도는 약 10.75Gbps에서 약 9.375Gbps로 낮아졌다. 랙 단위인 Vera Rubin NVL72에서는 GPU 메모리 대역폭이 1,580TB/s에서 1,400TB/s로, NVLink 대역폭이 260TB/s에서 216TB/s로 줄었다. 엔비디아 사양표의 랙 네트워킹 대역폭은 32.4TB/s(양방향 기준)다. ServeTheHome은 이 수치가 이전 28.8TB/s보다 늘었다고 전했다.

8개 GPU를 묶은 HGX Rubin NVL8 시스템의 변화 폭은 더 크다. 두 매체에 따르면 GPU 메모리 대역폭은 176TB/s에서 130TB/s로 약 26% 줄었고, HBM4 용량은 2.3TB에서 2.0TB로 내려갔다. FP4 학습 처리량은 280PFLOPS에서 270PFLOPS로, FP8 학습은 140PFLOPS에서 130PFLOPS로 낮아졌다. 이 사양표는 HGX Rubin NVL8과 관련 DGX 시스템에 모두 적용된다고 ServeTheHome은 설명했다.

바뀌지 않은 값도 있다. GPU당 FP4 추론 50PFLOPS와 FP4 학습 35PFLOPS 등 이론 연산 성능은 그대로다. 두 매체는 GPU당 접근 가능한 메모리가 약 250GB라며, HBM4 스택 8개 중 7개만 쓰는 구성이라고 분석했다.

사유와 영향

엔비디아는 낮춘 이유를 밝히지 않았다. ServeTheHome은 메모리 컨트롤러 속도 한계, 스택 자체의 속도 한계, 목표 속도를 만족하는 스택의 수율 문제 또는 이들의 조합을 가능성으로 꼽았다. Silicon Report도 원인이 컨트롤러, 수율, 발열 중 무엇인지 알 수 없다고 적었다. 모두 매체의 추정이며 확인된 원인은 아니다.

ServeTheHome에 따르면 이전 사양은 “모든 값은 변경될 수 있다”는 문구와 함께 예비값으로 표시돼 있었다. 출하 전에 사양이 바뀌는 일이 서버 하드웨어에서 드물지는 않다고 이 매체는 덧붙였다. Silicon Report는 웨이백머신 기록을 근거로 변경 시점을 9월 1일부터 11일 사이로 추정했다.

바뀐 사양도 비교 대상보다는 높다. 수정 후 19.2TB/s는 이전 세대 Blackwell(8TB/s)의 약 2.4배라고 Silicon Report는 전했다. 핀당 9.375Gbps는 JEDEC HBM4 기준인 8Gbps를 웃돌고, ServeTheHome이 소개한 AMD MI455X의 HBM4 속도 7.6Gbps보다도 빠르다.

다만 실제 성능에 미치는 영향은 불분명하다. 워크로드마다 병목이 메모리 대역폭인지 네트워크인지 달라서다. Silicon Report는 엔비디아 엔지니어들이 7월 기술 글에서 디코드 작업이 메모리 서브시스템에 제약받는다고 썼다고 전했다. 대역폭 하향이 추론 성능에 영향을 줄 수 있다는 뜻이다. 데이터센터 운영자들이 소프트웨어 커널 최적화로 좁아진 여유를 메울 수 있는지 시험할 것이라고 이 매체는 내다봤다.