TL;DR

  • TechInsights가 AWS Trainium2 실물을 확보해 역설계 분석을 진행 중이며, 비공개였던 칩의 물리적 구현을 측정·이미징·문서화해 독립적으로 규명할 계획임.
  • Trainium2는 세계 최대 규모의 인공지능(AI) 인프라 일부를 구동하며, Trainium3가 출시된 뒤에도 대규모 비 GPU 인공지능 가속기 군의 주력 제품으로 남아 있음.
  • AWS가 공개한 사양은 칩당 NeuronCore 8개와 고대역폭 메모리(HBM) 96GiB이며, 다이 구성·패키징·메모리 공급 업체·트랜지스터 수·전력 공급·입출력(I/O)은 확인되지 않은 상태임.
  • 분석 프로그램은 다이 플로어플랜, 인터커넥트 및 패키징, 전력 공급 및 신호 무결성의 세 보고서로 구성됨.
  • TechInsights는 패키지가 2개의 2.5차원(2.5D) 어셈블리로 이뤄졌다는 점을 바탕으로 어셈블리 내부와 사이의 연결 방식, 설계 재사용, 연산 영역과 온칩 메모리 간 설계 절충을 조사할 예정임.

Trainium2가 중요한 이유

  • 하이퍼스케일러의 맞춤형 실리콘은 실험 단계를 넘어 인프라로 자리 잡았으며, Trainium2가 이를 보여주는 사례임.
  • Trainium2는 세계 최대 규모의 인공지능 인프라 일부를 구동하며, AWS의 관련 투자는 계속 확대되고 있음.
  • Trainium3가 이미 시장에 나왔지만 Trainium2는 세계 최대 규모의 비 GPU 인공지능 가속기 군 가운데 하나에서 여전히 주력으로 사용됨.
  • 이러한 규모에도 Trainium2는 실제 배치된 가속기 중 이해도가 낮은 제품에 속함. 독립 제품으로 판매되지 않아 AWS 인프라 안에서만 이용할 수 있고, Amazon은 핵심 반도체 세부 정보를 공개하지 않았음.

공개된 정보와 미공개 정보

  • AWS는 시스템 수준에서 Trainium2 칩마다 NeuronCore 8개와 HBM 96GiB가 탑재된다고 공개함.
  • 실리콘의 구성 방식, 패키징, 메모리 공급 업체, 트랜지스터 수, 전력 공급 및 입출력 처리 방식 등 물리적 구현의 세부 사항은 확인되지 않음.
  • 이번 분석은 마케팅 사양을 실측하고 이미징 및 문서화한 사실로 보완하는 데 초점을 둠.

연구소에 도착한 장치

  • TechInsights 연구소에 Trainium2 실물이 도착했으며, 분석팀은 세 부분으로 구성된 역설계 프로그램에 착수함.
  • 세 보고서는 Trainium2에 대한 가장 완전한 독립 분석을 제공하는 것을 목표로 함.

다이 플로어플랜 분석(HPW-2609-801)

  • 연산 실리콘의 공정 노드를 식별하고 다이의 기능 블록을 분석함.

인터커넥트 및 패키징 분석(HPY-2609-801)

  • Trainium2의 연산 실리콘과 메모리가 패키징되고 연결되는 방식을 문서화하며, 함께 패키징된 HBM을 식별함.

전력 공급 및 신호 무결성 분석(HPP-2609-802)

  • AWS가 메인보드를 거쳐 인터포저까지 전력과 신호를 실리콘에 전달하는 방식을 문서화함.

예상 분석 내용

  • AWS의 Trainium2 언론 사진에서는 2개의 2.5D 어셈블리로 구성된 패키지가 확인되지만, 두 어셈블리 간 통신 방식은 공개되지 않음.
  • 분석에서는 각 어셈블리 내부와 어셈블리 사이의 인터커넥트 구조를 밝히고, 설계 재사용이 패키지 구성에 미친 영향을 살펴볼 예정임.
  • Trainium2는 통합 시스템 접근을 중심으로 한 긴밀한 통합 설계를 반영할 것으로 예상됨.
  • 연산 영역과 온칩 메모리 간 균형, 설계 절충 지점, 표준 셀 라이브러리 사용 방식, Trainium2의 구조가 Trainium3 이후 제품의 방향에 시사하는 바를 살펴볼 예정임.

분석 결과 알림

  • TechInsights 플랫폼에서 각 보고서의 Follow를 선택하면 보고서별 분석 결과가 게시될 때 알림을 받을 수 있음.
  • 다이 플로어플랜 분석(HPW-2609-801)
  • 인터커넥트 및 패키징 분석(HPY-2609-801)
  • 전력 공급 및 신호 무결성 분석(HPP-2609-802)