- 글쓴시간
- 분류 기술,IT
구글의 차세대 TPUs (Tensor Processing Units) 인 Ironwood 가 주목받고는 있습니다.


구글의 Ironwood 클러스터의 일부
하지만 뭔가 관심이 너무 과한것 같아 글을 남겨봅니다.
TPU 라는건 딱히 신기할건 없습니다. nVidia 의 GPU 에도 TPU 와 유사한 Tensor Core 가 있기도 하구요. 필요한 데이터를 미리 연산 유닛에 전부 로드시켜 놓고 파이프 라인 및 연산 어레이를 통해 동시에 연산하는거니까요. 굉장히 빠른 연산이 가능하기 때문에 GPU 던 TPU 던 많은 곳에서 이런형태의 연산 유닛이 있습니다.


Ironwood 소켓의 영상. 수냉 쿨러가 인상적이다.
TPU 는 주로 AI 추론용 칩입니다. AI 학습에서도 사용 가능하지만 매우 제한적인 용도로만 사용할 수 있습니다. 물론 AI 학습보다 AI 추론에 사용될 GPU/TPU 가 훨씬 많아질거라, TPU 가 추론용이라고 폄하하는건 아닙니다. 특히 AI 서비스가 점점 많아지고 일상생활에서도 알게 모르게 AI 를 사용하려면, 이런 형태의 추론용 칩은 앞으로도 굉장히 많이 필요하게 될겁니다. 즉 학습용 칩보다 추론용 칩이 훨씬 많이 필요합니다.
Ironwood Chip Spec
- 4614 TFLOPS (FP8)
- Memory: 192 GB HBM, 7.37 TB/s
- Interconnect: 1.2 TBps
- 9216 개의 칩을 사용한 Pod Size 구성 가능


