AI 반도체 연구 동향, 연산 성능보다 메모리와 전력이 먼저 막힌다

국내외 AI 반도체 연구 동향을 정리한 논문과 보고서가 계속 나온다. 대부분 GPU, NPU, PIM, 뉴로모픽으로 유형을 나누고 각국의 투자 규모와 특허 건수를 비교한다. 그런데 현장에서 보는 문제는 유형 분류가 아니다. 칩이 얼마나 빨리 계산하느냐보다, 데이터를 얼마나 빨리 가져오고 발생한 열을 어디로 빼느냐에서 먼저 막힌다.

배경: 왜 중요한가

AI 반도체는 학습과 추론에 쓰이는 행렬 연산을 범용 CPU보다 효율적으로 처리하도록 설계한 칩을 통칭한다. 연구 동향 문헌은 보통 이 범주를 GPU 계열, 특정 연산에 최적화한 NPU(신경망처리장치), 메모리 안에서 연산을 수행하는 PIM(Processing-in-Memory), 뇌 신경 구조를 모사한 뉴로모픽 칩으로 구분한다. 참조한 KISTI 논문의 본문은 공개 페이지에서 확인되지 않아, 이 글은 공개적으로 알려진 산업 수치로 서술한다.

이 분류가 중요한 이유는 각 유형이 서로 다른 병목을 겨냥하기 때문이다. GPU는 연산기 수를 늘리는 방향으로, PIM은 메모리와 연산기 사이의 데이터 이동을 줄이는 방향으로, 뉴로모픽은 이벤트가 있을 때만 전력을 쓰는 방향으로 간다. 어떤 유형이 우세해지느냐는 결국 지금 가장 비싼 자원이 무엇인가에 달려 있다.

그 자원은 이미 연산이 아니다. 공개된 학술 자료 기준으로 32비트 부동소수점 곱셈 한 번의 에너지는 수 pJ 수준인데, 같은 32비트를 외부 DRAM에서 읽어오는 데는 수백 pJ가 든다. 두 자릿수 이상 차이가 난다. 연산기를 아무리 늘려도 데이터를 공급하지 못하면 연산기는 놀고, 전력은 데이터 이동에 쓰인다. 연구 동향에서 HBM과 PIM 비중이 커지는 이유가 여기에 있다.

핵심: 일반 기사가 놓치는 지점

기사는 "몇 TOPS(초당 테라 연산)를 달성했다"는 숫자를 헤드라인으로 쓴다. 현장에서는 그 숫자를 거의 믿지 않는다. TOPS는 연산기가 전부 가동된다는 가정의 이론값이고, 실제 가동률은 모델 구조와 메모리 대역폭에 따라 크게 떨어진다. AI 반도체의 실질 성능은 TOPS가 아니라 와트당 유효 처리량과 메모리 대역폭 대비 연산량 비율로 결정된다.

세부 포인트 1: HBM이 해법이면서 동시에 제약이 되는 이유

HBM(고대역폭 메모리)은 DRAM 다이를 수직으로 쌓고 TSV(실리콘 관통 전극)로 연결해 대역폭을 확보한다. 공개된 HBM3E 규격은 스택당 약 1.2TB/s 수준이다. 일반 서버용 DDR5 채널 하나가 수십 GB/s이니 자릿수가 다르다.

문제는 이 대역폭이 공짜가 아니라는 점이다. 12단 이상을 쌓으면 스택 전체 두께를 패키지 규격 안에 맞춰야 하므로 다이 하나를 수십 µm까지 얇게 갈아야 한다. 얇아진 다이는 휘고, 열이 위아래로 쌓이며, 아래층 다이는 위층보다 뜨거워진다. TSV 하나라도 불량이면 스택 전체가 불량이므로 단수가 늘수록 수율이 곱으로 떨어진다. 대역폭을 두 배로 올리는 설계는 가능하지만, 그 설계를 수율 있게 만드는 공정이 따라오지 못하면 원가가 감당되지 않는다. 연구 동향에서 HBM 다음 세대로 하이브리드 본딩이 반복해서 거론되는 이유가 이것이다. 범프 없이 구리와 구리를 직접 붙여 간격을 줄이고 열 저항을 낮추려는 시도인데, 표면 평탄도와 정렬 정밀도 요구가 훨씬 까다롭다.

세부 포인트 2: SRAM이 더 이상 작아지지 않는다

칩 안에서 가장 빠른 메모리는 SRAM이다. NPU 설계의 상당수는 외부 메모리 접근을 줄이기 위해 온칩 SRAM을 최대한 키운다. 그런데 공개된 파운드리 자료 기준으로 3nm급 공정의 SRAM 비트셀 면적은 5nm급 대비 거의 줄지 않았다. 로직 트랜지스터는 계속 작아지는데 SRAM은 멈춘 것이다. 셀을 구성하는 6개 트랜지스터 중 일부가 더 이상 미세화 이득을 받지 못하고, 누설 전류와 안정성 문제로 동작 전압을 낮추기도 어렵기 때문이다.

이 사실이 뜻하는 바는 단순하다. 공정 세대를 올려도 온칩 메모리 용량은 비례해서 늘지 않고, 칩 면적에서 SRAM이 차지하는 비중은 오히려 커진다. 연산기를 위한 면적이 줄어드는 셈이다. 최근 연구가 칩렛으로 SRAM을 별도 다이에 분리하거나, 메모리 계층을 새로 짜는 쪽으로 가는 배경이다. 다만 다이를 나누면 다이 사이 인터커넥트 지연과 전력이 추가되므로, 어디서 자르느냐가 새로운 설계 변수가 된다.

한 가지 더 있다. 공개된 상위 GPU 제품의 TDP(열설계전력)는 700W 수준이고 차세대는 1,000W를 넘는다. 이런 칩을 랙 하나에 수십 개 넣으면 랙당 100kW를 넘어서는데, 통상 공랭 데이터센터의 랙 설계 기준은 그 몇 분의 일이다. 칩 연구가 아무리 앞서도 냉각과 전력 인프라가 따라오지 않으면 배치가 안 된다. AI 반도체 연구 동향이 칩 논문에서 그치지 않고 액체 냉각과 전력 반도체까지 넓어지는 이유다.

그래서 뭘 봐야 하나

첫째, 신제품 발표에서 TOPS보다 메모리 대역폭과 전력 수치를 먼저 확인할 필요가 있다. 대역폭 대비 연산량 비율이 높은 칩은 실제 워크로드에서 가동률이 낮을 가능성이 있다.

둘째, HBM 단수 경쟁보다 수율과 열 관리 기술의 진척을 봐야 한다. 하이브리드 본딩, 다이 박막화, 언더필 소재 같은 후공정 영역이 병목이며, 여기에 필요한 장비와 소재 공급망은 칩 설계사보다 범위가 넓다.

셋째, 칩 외부의 제약이 실제 도입 속도를 정한다. 데이터센터 전력 확보, 냉각 방식 전환, 전력 반도체 수급은 칩 성능과 무관하게 일정에 영향을 준다. 국내 NPU 연구가 상용 수준 소프트웨어 스택 없이 벤치마크 수치만 앞서는 경우, 그 격차는 하드웨어가 아니라 컴파일러와 생태계에서 벌어진다는 점도 함께 볼 부분이다.

어느 항목도 특정 방향을 단정할 근거는 아니다. 다만 연구 동향에서 비중이 커지는 주제가 연산기 자체에서 메모리, 패키징, 전력으로 옮겨가고 있다는 흐름은 공개 자료로도 확인된다.

AI 반도체 경쟁은 계산 속도의 경쟁으로 보이지만, 실제로 순위를 가르는 것은 데이터 이동 비용과 열이다. 연구 동향 문헌이 유형 분류에 머무는 동안, 현장의 병목은 이미 메모리 대역폭과 와트당 성능으로 이동했다. 다음 세대 승부는 연산기를 더 넣는 쪽이 아니라 데이터를 덜 움직이고 열을 덜 내는 쪽에서 갈릴 가능성이 크다.