HBM이란 무엇인가: 추론 AI가 메모리를 병목으로 만든 구조적 이유

「반도체 메모리 완전정복」 연재 · 1번째 글
이 글은 「반도체 메모리 완전정복」 연재의 출발점입니다.

요즘 반도체 기사를 읽다 보면 유독 자주 보이는 단어가 있습니다. HBM과 메모리 슈퍼사이클입니다. 그런데 많은 분들이 여기서 바로 막힙니다. D램은 알겠는데 HBM은 무엇이 다르고, 왜 갑자기 메모리가 다시 산업의 중심으로 올라왔는지 감이 잘 잡히지 않기 때문입니다.

지금 이 주제를 이해하려면 주가나 수혜주보다 먼저, AI가 커질수록 왜 계산칩보다 메모리가 더 중요해지는가를 이해해야 합니다. 2026년에는 전체 AI 연산의 66%가 학습이 아니라 추론이 됐고, 이 추론 단계가 대표적인 메모리 대역폭 의존 작업으로 설명됩니다.^[32][40]

먼저 정의부터: HBM은 무엇이고, 왜 특별한가

쉽게 말해 HBM은 GPU 옆에 바짝 붙여 놓은 초고속 메모리입니다. 일반 D램이 넓은 도로를 따라 멀리서 데이터를 실어 나르는 트럭이라면, HBM은 경기장 바로 옆에 붙어 있는 대형 물류창고에 가깝습니다. 멀리서 천천히 가져오는 대신, 아주 가까운 곳에서 엄청 넓은 통로로 한꺼번에 밀어 넣는 방식입니다.

이 차이를 숫자로 보면 더 분명합니다. H100은 80GB HBM3, 3.35TB/s 대역폭, H200은 141GB HBM3e, 4.8TB/s, B200은 192GB HBM3e, 최대 8TB/s, 그리고 2026년 하반기 Rubin R100은 288GB HBM4, 최대 22TB/s로 제시됩니다.^[49][57] 같은 “메모리”라도 세대가 바뀔수록 단순 저장공간이 아니라, AI 처리 속도를 결정하는 핵심 부품이 되고 있다는 뜻입니다.

HBM이 특별한 이유는 속도만이 아닙니다. 구조 자체가 다릅니다. 여러 개의 메모리 다이를 수직으로 쌓고, 이를 넓은 인터페이스로 GPU와 연결합니다. HBM4는 인터페이스 폭이 1,024비트에서 2,048비트로 두 배로 넓어졌고, 스택당 대역폭도 2TB/s 이상으로 설명됩니다.^[53][62] 물을 더 빨리 보내려면 펌프만 세게 돌리는 것이 아니라, 파이프 자체를 굵게 만들어야 하는데 HBM4가 바로 그런 변화입니다.

이 때문에 HBM은 단순한 “고급 D램”이 아닙니다. 메모리, 패키징, 열관리, 수율, 장비까지 다 엮이는 시스템 기술에 가깝습니다. 그래서 공급이 쉽게 늘지 않고, 한번 우위를 잡은 기업이 강한 해자를 만들기 쉽습니다.

한 줄 정리: HBM은 GPU 가까이에 붙는 초고속·초근접 메모리이며, AI 시대에는 저장장치가 아니라 성능 병목을 푸는 핵심 인프라입니다.

왜 하필 지금 메모리가 병목이 됐을까

초보자에게는 이 대목이 가장 중요합니다. AI는 원래 “계산을 많이 하는 산업”처럼 보이지만, 실제 서비스 단계에서는 계산보다 데이터를 얼마나 빨리 불러오느냐가 더 중요해집니다.

이를 이해하려면 AI 작업을 두 단계로 나눠보면 좋습니다. 첫째는 질문을 한꺼번에 읽고 문맥을 파악하는 단계이고, 둘째는 답을 한 토큰씩 차례대로 뽑아내는 단계입니다. 이 두 번째 단계가 바로 오토리그레시브 디코드, 즉 한 글자씩 이어 쓰는 과정입니다.^[36][40] 사람이 시험 답안을 머릿속에서 한 줄씩 꺼내 적는 장면을 떠올리면 비슷합니다. 손이 느린 게 아니라, 매번 참고자료를 다시 펼쳐봐야 해서 시간이 걸리는 것입니다.

문제는 이 디코드 단계가 연산량보다 메모리 읽기량에 더 묶인다는 점입니다. 마이크로소프트 연구는 토큰 생성 단계가 메모리 집약적이라고 설명했고,^[36] 다른 자료들은 이 단계가 메모리 대역폭 한계에 묶이는 전형적인 워크로드라고 정리합니다.^[39][40] 70B 모델을 FP16으로 돌리면 가중치만 약 140GB가 필요하다는 설명도 나옵니다.^[51][68] 즉, 매번 답 한 토큰을 만들 때마다 엄청난 양의 데이터를 빠르게 읽어 와야 합니다.

그래서 AI가 똑똑해질수록 계산칩만 키운다고 해결되지 않습니다. 스포츠카 엔진을 더 키워도, 도로가 1차선이면 차는 막힙니다. 지금의 AI는 바로 그 1차선 문제를 겪고 있고, HBM은 그 도로를 넓히는 역할을 합니다.

한 줄 정리: 지금 AI의 느린 지점은 ‘계산 부족’보다 ‘메모리를 빨리 읽지 못하는 문제’이며, 그래서 HBM 가치가 급격히 커졌습니다.

추론이 늘수록 왜 HBM 수요가 폭발하는가

학습은 큰 프로젝트를 한 번 돌리는 공사라면, 추론은 매일 수많은 사용자가 동시에 접속하는 서비스 운영에 가깝습니다. 공사는 기간이 끝나면 멈추지만, 서비스는 멈추지 않습니다. 이 차이가 메모리 수요 구조를 완전히 바꿉니다.

2026년 기준 AI 연산에서 추론 비중은 66%로, 2~3년 전 33% 수준에서 완전히 뒤집혔습니다.^[32][33] 이는 AI 수요의 중심이 “모델을 만드는 회사”에서 “모델을 계속 돌려야 하는 서비스 사업자”로 이동하고 있음을 뜻합니다. 질문이 계속 들어오는 한, 메모리는 계속 필요합니다.

여기에 KV 캐시가 붙습니다. KV 캐시는 쉽게 말해 모델의 단기 기억장치입니다. 앞에서 나눈 대화 내용을 매번 처음부터 다시 계산하지 않기 위해 임시로 저장해 두는 공간입니다.^[41] 긴 대화를 하는 챗봇, 코드 문맥을 길게 읽는 AI 에이전트, 문서를 불러와 답하는 검색형 AI일수록 이 기억공간이 커집니다.

실제로 자료들은 문맥 길이가 두 배가 되면 KV 캐시 메모리도 두 배로 늘어난다고 설명합니다.^[34] 또 2024년 20만 토큰 수준이던 프런티어 컨텍스트 윈도가 현재 100만 토큰 이상으로 늘었다는 설명도 나옵니다.^[43] 128K 문맥에서 배치 32 기준 Llama 3 70B는 KV 캐시만 약 80GB가 필요하고, 100만 문맥에서는 600GB를 넘길 수 있다는 추정도 제시됩니다.^[44] 짧은 대화만 하던 메모가, 어느 순간 회의록 전체와 사내 문서를 다 들고 다녀야 하는 비서가 된 셈입니다.

이렇게 되면 HBM은 “있으면 좋은 부품”이 아니라, 긴 문맥·다중 사용자·에이전트형 AI를 실제 서비스로 굴리기 위한 필수 조건이 됩니다.

한 줄 정리: 추론 비중 확대와 KV 캐시 증가는 메모리 수요를 일회성이 아니라 상시형으로 바꾸며, HBM 부족을 구조적으로 심화시킵니다.

HBM은 어떻게 만들어지나: 구조를 뜯어보면 왜 공급이 빡빡한지 보인다

HBM 공급이 왜 쉽게 늘지 않는지는, 구조를 뜯어보면 바로 이해됩니다. 겉으로는 메모리 칩 몇 개를 쌓은 것처럼 보여도, 실제로는 적층·관통전극·본딩·열관리·수율이 한 몸처럼 묶여 있습니다.

핵심은 TSV, 즉 실리콘관통전극(실리콘을 수직으로 뚫어 위아래 칩을 연결하는 통로)입니다.^[184][198] 여러 장의 종이를 겹쳐 놓고 각 장에 정확히 같은 위치로 구멍을 뚫은 뒤, 그 구멍을 통해 전선을 연결한다고 생각하면 됩니다. 한 장이라도 어긋나면 전체 묶음이 불량이 됩니다.

HBM 제조 공정은 식각, 절연, 구리 충전, 연마, 웨이퍼 박막화, 범프, 본딩이 모두 연속으로 성공해야 하며, 한 다이의 TSV 불량이 전체 스택 폐기로 이어질 수 있다는 설명이 나옵니다.^[64] 그래서 HBM은 단순히 비싼 메모리가 아니라, 불량 하나의 비용이 매우 큰 메모리입니다.

세대가 올라갈수록 난도는 더 높아집니다. HBM3E는 스택당 약 1.2TB/s, 최대 36GB, HBM4는 2TB/s 이상, 최대 64GB로 제시됩니다.^[64][65] 속도와 용량이 올라간다는 것은 단지 성능 향상이 아니라, 더 촘촘한 연결과 더 어려운 열 제어를 의미합니다. 고층 아파트를 높게 짓는 것과 비슷합니다. 층수가 높아질수록 엘리베이터, 배관, 안전설계가 함께 어려워집니다.

이 구조 때문에 HBM은 메모리 업체 혼자 잘한다고 끝나지 않습니다. 전공정, 후공정, 패키징, 테스트, 본더 장비, 소재가 모두 맞물려야 합니다. 그래서 HBM 공급 부족은 대개 “돈이 부족해서”가 아니라, 기술적으로 바로 늘릴 수 없는 제약에서 옵니다.

한 줄 정리: HBM은 여러 칩을 정밀하게 수직 적층하는 고난도 구조라서, 수요가 늘어도 공급을 빠르게 늘리기 어렵습니다.

공급이 부족한 또 다른 이유: HBM은 웨이퍼를 많이 먹는다

여기서부터는 메모리 산업 구조를 이해하는 핵심입니다. 많은 분들이 “가격이 오르면 다들 증설하면 되지 않나”라고 생각합니다. 하지만 HBM은 기존 D램과 같은 방식으로 단순 증설이 되지 않습니다.

자료에 따르면 HBM은 DDR5보다 비트당 약 300% 더 많은 웨이퍼 면적을 필요로 합니다.^[168] 다른 분석에서는 HBM이 DDR5 대비 약 3배, HBM4는 4배 수준의 웨이퍼 잠식을 일으킨다고 설명합니다.^[145] 같은 밀가루로 식빵을 만들 수도 있고 케이크를 만들 수도 있는데, HBM은 훨씬 손이 많이 가고 재료도 더 많이 먹는 고급 케이크에 가깝습니다.

그 결과 2026년에는 HBM이 전체 DRAM 웨이퍼의 23%를 차지하며, 2025년 19%에서 더 올라간 것으로 제시됩니다.^[168] 즉 HBM 공급이 늘어나는 동시에, 범용 D램에 돌아갈 생산 여력은 줄어듭니다. 그래서 이번 사이클은 HBM만 타이트한 것이 아니라, 일반 DRAM 가격에도 연쇄 효과를 줍니다.

또한 신규 팹은 투자에서 양산까지 보통 2~2.5년이 걸린다고 설명됩니다.^[143] 모건스탠리 인용 자료에서도 공급 확대의 핵심 제약이 클린룸 부족과 EUV 장비 제한이라고 지적합니다.^[147] 오늘 투자 결정을 내린다고 해서 내일 물량이 나오는 산업이 아니라는 뜻입니다.

이 때문에 메모리 업체가 공격적으로 투자한다고 해도, 단기적으로는 공급 급증보다 공급 부족 완화 속도가 느리다는 구조가 유지될 가능성이 높습니다.

한 줄 정리: HBM은 일반 D램보다 훨씬 많은 웨이퍼와 복잡한 공정을 먹기 때문에, 증설 발표가 바로 공급 증가로 이어지지 않습니다.

이번 메모리 슈퍼사이클은 과거와 무엇이 다른가

메모리 산업은 원래 대표적인 경기순환 산업이었습니다. 과거에는 PC, 스마트폰, 서버 교체 주기에 맞춰 수요가 잠깐 늘고, 뒤늦게 공급이 과잉으로 들어오며 가격이 무너지는 패턴이 반복됐습니다.^[127][132]

실제 과거 피크 국면에서는 OEM과 유통 재고가 15~31주까지 늘어나는 경우가 많았는데, 2026년 초에는 재고가 2~4주 수준이라는 분석이 제시됩니다.^[126] 이 차이는 중요합니다. 예전에는 “미리 사서 쌓아두는 재고 축적”이 붕괴의 전조였지만, 지금은 고객들이 버퍼를 크게 쌓기보다 확보되는 물량을 바로 소화하는 상황이라는 뜻이기 때문입니다.

수요의 성격도 다릅니다. 이번 사이클은 마이크로소프트, 구글, 아마존, 메타 같은 빅테크의 AI 데이터센터 설비투자가 중심입니다.^[139][142] 소비자 가전 교체 수요보다 훨씬 규모가 크고, 일단 구축을 시작하면 전력·냉각·네트워크·메모리까지 함께 묶여 움직이는 특성이 있습니다.^[31]

그리고 이 구조적 수요는 이미 기업 실적으로 확인되고 있습니다. SK하이닉스는 2026년 1분기에 매출 약 52조5,000억원, 영업이익 약 37조6,000억원(영업이익률 약 72%), 순이익 약 40조원으로 분기 매출이 사상 처음 50조원을 넘는 창사 이래 최대 실적을 냈고, 삼성전자도 같은 분기에 영업이익 약 57조원, 순이익 약 47조원으로 역대 최대 실적을 기록했습니다(각사 2026년 1분기 실적 발표). 이 글의 핵심을 다시 떠올리면, 이번 호황의 결정적 차이는 그것이 장부상 평가가 만든 ‘회계 착시’가 아니라, 실제 현금을 벌어들이는 ‘진짜 이익’으로 나타나고 있다는 점입니다.

그래서 이번 사이클을 “완전히 새로운 산업”이라고 단정할 필요는 없지만, 적어도 과거와 똑같은 방식의 재고 사이클로만 보면 중요한 구조 변화를 놓치기 쉽습니다. 지금은 메모리가 AI 인프라의 부속품이 아니라, 인프라 자체의 병목이기 때문입니다.

한 줄 정리: 이번 사이클은 과거처럼 재고를 쌓아 만든 단기 호황보다, AI 인프라 투자와 메모리 병목이 결합한 구조적 수요에 더 가깝습니다.

왜 장기공급계약과 선수금이 등장했을까

메모리 산업을 오래 본 분일수록 이 변화가 낯설 수 있습니다. 예전 메모리는 가격이 너무 변동적이어서 고객도 공급사도 장기 약속을 꺼리는 편이었습니다. 그런데 지금은 오히려 긴 계약이 늘고 있습니다.

자료에 따르면 주요 고객들은 물량 배정을 받기 위해 10~30% 규모의 선수금을 미리 지급하고,^[165] 업계는 전통적인 스팟 구매에서 장기공급계약(LTA) 쪽으로 이동하고 있습니다.^[177] 마이크론은 16건의 전략적 고객 계약을 보유하고, 계약 기간은 3~5년으로 설명됩니다.^[175] 이것은 단순한 상업 조건 변화가 아닙니다. “언제든 사면 된다”는 시장에서 “지금 약속하지 않으면 못 산다”는 시장으로 바뀌었다는 뜻입니다.

이 구조를 일상적으로 비유하면, 항공권을 필요할 때마다 사던 단계에서 아예 몇 년치 좌석을 선결제해 두는 기업 고객 모델에 가깝습니다. 공급이 빡빡할수록 이런 계약은 공급사에게는 매출 가시성을, 수요자에게는 생산 안정성을 줍니다.

이런 변화는 메모리를 점점 원자재형 상품이 아니라 전략 자원처럼 보이게 만듭니다. 그래서 최근에는 메모리 업체의 이익을 예전처럼 자산가치 중심이 아니라, 지속 가능한 이익 중심으로 보려는 시각도 같이 커집니다.^[180][181]

한 줄 정리: 장기공급계약과 선수금 확산은 지금 메모리가 ‘남으면 사는 부품’이 아니라 ‘미리 확보해야 하는 전략 자원’이 되었음을 보여줍니다.

한국의 초대형 투자 계획은 무엇을 의미하나

국내 뉴스에서 가장 크게 보이는 숫자는 투자 규모입니다. 삼성전자와 SK하이닉스는 서남권 클러스터를 포함한 대규모 국내 반도체 투자 계획을 발표했고, 그중 서남권 메모리 팹에만 총 800조원 투입 계획이 제시됐습니다.^[1] 삼성전자는 국내 전체 투자 계획으로 2,655조원, SK그룹은 반도체에 1,100조원 규모 로드맵을 내놨습니다.^[2][5]

하지만 초보 독자가 꼭 구분해야 할 점이 있습니다. 발표된 투자 비전과 실제 완공 일정은 다를 수 있다는 점입니다. 삼성전자의 공시상 국내 투자 비전 종료일은 2040년 12월 31일이며, 정부가 제시한 2030년 목표와는 10년 간극이 있습니다.^[22] SK하이닉스 역시 전체 투자 일정은 향후 이사회 승인을 거쳐 확정한다고 밝혔습니다.^[22]

즉, 이 숫자들은 “내일부터 바로 공급이 쏟아진다”는 뜻이 아니라, 한국 메모리 산업이 장기적으로 AI 수요에 맞춰 생산기반을 크게 넓히겠다는 방향성에 가깝습니다. 반도체 팹은 전력, 용수, 부지, 인허가, 주거, 인력까지 함께 움직여야 하므로, 발표만으로 완성되지 않습니다.^[10][23]

서남권 클러스터에는 전력 6.3GW, 용수 65만톤/일이 필요하다는 추산도 나옵니다.^[10] 공장을 짓는 일은 건물만 세우는 것이 아니라, 작은 도시 하나를 만드는 일에 가깝습니다.

한 줄 정리: 한국의 초대형 투자 계획은 공급 확대 의지를 보여주지만, 실제 생산능력 증가는 긴 시간과 인프라 조건을 함께 필요로 합니다.

경쟁 구도는 한국만의 이야기가 아니다

HBM과 메모리 호황을 한국 기업 이야기로만 보면 절반만 보는 셈입니다. 지금 시장은 한국, 미국, 중국이 서로 다른 방식으로 동시에 움직이고 있습니다.

먼저 미국의 마이크론은 2026년 공급할 전체 HBM 계약을 이미 완료했다고 밝혔고,^[85] 2026년 HBM 생산물량이 전량 완판 상태라는 점이 여러 자료에서 반복됩니다.^[86][87] 또 미국 내 생산기반 확대와 CHIPS Act 지원도 받고 있습니다.^[91] 이는 한국 빅2만이 아니라, 미국도 메모리를 전략 자산으로 보고 있다는 뜻입니다.

중국에서는 CXMT가 2026년 5월 STAR 마켓 상장 심사 통과, 최소 295억위안 조달 계획, 그리고 1분기 매출 508억위안, 순이익 전년 대비 1,688% 증가가 제시됩니다.^[99][102] Q1 2026 기준 글로벌 DRAM 점유율도 약 8%로 올라왔다는 자료가 있습니다.^[94] 아직 선두권과 차이는 있지만, “없던 플레이어”로 보기엔 이미 너무 커졌습니다.

YMTC는 낸드 중심이지만, AI 메모리 계층이 HBM만으로 끝나지 않는다는 점에서 중요합니다. 엔터프라이즈 SSD와 냉(Cold) 스토리지 수요가 같이 커지면서 낸드도 AI 인프라의 일부가 되기 때문입니다.^[78][101]

정리하면, 지금 메모리 전쟁은 단순 점유율 싸움이 아니라 국가 단위 산업정책, 자본시장 조달, 인재 확보, 고객 인증이 한꺼번에 얽힌 경쟁입니다.

한 줄 정리: 메모리 슈퍼사이클은 한국만의 호황이 아니라, 미국의 전략 생산 확대와 중국의 빠른 추격이 동시에 진행되는 글로벌 경쟁 국면입니다.

미국 규제는 왜 중국을 더 키울 수도 있나

직관적으로는 규제가 강할수록 중국이 약해질 것 같지만, 실제 산업은 그렇게 단순하게 움직이지 않습니다. 외부 차단은 때로 내부 국산화를 더 강하게 밀어붙이게 합니다.

미국은 2025년 HBM 스택을 포함한 고성능 메모리를 수출통제 대상에 넣었고, 현재 생산 중인 HBM은 모두 해당 기준을 넘는다는 설명이 나옵니다.^[112] 여기에 장비·소프트웨어·중국향 첨단 공정 장비 제한도 이어집니다.^[113][117]

그런데 역설적으로 이런 정책은 중국 내부에서 국산 장비 비중 확대를 더 강하게 유도했습니다. 중국은 2025년 12월 이른바 50% 룰을 도입해 신규 팹 장비의 절반 이상을 국산으로 채우도록 요구했고,^[119] 2025년 말 중국의 신규·증설 12인치 팹 장비 지출 중 국산 비중 약 55%라는 자료도 제시됩니다.^[120] 미국이 문을 닫을수록, 중국은 자기 집 안의 공구를 더 빨리 키우는 구조가 된 셈입니다.

이런 흐름은 애플 같은 글로벌 기업의 공급망에도 영향을 줍니다. 메모리 부족과 가격 상승 속에서 애플이 CXMT 메모리 사용 허용을 미국 정부에 요청했다는 보도도 나왔습니다.^[95][124] 즉 규제는 안보 도구인 동시에, 시장에서는 새로운 우회와 재편을 만들어냅니다.

초보자 입장에서는 여기서 하나만 기억하면 됩니다. 반도체 규제는 단순 봉쇄가 아니라, 공급망 지형 자체를 바꾸는 힘이라는 점입니다.

한 줄 정리: 미국 규제는 중국을 막는 동시에 중국의 국산화와 공급망 재편을 더 빠르게 자극하는 양면 효과를 냅니다.

HBM이 커질수록 왜 소부장과 후공정이 중요해지나

HBM을 이해할 때 많은 분들이 삼성전자, SK하이닉스, 마이크론만 봅니다. 하지만 실제 병목은 종종 장비와 패키징에서 생깁니다. 집을 지을 때 시멘트보다 크레인과 철근 배치가 더 급한 순간이 있는 것과 비슷합니다.

특히 HBM에서는 TC 본더가 핵심입니다. TC 본더는 메모리 칩을 열과 압력으로 정밀하게 붙이는 장비입니다.^[199] 한미반도체는 2025년 3분기 누적 기준 HBM용 TC 본더 시장에서 71.2% 점유율로 1위를 기록했습니다.^[199][200] 적층 단수가 올라갈수록 본딩 정밀도는 수율과 직결되므로, 이런 장비는 단순 설비가 아니라 생산성의 열쇠가 됩니다.

테스트 쪽도 중요합니다. 리노공업은 테스트 핀·소켓 시장에서 70% 점유율을 보유하고, 20년 넘게 30~40%대 영업이익률을 유지해 왔습니다.^[196] 반도체가 더 복잡해질수록 “잘 만들었는가”만큼 “정확히 검사할 수 있는가”가 중요해지는 구조입니다.

전공정 쪽에서는 원익IPS, 주성엔지니어링, HPSP, 피에스케이 등이 HBM 전환과 미세화의 수혜 축으로 언급됩니다.^[192] 소재는 생산라인 가동과 함께 매출이 본격화되는 경향이 있어, 장비보다 한 박자 늦게 실적이 붙는다고 설명됩니다.^[184] 즉 소부장은 한 덩어리가 아니라, 장비-소재-검사-패키징이 서로 다른 타이밍으로 움직이는 생태계입니다.

한 줄 정리: HBM 시대의 진짜 병목은 메모리 칩 자체뿐 아니라 본딩·검사·패키징 장비와 소재에서도 나타나며, 그래서 소부장 가치가 커집니다.

마지막으로 정리하는 핵심 용어

처음 읽는 분이라면 용어가 가장 큰 장벽이었을 것입니다. 여기서는 글 전체를 다시 붙잡아 주는 최소한의 사전만 정리하겠습니다.

HBM

고대역폭메모리입니다. GPU 바로 옆에 붙어 아주 넓은 통로로 데이터를 빠르게 주고받는 적층형 메모리입니다.^[64] AI 성능에서 특히 중요합니다.

대역폭

메모리가 데이터를 얼마나 빨리, 얼마나 많이 옮길 수 있는지 뜻합니다. 수도관으로 치면 압력보다도 관의 굵기와 시간당 유량에 가깝습니다.^[39]

추론

이미 학습된 AI 모델이 실제 사용자 질문에 답하는 과정입니다. 2026년에는 전체 AI 연산의 66%를 차지합니다.^[32]

디코드

AI가 답을 한 토큰씩 순서대로 생성하는 단계입니다. 이때는 계산보다 메모리 읽기 속도가 더 중요해집니다.^[40]

KV 캐시

모델이 이전 문맥을 기억하기 위해 저장하는 임시 메모리입니다. 문맥이 길수록, 사용자가 많을수록 더 커집니다.^[41][74]

TSV

실리콘관통전극입니다. HBM처럼 여러 메모리 칩을 수직으로 쌓을 때 위아래를 연결하는 통로입니다.^[198]

TC 본더

칩을 열과 압력으로 붙이는 장비입니다. HBM 적층 품질과 수율에 큰 영향을 줍니다.^[199]

LTA

장기공급계약입니다. 메모리 부족이 길어지면서 고객이 몇 년치 물량을 미리 계약하는 구조입니다.^[177]

이 용어들을 한 줄로 연결하면 이렇게 됩니다. 추론이 늘고, 디코드와 KV 캐시가 커지며, 대역폭 병목이 심해지고, 이를 풀기 위해 HBM이 중요해지고, HBM을 만들기 위해 TSV와 TC 본더 같은 복잡한 공정이 필요해지며, 결국 공급 부족이 장기계약으로 이어진다는 흐름입니다.

이 한 문장만 머릿속에 남겨도, 앞으로 나오는 HBM 기사와 메모리 기사 대부분은 훨씬 쉽게 읽힐 것입니다.

한 줄 정리: HBM 관련 용어들은 따로 흩어진 말이 아니라, ‘추론 확대 → 메모리 병목 → 적층 메모리 확산 → 공급 제약’이라는 하나의 흐름으로 연결됩니다.

References

작성자 소개

amadas80

Administrator

웹사이트 방문 모든 글 보기