IIIa. 조 달러 클러스터 경쟁

IIIa. 조 단위 달러 클러스터 경쟁

가장 놀라운 기술-자본 가속화가 시작되었다. AI 수익이 급격히 증가함에 따라, 수조 달러가 10년 말까지 GPU, 데이터센터(datacenter), 전력 인프라 구축에 투입될 것이다. 산업 동원은 미국 전력 생산을 수십 퍼센트 이상 증가시키는 것을 포함하여 매우 강력할 것이다.

보시다시피, 나는 이 모든 나라를 공장으로 만들지 않고는 불가능하다고 말했지. 당신은 바로 그렇게 해냈어. 닐스 보어 (1944년 맨해튼 프로젝트 규모를 알게 된 후 에드워드 텔러에게)

AGI 경쟁은 단지 코드와 노트북 뒤에서 벌어지는 것이 아니다—미국의 산업력을 동원하는 경쟁이 될 것이다. 최근 실리콘밸리에서 나온 어떤 것과도 달리, AI는 거대한 산업 공정이다: 각 새로운 모델은 거대한 새로운 클러스터, 곧 거대한 새로운 발전소, 그리고 결국 거대한 새로운 칩 제조 공장을 필요로 한다. 관련 투자는 엄청나다. 그러나 이 모든 것은 이미 비밀리에 진행 중이다.

이 장에서는 이 상황이 무엇을 의미하는지 감을 잡을 수 있도록 수치를 안내할 것이다:

• AI 제품에서 나오는 수익이 급격히 증가함에 따라—2026년경 구글이나 마이크로소프트 같은 기업들이 강력하지만 범용 인공지능 이전 단계의 시스템으로 연간 1,000억 달러 매출에 도달할 가능성이 있다—

• 2028년까지 개별 훈련 클러스터 비용이 수천억 달러에 이를 경로에 있다—이 클러스터들은 미국의 소형/중형 주와 맞먹는 전력을 필요로 하며 국제우주정거장보다 더 비싸다.

• 10년 말까지는 1조 달러 이상의 개별 훈련 클러스터로 향하고 있으며, 미국 전력 생산량의 20% 이상에 해당하는 전력을 필요로 한다. 수조 달러의 자본 지출이 매년 수억 개의 GPU를 생산할 것이다.

엔비디아는 데이터센터(datacenter) 매출이 연간 약 140억 달러에서 약 900억 달러로 폭발적으로 증가하며 세계를 놀라게 했다. 하지만 이것은 아직 시작에 불과하다.

학습 컴퓨트(training compute)

앞서 우리는 AI 학습 컴퓨트(training compute)가 연간 약 0.5 OOM(10배 단위)¹1. 앞서 언급했듯 OOM = 자릿수 단위, 10배 = 1 자릿수이다.씩 증가하는 추세를 발견했다. 만약 이 추세가 앞으로 10년 동안 계속된다면, 가장 큰 학습 클러스터는 어떻게 될까?

믿기 어려울 수 있지만, 실제로 이런 일이 벌어지고 있다. 저커버그는 35만 대의 H100을 구매했고, 아마존은 원자력 발전소 옆에 1GW 데이터센터(datacenter) 캠퍼스를 지었다. 루머에 따르면 쿠웨이트에 1GW, 140만 대 H100 동등 클러스터(약 2026년 클러스터)가 건설 중이다. 언론 보도에 따르면 마이크로소프트와 오픈AI는 2028년 완공 예정인 1,000억 달러 규모 클러스터를 준비 중이라고 한다(국제우주정거장 비용과 비슷한 규모!). 그리고 매 세대 모델이 세상을 놀라게 할 때마다 가속화는 더욱 가속될 수 있다.

아마도 가장 놀라운 점은, 적어도 학습 클러스터에 관해서는 지출 의지가 현재 제약 조건이 아닌 것처럼 보인다는 점이다. 실제 제약은 인프라를 찾는 것이다: “10GW를 어디서 구하지?”(1,000억 달러 이상, 2028년 추세 클러스터의 전력)라는 질문은 샌프란시스코에서 자주 나오는 화제다. 컴퓨트(compute) 담당자들이 가장 고민하는 것은 전력 확보, 부지, 허가, 데이터센터(datacenter) 건설이다.²2. 한 가지 주요 불확실성은 분산 학습이 어떻게 이루어질지다—만약 한 곳에서 그만큼의 전력이 필요하지 않고 100개 장소에 나누어 분산할 수 있다면 훨씬 쉬워질 것이다. GPU를 받기 위해 1년을 기다리는 것보다 이 기간이 훨씬 더 길 수 있다.

1조 달러 클러스터—GPT-4 클러스터보다 +4 OOM(10배 단위), 현재 추세로 2030년경의 훈련 클러스터—는 진정으로 엄청난 노력이 될 것이다. 그것이 요구하는 100GW의 전력은 미국 전력 생산량의 20% 이상에 해당한다; 단순히 GPU가 있는 창고가 아니라 수백 개의 발전소를 상상해 보라. 아마도 국가 컨소시엄이 필요할 것이다.

(참고로 나는 AGI에 대해 약 1,000억 달러 규모 클러스터면 충분할 가능성이 꽤 높다고 생각한다. 1조 달러 클러스터는 초지능을 훈련하고 운영하는 데 쓰이거나, AGI가 예상보다 더 어려울 경우 AGI에 사용할 수도 있다. 어쨌든, AGI 이후의 세계에서는 가장 많은 컴퓨트(compute) 자원을 보유하는 것이 여전히 매우 중요할 것이다.)

전체 컴퓨트(overall compute)

위 수치는 가장 큰 훈련 클러스터에 대한 대략적인 숫자일 뿐이다. 전체 투자는 훨씬 더 클 가능성이 높다: GPU의 상당 부분은 추론³3. 참고로, 예를 들어 저크(Zuck)를 보면, 그의 H100 GPU 약 4만 5천 개만이 가장 큰 훈련 클러스터에 있고, 나머지 35만 개는 추론에 사용된다. 메타는 다른 플레이어보다 추론 수요가 더 많을 가능성이 크며, 다른 플레이어들은 지금까지 고객 수가 적어 추론 수요가 적다. 하지만 다른 모든 AI 제품이 확장됨에 따라 추론이 GPU의 강력한 다수가 될 것으로 예상된다.(제품용 AI 시스템을 실제로 실행하는 GPU)에 사용될 것이며, 여러 플레이어가 거대한 클러스터를 보유한 경쟁 구도가 될 수 있다.

내 대략적인 추정으로는 2024년에는 이미 1,000억~2,000억 달러 규모의 AI 투자가 이루어질 것이다:

• 엔비디아 데이터센터(datacenter) 매출은 곧 분기 약 250억 달러의 실행 속도에 도달할 것이며, 즉 엔비디아 단독으로 약 1,000억 달러의 자본 지출이 흐를 것이다. 물론 엔비디아만 있는 것은 아니며(구글의 TPU도 훌륭하다!), 데이터센터(datacenter) 자본 지출의 거의 절반은 칩 이외의 부분(부지, 건물, 냉각, 전력 등)에 쓰인다.⁴4. 예를 들어, 총 소유 비용 분석에 따르면 대형 클러스터 비용의 약 40%가 H100 GPU 자체이며, 13%는 인피니밴드 네트워킹을 위해 엔비디아에 지불된다. 다만, 자본 비용을 제외하면 GPU가 비용의 약 50%를 차지하고, 네트워킹 비용까지 포함하면 엔비디아가 클러스터 비용의 60% 이상을 차지한다.

• 대형 기술 기업들은 자본 지출 규모를 극적으로 늘리고 있다: 마이크로소프트와 구글은 각각 500억 달러 이상⁵5. 그리고 최근 분기에서 마이크로소프트가 전년 대비 자본 지출을 79% 증가시켰음에도 불구하고, AI 클라우드 수요가 여전히 공급을 초과하고 있다!, AWS와 메타는 400억 달러 이상을 올해 자본 지출할 것이다. 이 모두가 AI에만 쓰이는 것은 아니지만, AI 붐으로 인해 이들의 자본 지출은 연간 500억~1,000억 달러가 증가했으며, 그럼에도 불구하고 AI에 더 많은 지출을 하기 위해 다른 자본 지출을 줄이고 있다.

더욱이, 다른 클라우드 제공업체, 기업들(예: 테슬라는 올해 AI에 100억 달러를 투자 중), 그리고 국가들도 AI에 투자하고 있다.

앞으로를 예측해 보자. 내 최선의 추측은 전체 컴퓨트(overall compute) 투자가 최대 규모의 훈련 클러스터 3배/년 성장보다는 느리게, 예를 들어 2배/년 성장할 것이라는 점이다.⁶6. 전 세계 GPU 생산의 더 큰 비율이 미래에는 오늘날보다 최대 규모의 훈련 클러스터에 할당될 가능성이 크다. 예를 들어, 여러 회사가 최첨단 모델 규모 클러스터를 보유하기보다는 소수의 선도 연구소로 통합되는 경향 때문이다. 그리고 이것들은 단지 나만의 특이한 수치가 아니다. AMD는 2027년까지 4,000억 달러 규모의 AI 가속기 시장을 예측했으며, 이는 총 AI 지출이 7,000억 달러 이상임을 의미하는데, 내 수치와 거의 일치한다(그리고 그들은 분명히 나보다 훨씬 덜 ‘범용 인공지능(AGI) 중심적’이다). 샘 알트만은 다음과 같이 말한다. 전력에 관해서는: 물론 이 모든 것이 미국 내에만 국한되지는 않지만, 참고용 분류를 제공하기 위해서다.⁷7. 물론 이 모든 것이 미국 안에서만 이루어지지는 않겠지만, 참고 기준을 제시하기 위한 것이다.

“최대 7조 달러” 규모의 AI 컴퓨트(compute) 용량 구축을 위한 자금 조달을 논의 중이라는 보도가 있었다(이 수치는 널리 조롱받았으나, 여기서 수치를 계산해 보면 덜 터무니없어 보인다...). 어쨌든 이 대규모 확장은 진행 중이다.

과연 이 투자가 이루어질까? 가능할까?

여기서 가정한 투자 규모는 환상적으로 보일 수 있다. 그러나 수요 측과 공급 측 모두 위 경로를 뒷받침할 수 있을 것으로 보인다. 경제적 수익이 투자를 정당화하며, 지출 규모는 새로운 범용 기술에 대해 전례 없는 수준이 아니고, 전력과 칩에 대한 산업 동원도 가능하다.

AI 수익

기업들은 경제적 수익이 이를 정당화할 것으로 기대하면 대규모 AI 투자를 할 것이다.

보고서에 따르면 OpenAI는 2023년 8월에 연간 10억 달러 수익 규모였고, 2024년 2월에는 연간 20억 달러 수익 규모였다. 이는 대략 6개월마다 두 배씩 성장한 것이다. 이 추세가 유지된다면, 차세대 모델에서의 대규모 급증을 반영하지 않더라도 2024년 말~2025년 초에는 약 100억 달러 연간 수익 규모에 도달할 것이다. 한 추정에 따르면 마이크로소프트는 이미 약 50억 달러의 추가 AI 수익을 올리고 있다.

지금까지 AI 투자에서 10배 규모 확장은 필요한 수익을 내는 것으로 보인다. GPT-3.5는 ChatGPT 열풍을 촉발했다. GPT-4 클러스터의 추정 비용 5억 달러는 마이크로소프트와 오픈AI의 연간 수십억 달러 매출로 이미 상쇄되었을 것이다(위 계산 참조). 그리고 수십억 달러 규모의 “2024년형” 훈련 클러스터도 마이크로소프트/오픈AI AI 매출이 100억 달러 이상 매출 속도를 유지한다면 쉽게 회수될 것이다. 이 호황은 투자 주도형이다: 대규모 GPU 주문부터 클러스터 구축, 모델 개발, 배포까지 시간이 걸리며, 오늘 계획 중인 클러스터들은 수년 후에 완성된다. 하지만 마지막 GPU 주문의 수익이 계속 실현된다면 투자는 폭발적으로 증가할 것이고(매출을 앞지를 것이며), 다음 10배 확장도 계속 수익을 낼 것이라는 베팅으로 더 많은 자본이 투입될 것이다.

내가 생각하는 AI 매출의 중요한 이정표는: 대형 기술 기업(구글, 마이크로소프트, 메타 등)이 AI(제품 및 API)로 1000억 달러 매출 속도를 언제 달성할 것인가이다. 이들 기업은 현재 약 1000억~3000억 달러 매출을 올리고 있으므로, 1000억 달러는 그들의 사업에서 매우 큰 비중을 차지하기 시작할 것이다. 매우 단순히 6개월마다 매출이 두 배가 된다고 가정하고, 2025년 초에 100억 달러 매출 속도에 도달한다고 하면, 이 이정표는 2026년 중반에 달성될 것으로 보인다.

이것이 다소 무리처럼 보일 수 있지만, 나는 이 이정표에 도달하는 데 놀랄 만큼 적은 상상력이 필요하다고 생각한다. 예를 들어, 마이크로소프트 오피스 유료 구독자가 약 3억 5천만 명인데, 이 중 3분의 1이 AI 추가 기능에 월 100달러를 지불할 의향이 있다고 할 수 있을까? 평균 근로자에게는 한 달에 몇 시간의 생산성 향상에 불과하다; 앞으로 몇 년 내에 이를 정당화할 만큼 강력한 모델을 만드는 것은 매우 가능해 보인다.¹⁰10. 저에게 큰 불확실성은 기술 확산 및 도입 지연이다. 중간 단계 AGI 이전 모델들이 기업 업무 프로세스에 제대로 통합되기까지 시간이 걸릴 가능성이 높으며, 역사적으로 새 범용 기술의 생산성 혁신이 완전히 발현되는 데 시간이 걸렸다. 앞서 논의한 ‘음속 돌파’과 연결된다: 모델들이 ‘구속 해제’되어 에이전트(agent)나 원격 근무자처럼 작동하기 시작하면 배포가 훨씬 쉬워질 것이다. GPT 챗봇에서 25% 생산성 향상을 얻으려면 업무 흐름을 완전히 재구성해야 하는 것이 아니라, 새로운 동료를 온보딩하여 함께 일하듯 단순히 엔지니어를 대체하면 된다. 심지어 나중에는 공장 설계를 전면 개조할 필요 없이 휴머노이드 로봇만 투입하면 된다. 다만, 얼마나 빠르게 ‘구속 해제’가 이루어지느냐에 따라 경제적 가치와 수익에 불연속성이 발생할 수도 있다.

이로 인한 파급 효과는 과소평가하기 어렵다. 이는 AI 제품이 미국 최대 기업들의 가장 큰 매출 동력이자 단연 최대 성장 분야가 됨을 의미한다. 이들 기업의 전체 매출 성장 전망은 급등할 것이다. 주식 시장도 이에 따라 움직일 것이며, 곧 최초의 10조 달러 기업이 등장할 수도 있다. 이 시점에서 대형 기술 기업들은 AI 확장에 수천억 달러(최소한 수백억 달러)를 투자할 준비가 되어 있을 것이다. 우리는 아마도 최초의

수백억 달러 규모의 기업 채권 발행 당시.¹¹11. 금리 변동이 어떻게 될지 흥미로울 것이다... 타일러 코언(Tyler Cowen)을 참고하라; 초우(Chow), 마즐리시(Mazlish), 할페린(Halperin)도 참고. $1000억을 넘어서면 윤곽을 파악하기가 더 어려워진다. 하지만 우리가 진정 범용 인공지능(AGI)으로 가는 길에 있다면, 수익은 분명 있을 것이다. 화이트칼라 근로자들은 전 세계적으로 매년 수십조 달러의 임금을 받는다; 원격 근로자 한 명이 화이트칼라/인지 직업의 일부만 자동화해도 (예를 들어, 진정 자동화된 AI 코더를 상상해 보라) 조 단위 클러스터 비용을 충당할 수 있다. 최소한 국가안보 측면에서 정부 프로젝트를 추진해 국가 자원을 묶어 AGI 경쟁에 나설 수도 있다(추후 설명).

역사적 선례

2027년까지 연간 1조 달러 규모의 AI 투자는 터무니없어 보인다. 하지만 다른 역사적 참조 사례를 살펴볼 가치가 있다:

• 맨해튼 프로젝트와 아폴로 프로젝트는 최고 자금 지원 시기에 GDP의 0.4%, 즉 오늘날 약 1000억 달러를 연간 투자했다(놀랍게도 적은 금액!). AI 투자가 연간 1조 달러라면 GDP의 약 3%에 해당한다.

• 1996년부터 2001년까지 통신사들은 오늘날 가치로 거의 1조 달러를 인터넷 인프라 구축에 투자했다.

• 1841년부터 1850년까지 영국 민간 철도 투자는 당시 영국 GDP의 누적 약 40%에 달했다. 미국 GDP의 비슷한 비율은 10년간 약 11조 달러에 해당한다.

• 녹색 전환에 수조 달러가 투입되고 있다.

• 급성장하는 경제는 종종 GDP의 높은 비율을 투자에 쓴다; 예를 들어, 중국은 20년간 GDP의 40% 이상을 투자에 사용해왔다 (미국 GDP 기준으로 연간 약 11조 달러에 해당).

• 역사상 가장 긴급한 국가안보 상황인 전시에는 국가 노력을 위한 차입이 GDP의 막대한 비율을 차지했다. 제차 세계대전 당시,

영국과 프랑스, 독일은 GDP의 100% 이상을 차입했으며, 미국은 20% 이상을 차입했다; 제2차 세계대전 동안 영국과 일본은 GDP의 100% 이상을 차입했고 미국은 GDP의 60% 이상을 차입했다(오늘날 가치로 17조 달러 이상에 해당).

2027년까지 연간 1조 달러 규모의 총 AI 투자는 매우 극적인 규모로, 지금까지의 가장 큰 자본 투자 중 하나가 될 것이지만 전례 없는 일은 아니다. 그리고 10년 말까지 1조 달러 규모의 개별 훈련 클러스터도 가능해 보인다.¹²12. 그리고 더 먼 미래에는, 만약 범용 인공지능(AGI)이 경제 성장에 실질적인 증가를 가져온다면, 연간 10조 달러 이상의 투자가 현실적으로 가능해질 것이다—참고 대상은 고성장 시기의 국가 투자율이다.

전력 아마도 공급 측면에서 가장 큰 제약은 전력일 것이다. 이미 가까운 미래 규모(2026년 1GW, 특히 2028년 10GW)에서는 전력이 제약 요인이 되었다: 여분의 용량이 거의 없으며, 전력 계약은 보통 장기 고정되어 있다. 예를 들어, 새로운 기가와트급 원자력 발전소를 건설하는 데는 10년이 걸린다. (기술 기업들이 기가와트급 전력 계약을 위해 알루미늄 제련 회사를 인수하는 모습을 언제쯤 보게 될지 궁금하다.¹³13. “2011년 이후, 알루엣 제련소는 최대 생산 용량에서 930MW의 전력을 사용하고 있다.”)

¹⁴14. 다만 이것은 ‘순증’ 용량이다. 일부는 신규 재생에너지를 짓고 오래된 화석연료 발전소를 전력망에서 제외하는 데 쓰인다. 실제 순증은 이보다 작을 수 있다.

미국 전체 전력 생산량은 지난 기간 동안 5%도 채 성장하지 못했다.

지난 10년간. 유틸리티 기업들은 AI에 대해 점점 더 흥미를 느끼기 시작했다(앞으로 5년간 2.6% 성장 예상에서 이제는 4.7%로 추정!). 하지만 그들이 예상하는 수준은 다가올 상황에 비하면 거의 미미하다. 1조 달러 규모, 100GW 클러스터만 해도 6년 내에 현재 미국 전력 생산량의 약 20%를 필요로 할 것이다; 대규모 추론 용량까지 합치면 수요는 훨씬 더 커질 것이다.

대부분 사람들에게 이것은 전혀 불가능해 보인다. 일부는 중동의 독재국가들이 무한한 전력과 거대한 클러스터를 제공하며 그들의 통치자들이 범용 인공지능(AGI) 테이블에 앉을 수 있도록 하려 한다고 베팅하고 있다.

하지만 미국 내에서도 충분히 가능하다: 우리는 풍부한 천연가스를 보유하고 있다.¹⁵15. 이 추정치를 도와준 오스틴 버논(Austin Vernon, 개인 서신)에 감사드린다. • 10GW 클러스터에 전력을 공급하는 데는 미국 천연가스 생산량의 몇 퍼센트만 필요하며 빠르게 진행할 수 있다.

• 100GW 클러스터조차도 놀랍도록 실현 가능하다.

– 현재 마르셀러스/유티카 셰일(펜실베이니아 인근)만 해도 하루 약 360억 입방피트의 가스를 생산 중이다; 이는 발전기를 통해 연속적으로 약 150GW를 생산할 수 있는 양이다(복합 사이클 발전소는 효율이 높아 250GW까지 출력 가능).

– 100GW 클러스터를 위해서는 약 1200개의 신규 유정이 필요하다.¹⁶16. 신규 유정은 하루 약 0.01 BCF 생산한다. 각 시추기는 한 달에 약 3개의 유정을 시추할 수 있으므로, 40대의 시추기(현재 마르셀러스 시추기 수)로 1년 이내에 100GW 생산 기반을 구축할 수 있다.¹⁸18. 다만 10개월보다 긴 기간 동안 굴착기 수를 적게 늘리고 점진적으로 확장하는 쪽이 더 효율적일 것이다.¹⁷17. 각 유정은 수명 동안 약 20 BCF를 생산하며, 매달 두 개의 신규 유정이 고갈된 매장량을 대체한다. 즉, 생산 유지에 필요한 굴착기는 한 대뿐이다.

– 더 일반적으로, 미국 천연가스 생산량은 10년간 두 배 이상 증가했다; 이 추세를 계속 유지하기만 해도 수조 달러 규모의 데이터센터(datacenter) 여러 곳에 전력을 공급할 수 있다.¹⁹19. 천연가스 1입방피트는 약 0.13 kWh를 생산한다. 2020년 미국 셰일 가스 생산량은 하루 약 700억 입방피트였다. 생산량이 다시 두 배가 되고, 추가 용량이 모두 컴퓨트(compute) 클러스터에 할당된다고 가정하면 연간 3322 TWh의 전력이 생산된다. 이는 거의 4개의 100GW 클러스터에 충분한 전력이다.

– 더 어려운 부분은 충분한 발전기/터빈을 건설하는 것인데; 이는 간단하지 않지만 실현 가능해 보인다.

약 1000억 달러의 자본 지출(capex)²⁰20. 천연가스 발전소의 투자비용은 kW당 1000달러 이하로 보이며, 100GW 용량의 투자 비용은 약 1000억 달러가 된다.로 100GW의 천연가스 발전소

나 역시 청정 에너지를 선호한다. 그러나 AGI 데이터센터(datacenter)를 잔인하고 변덕스러운 독재자들의 손아귀에 있는 중동으로 몰아가는 것은 미국 국가안보상 받아들일 수 없다. 이 문제를 해결하려면 새로운 수준의 결단력이 필요하다. 전력 문제는 반드시 해결할 수 있고, 또 해결해야 한다.

칩

사람들은 AI 공급 제약을 말할 때 보통 칩을 먼저 떠올린다. 하지만 실제로는 칩 제조가 본격적인 병목이 되기 전에 전력 수요가 먼저 급증할 가능성이 크다.²²22. 칩 생산이 본격적인 제약을 받기 전에 전력 수요가 급격히 증가하는 흥미로운 질문이다. 간단한 대답은 데이터센터(datacenter)는 최대 전력에 가깝게 연속 가동하는 반면, 현재 생산되는 대부분 칩은 상당 시간 휴지 상태라는 점이다. 현재 스마트폰이 주 반도체 수요의 절반 가량을 차지하지만, 공정 밀도 대비 효율이 높고 스마트폰은 주로 휴지 상태라 에너지 사용량이 적다. AI 혁명은 트랜지스터를 훨씬 더 세게 작동하게 하여, 배터리 전력 절약용 저성능 장치 대신 고성능 AI 데이터센터(datacenter)에 전적으로 투입하는 것이다. Carl Shulman에게 이 점 감사드린다.

간단히 말해, 데이터센터(datacenter)는 거의 최대 전력으로 계속 가동되지만 현재 생산되는 대부분의 칩은 상당 시간 유휴 상태에 놓인다. 스마트폰은 오늘날 반도체 수요의 큰 비중을 차지하지만 대부분의 시간에는 쉬고 있고, 공정 밀도 대비 전력 사용량도 낮다. 반대로 AI 혁명은 트랜지스터를 배터리 절약형 저전력 기기가 아니라, 끊임없이 가동되는 고성능 AI 데이터센터(datacenter)에 전적으로 투입하게 만드는 변화다. 물론 TSMC 전체 생산량을 AI에만 돌릴 수는 없고, 1년치 AI 칩 생산량이 한 훈련 클러스터에 모두 투입되는 것도 아니다.

추론과 다중 플레이어를 포함한 AI용 컴퓨트(compute) 수요는 2030년까지 TSMC의 현재 최첨단 논리 칩 총 생산 능력의 수배에 이를 것이다. TSMC는 지난 5년간 거의 두 배로 성장했으며²³23. (수익을 근사 지표로 사용함.), AI 칩 수요를 충족하려면 확장 속도를 최소 두 배 이상으로 높여야 할 것이다. 대규모 신규 파운드리(foundry) 투자가 필수적이다.

원시 논리 파운드리(foundry)가 제약이 되지 않더라도, 칩-온-웨이퍼-온-기판(CoWoS) 첨단 패키징(칩을 메모리와 연결하는 기술로 TSMC, 인텔 등에서 생산)과 HBM 메모리(수요가 엄청남)는 현재 AI GPU 확장에 이미 주요 병목이다. 이들은 순수 논리 칩과 달리 AI에 더 특화되어 있어 기존 생산 능력이 적다. 단기적으로는 이들이 더 많은 GPU를 생산하는 데 주된 제약이 될 것이며, AI가 확장됨에 따라 큰 제약으로 작용할 것이다. 그럼에도 불구하고 이들은 비교적 “확장하기 쉬운” 분야이다. 올해 TSMC가 CoWoS 생산을 대규모로 확장하기 위해 완전히 새로운 시설(그린필드 파운드리(foundry))을 건설하는 모습을 보는 것은 놀라웠다(엔비디아는 부족 현상을 우회하기 위해 CoWoS 대체 기술도 모색 중이다).

신규 TSMC 기가파브(기술적 경이)는 약 200억 달러의 자본 지출로 월 10만 웨이퍼 시작량을 생산한다. 10년 말까지 수억 대의 AI GPU를 생산하려면 TSMC는 이와 같은 시설을 수십 개 건설해야 하며, 메모리, 첨단 패키징, 네트워킹 등에도 대규모 투자가 필요하다. 이들은 자본 지출의 큰 부분을 차지할 것이다. 총합은 1조 달러 이상의 자본 지출에 이를 수 있다. 매우 강도 높은 작업이지만 가능하다. (가장 큰 장애물은 실현 가능성이 아니라 TSMC가 시도조차 하지 않는 것일 수 있다—TSMC는 아직 AI 확장에 대해 적극적이지 않은 것으로 보인다! 그들은 AI가 “겨우” 연평균 50% 성장할 것이라고 생각한다.)

CHIPS 법안과 같은 최근 미국 정부의 노력은 AI 칩 생산을 미국 내로 이전하려는 시도이다(대만 위기 대비 보험 차원). AI 칩 생산을 미국 내로 이전하는 것은 바람직하지만, 실제 AGI가 존재하는 데이터센터(datacenter)를 미국에 두는 것만큼 중요하지는 않다. 해외에 칩 생산 시설이 있는 것은 해외에 우라늄 광산이 있는 것과 같다면, AGI 데이터센터(datacenter)가 해외에 있는 것은 실제 핵무기가 해외에서 제조되고 저장되는 것과 같다. 기능 장애를 고려할 때

미국 내에서 파운드리(fab)를 구축하는 데 실제로 드는 비용과 경험을 고려할 때, 저는 미국 내 데이터센터(datacenter)를 우선시하면서 파운드리(foundry) 프로젝트는 일본과 한국 같은 민주주의 동맹국에 더 무게를 두어야 한다고 생각한다. 그곳에서의 파운드리(foundry) 구축은 훨씬 더 실용적인 것으로 보인다.

민주주의 클러스터

10년이 끝나기 전에 수조 달러 규모의 컴퓨트(compute) 클러스터가 구축될 것이다. 유일한 질문은 그것들이 미국에서 구축될 것인가 하는 점이다. 일부는 특히 중동에서 구축하는 데 베팅하고 있다고 소문이 돌고 있다. 우리는 정말로 맨해튼 프로젝트의 인프라가 변덕스러운 중동 독재 정권에 의해 통제되는 것을 원합니까?

오늘날 계획 중인 클러스터들은 단순한 ‘멋진 대형 기술 제품 클러스터’가 아니라 AGI와 초지능이 훈련되고 운영될 클러스터일 가능성이 큽니다. 국가 이익은 이들이 미국(또는 가까운 민주주의 동맹국)에서 구축되도록 요구한다. 그렇지 않으면 돌이킬 수 없는 안보 위험이 발생한다. AGI 모델 가중치(model weights)가 도난당할 위험²⁴24. 물리적 접근권이 있으면 사이드채널 공격으로 가중치를 탈취하기가 훨씬 쉽다!(그리고 아마도 중국으로 반출될 위험)이 있으며, AGI 경쟁이 치열해질 때 이 독재 정권들이 데이터센터(datacenter)를 물리적으로 점령하여 AGI를 직접 구축하고 운영할 위험도 있다. 이러한 위협이 암묵적으로만 행사되더라도 AGI와 초지능이 불쾌한 독재자의 변덕에 휘둘리게 된다. 미국은 70년대 중동에 대한 에너지 의존을 뼈저리게 후회했고, 그들의 지배에서 벗어나기 위해 매우 노력했다. 우리는 같은 실수를 반복할 수 없다.

클러스터는 미국 내에서 구축할 수 있으며, 반드시 미국에서 구축되도록 우리의 역량을 모아야 한다. 미국의 국가 안보가 중동에서 흘러들어오는 자금, 복잡한 규제, 심지어는 존경할 만한 기후 약속보다 우선해야 한다. 우리는 진정한 체제 경쟁에 직면해 있다—필요한 산업 동원이 ‘상명하달’식 독재 체제에서만 가능한가? 미국 기업이 제약에서 벗어난다면, 미국은 그 어느 곳보다도 잘 구축할 수 있다(적어도 보수 성향 주에서는). 천연가스를 기꺼이 사용하거나 최소한 광범위한 규제 완화 정책—NEPA 면제, FERC 개혁 및

연방 차원의 전송 허가, 공익사업 규제 무시, 연방 권한을 사용해 토지와 통행권 확보—이는 국가안보 우선순위다.

어쨌든: 지수적 성장은 이제 본격적으로 진행 중이다.

“예전”에는 AGI가 아직 금기어였을 때, 몇몇 동료들과 나는 AGI로 가는 경로가 어떻게 될지 이론적 경제 모델을 만들곤 했다. 이 모델들의 한 특징은 가상의 “AI 각성” 순간이었다. 이때 세계가 이 모델들이 얼마나 강력할 수 있는지 깨닫고 투자를 급격히 늘리기 시작하며, 최대 규모의 훈련에 GDP의 여러 %를 쏟아붓는 시점이었다.

그때는 먼 미래처럼 보였지만, 그 시간이 왔다. 2023년이 바로 “AI 각성”이었다.²⁵25. 저는 2023년 3월에 “이륙이 시작되었다(THE TAKEOFF HAS STARTED)”라고 화이트보드에 썼던 기억이 선명한다. 무대 뒤에서는 가장 놀라운 기술 자본 가속이 시작되었다.

2023년 3월, 나는 분명히 내 화이트보드에 “THE TAKEOFF HAS STARTED(이륙이 시작되었다)”라고 썼다.

G-포스에 대비하라.

(이 모든 것이 NVDA/TSM 등 주가에 어떤 의미인지 독자 여러분이 직접 생각해 보시길 바란다. 힌트: 상황 인식이 있는 이들은 훨씬 낮은 가격에 매수했지만, 아직도 완전히 반영된 것은 아니다.)²⁶26. 주류 매도측 애널리스트들은 2024년부터 2025년까지 엔비디아 매출이 연간 10-20% 성장할 것으로 보고, 2025년 매출을 약 1,200억~1,300억 달러로 예상하는 경향이 있다(최근까지도 그랬다). 미친 전망이다! 엔비디아가 2025년에 2,000억 달러 이상의 매출을 올릴 것이라는 점은 이미 꽤 명백하다.