IIId. 자유 진영이 반드시 승리해야 한다
초지능은 결정적인 경제적, 군사적 우위를 제공할 것이다. 중국은 아직 완전히 게임에서 벗어나지 않았다. 범용 인공지능(AGI) 경쟁에서 자유 진영의 생존 자체가 위태로울 것이다. 우리는 권위주의 세력에 대한 우위를 유지할 수 있을까? 그리고 그 과정에서 자기 파괴를 피할 수 있을까?
인류 역사는 전쟁의 역사다. 잠시 동안의 불안정한 휴전기를 제외하면, 세계에는 평화가 없었고; 역사가 시작되기 전부터 살인적인 갈등은 보편적이고 끝이 없었다. ... 오렌지만 한 크기의 폭탄이 건물 한 블록 전체를 파괴하는 비밀스러운 힘을 가질 수 있지 않을까 — 아니, 천 톤의 코다이트 힘을 집중시켜 한 번에 마을을 폭파할 수 있지 않을까? 윈스턴 처칠 “우리 모두 자살할 것인가?” (1924)
초지능은 인류가 개발한 가장 강력한 기술이자 가장 강력한 무기가 될 것이다. 이는 핵무기와 견줄 만한 결정적인 군사적 우위를 제공할 수 있다. 권위주의자들은 초지능을 세계 정복과 내부 완전 통제에 사용할 수 있다. 불량 국가들은 이를 이용해 전멸 위협을 가할 수도 있다. 많은 이들이 중국 공산당(CCP)을 제외한 것으로 보지만, CCP가 AGI의 중요성을 깨닫는 순간 경쟁력을 갖출 명확한 길이 있다(적어도 우리가 미국 AI 연구소의 보안을 대폭 강화하지 않는 한).
안전 측면에서도 매달의 선도 기간이 중요하다. 우리는...
가장 큰 위험은 우리가 치열한 경쟁에 갇혀 있을 때 발생한다. 민주주의 동맹국들과 권위주의 경쟁자들이 이미 불안정한 지능 폭발을 숨 가쁘게 지나가며 서로가 먼저 초지능을 획득할까 두려워 조심성을 완전히 버려야 하는 상황이다. 민주주의 동맹국들이 건강한 우위를 유지할 때만이 초지능 출현이라는 극도로 불안정하고 위험한 시기를 헤쳐 나갈 수 있는 오차 범위를 확보할 수 있다. 그리고 미국의 리더십만이 초지능이 초래할 자기 파괴 위험을 막기 위한 비확산 체제(nonproliferation regime)를 개발하는 현실적인 길이다.
우리 세대는 평화와 자유 속에 살고 있다는 사실을 너무 쉽게 당연하게 여긴다. 그리고 SF에서 AGI 시대를 예고하는 이들은 너무 자주 방 안의 코끼리, 즉 초지능이 국가안보 문제라는 점을 무시한다. 미국은 반드시 승리해야 한다.
누가 초지능을 선도하느냐가 결정적인 군사적 우위를 가져올 것이다
초지능은 단순한 기술이 아니다—극초음속 미사일, 스텔스 등과 같은 기술로, 미국과 자유 민주주의 국가들의 리더십이 매우 바람직하지만 절대적으로 필수적인 것은 아니다. 미국이 한두 가지 기술에서 뒤처져도 군사력 균형은 유지될 수 있다; 이러한 기술들은 매우 중요하지만 다른 분야의 이점으로 상쇄될 수 있다.
초지능의 출현은 원자력 시대 이후로 본 적 없는 상황을 초래할 것이다: 초지능을 가진 자가 가지지 못한 자를 완전히 지배하게 된다.
나는 이전에 초지능의 막대한 힘에 대해 논의한 바 있다. 초지능은 가장 똑똑한 인간 과학자보다 훨씬 뛰어난 수십억 명의 자동화된 과학자, 엔지니어, 기술자들이 밤낮없이 새로운 기술을 미친 듯이 발명하는 것을 의미한다. 과학 및 기술 발전의 가속은 엄청날 것이다. 초지능이 군사 기술 연구개발에 적용되면 우리는 군사 기술 발전의 수십 년을 빠르게 통과할 수 있다.
걸프 전쟁, 혹은 수십 년간의 기술 우위가 군사력에 의미하는 바
걸프 전쟁은 군사 기술에서 20~30년의 우위가 얼마나 결정적일 수 있는지를 보여주는 유용한 사례를 제공한다. 당시 이라크는 세계에서 네 번째로 큰 군대를 보유하고 있었다. 병력, 전차, 포병 등 숫자 면에서 미 주도 연합군은 간신히 맞먹거나 오히려 이라크군에 밀렸으며, 이라크군은 방어선을 충분히 구축한 상태였다(이런 상황에서는 군사 병력에서 3: 또는 5:의 우위가 있어야 교란이 가능한다).
하지만 미 주도 연합군은 단 100시간의 지상전만에 이라크 군대를 완전히 격파했다. 연합군 사상자는 단 292명에 불과한 반면, 이라크 사상자는 2만~5만 명에 달했고 수십만 명이 부상하거나 포로가 되었다. 연합군은 전차 31대만 잃었으나, 이라크 전차는 3,000대 이상 파괴되었다.
기술 차이는 신적이거나 이해 불가능한 수준은 아니었지만, 완전히 결정적이었다. 유도 및 스마트 탄약, 초기 스텔스 기술, 더 나은 센서, 더 먼 거리에서 야간과 먼지 폭풍 속을 볼 수 있는 전차 조준경, 더 우수한 전투기, 정찰 우위 등이 그것이다.
(더 최근 사례로는 이란이 이스라엘에 300발의 미사일을 대규모로 발사했으나, 이스라엘과 미국, 동맹국의 우수한 미사일 방어 시스템에 의해 “99%”가 요격된 것을 떠올려 보라.)
범용 인공지능(AGI)에서 1~3년의 우위는 걸프 전쟁에서 미 연합군이 이라크에 가졌던 것만큼 결정적인 군사적 우위를 의미할 수 있다. 군사력 균형의 완전한 재편이 걸려 있을 것이다.
만약 우리가 20세기의 군사 기술 발전을 10년도 채 안 되는 기간에 겪었다고 상상해 보라. 우리는 몇 년 만에 말과 소총, 참호에서 현대 전차 군대로, 그리고 그로부터 몇 년 후에는 초음속 전투기 함대와 핵무기, 대륙간탄도미사일(ICBM)로 발전했을 것이다.
그것; 적이 당신이 거기에 있다는 사실조차 알기도 전에 적을 무력화할 수 있는 은밀함과 정밀함, 그로부터 몇 년 후에.
이것이 바로 초지능의 출현과 함께 우리가 직면할 상황이다: 한 세기의 군사 기술 발전이 10년도 채 안 되는 기간으로 압축된다. 우리는 적의 군사력을 마비시킬 수 있는 초인적 해킹, 로봇 군대와 자율 드론 떼를 보게 될 것이다. 하지만 더 중요한 것은 아직 상상조차 할 수 없는 완전히 새로운 패러다임과 파괴력이 천 배 이상 증가한 새로운 대량살상무기(WMD)의 발명(그리고 불침투 미사일 방어 같은 새로운 WMD 방어 수단도 함께 등장하여 억지력 균형을 빠르고 반복적으로 뒤흔든다).
그리고 이것은 단순한 기술 진보에 그치지 않는다. 로봇공학이 해결되면 노동이 완전 자동화되어 더 광범위한 산업 및 경제 폭발도 가능해진다. 연간 10%대의 성장률도 충분히 가능하며, 최대 10년 내에 선도하는 국가의 GDP는 뒤처진 국가들을 압도할 것이다. 급속히 증가하는 로봇 공장들은 단지 기술적 우위뿐 아니라 순수 물질적 생산 능력에서도 지배력을 의미한다. 수백만 개의 미사일 요격기, 수십억 대의 드론 등을 생각해 보라.
물론 과학의 한계와 여러 마찰 요인들이 속도를 늦출 수도 있다. 하지만 결정적인 군사 우위를 위해 신적인 발전은 필요 없다. 그리고 10억 명의 초지능 과학자들이 할 수 있는 일은 많다. 초지능 이전의 군대는 몇 년 내에 압도적으로 뒤처질 것이 분명해 보인다.
군사적 우위는 핵 억지력에 대해서도 결정적일 것이다
더 명확히 말하자면: 초지능이 부여하는 우위는 적의 핵 억지력을 선제적으로 제거할 만큼 결정적일 가능성이 높다. 향상된 센서 네트워크와 분석 능력은 가장 은밀한 현재의 핵 잠수함도 찾아낼 수 있을 것이다(이동식 미사일 발사대도 마찬가지다). 수백만 또는 수십억 마우스 크기의
자율 드론은 스텔스 기술의 발전과 함께 적 후방에 침투하여 은밀히 적의 핵무기 부대를 탐지, 파괴, 그리고 지휘부를 제거할 수 있다. 향상된 센서, 표적 지정 기술 등은 미사일 방어 능력을 극적으로 향상시킬 수 있다(예를 들어 위의 이란 대 이스라엘 사례와 유사하게); 게다가 산업적 폭발이 일어난다면, 로봇 공장들이 상대 미사일 하나당 수천 대의 요격 미사일을 생산할 수 있다. 그리고 이 모든 것은 완전히 새로운 과학 및 기술 패러다임(예: 원격으로 모든 핵무기를 비활성화하는 기술)을 고려하지 않은 상태다.
이런 상황에서는 경쟁이 성립하지 않는다. 여기서 ‘경쟁이 성립하지 않는다’는 것은 단순히 “서로를 상호 파괴할 수 있다”는 핵무기적 의미뿐만 아니라, 상당한 인명 피해 없이 경쟁자의 군사력을 완전히 파괴할 수 있다는 의미다. 초지능에서 몇 년의 선도는 완전한 지배를 의미할 것이다.
만약 지능 폭발이 급격히 일어난다면, 몇 개월의 선도만으로도 결정적일 수 있다: 몇 개월은 대략 인간 수준의 AI 시스템과 상당히 초인적인 AI 시스템 간의 차이를 의미할 수 있다. 아마도 초기 초지능만 보유하고 있어도, 광범위하게 배치되기 전이라도 결정적인 우위가 될 수 있다. 예를 들어, 초인적 해킹 능력으로 초지능 이전의 군대를 마비시키거나, 상대 지도자, 관리 및 그 가족 모두에게 즉각적인 죽음을 위협하는 제한된 드론 무리, 그리고 AlphaFold 스타일의 시뮬레이션으로 개발된 특정 민족 집단을 겨냥한 고급 생물무기(예: 한족을 제외한 누구나 대상이 되거나 단순히 적에게 치료제를 제공하지 않는 경우) 등이 가능하다.
중국은 경쟁력이 있다
많은 사람들이 중국과 범용 인공지능(AGI)에 대해 안일하게 생각하는 것 같다. 칩 수출 통제로 인해 중국은 무력화되었고, 주요 AI 연구소는 미국과 영국에 있으니 크게 걱정할 필요가 없다고 생각한다. 중국의 대형 언어 모델(LLM)은 괜찮다—분명히 대형 모델을 훈련시킬 능력이 있다!—하지만 그들은 기껏해야 ...
미국 2차 연구소 수준.11. 예를 들어, Yi-Large는 LMSys에서 GPT-4 급 모델로 보이지만, 이는 OpenAI가 GPT-4를 공개한 지 1년 이상 지난 시점이다. 그리고 중국 모델들조차도 종종 미국 오픈 소스 릴리스의 단순 모방에 불과하다(예: Yi-34B 아키텍처는 본질적으로 Llama2 아키텍처이며, 코드 몇 줄만 변경되었다22. 유사하게, Qwen의 hugging face 코드에서 Mistral을 많이 참조하며, 중국 LLM의 미국 오픈소스(open source) 의존이 중국 총리가 우려하는 명백한 문제이다.). 중국의 딥러닝은 예전만큼 중요하지 않다(예: 바이두는 최초의 현대적 규모 확장 법칙 논문 중 하나를 발표했음). 중국은 미국보다 AI 논문을 더 많이 발표하지만, 최근 몇 년간 주요 혁신을 주도하지는 못한 것으로 보인다.
하지만 이것은 단지 서막에 불과하다. 만약 중국 공산당(CCP)이 범용 인공지능(AGI)에 눈을 뜬다면, CCP가 경쟁하기 위해 엄청난 노력을 기울일 것으로 예상해야 한다. 그리고 중국이 경쟁에 참여할 수 있는 꽤 명확한 경로가 있다고 생각한다: 미국을 능가하는 인프라를 구축하고 알고리즘을 탈취하는 것이다.
1a. 칩: 중국은 이제 7nm 칩 제조 능력을 입증한 것으로 보인다. 7nm를 넘어서는 것은 어렵겠지만(EUV 필요), 7nm면 충분하다! 참고로 7nm는 엔비디아 A100이 사용한 공정이다. SMIC 7nm 플랫폼 기반의 화웨이 Ascend 910B는 동급 엔비디아 칩 대비 성능/가격이 약 2~3배 떨어지는 것으로 보인다.33. 화웨이 Ascend 910 B는 카드당 약 12만 위안, 즉 약 1만 7천 달러로 보인다. SMIC 7nm 공정에서 생산되며 A100과 비슷한 성능이다. H100은 A100 대비 약 3배 높은 성능이며, 가격도 다소 높아(2~2.5만 달러 예상) 중국 내 AI GPU 성능 대비 비용 상승은 약 2~3배 수준이다.
SMIC의 7nm 생산 수율과 중국의 전반적인 역량 성숙도는 논란이 있으며,44. 예를 들어, 그들은 여전히 서방산 HBM 메모리를 사용 중인데(이것이 왜 수출 통제 대상이 아닌지는 의문), CXMT는 내년에 HBM 샘플링을 시작할 예정이다. 중요한 미해결 질문은 이 7nm 칩을 어느 정도 규모로 생산할 수 있느냐이다.55. 서방에서 다른 유형 칩 수입이 가능하므로, 전체 7nm 공정을 AI 칩에 전부 투입하여 전체 생산량 감소를 상쇄할 수 있다. 그럼에도 불구하고, 몇 년 내에 대규모 생산이 가능할 합리적인 가능성이 있어 보인다.
AI 칩의 대부분 성능 향상은 AI 용도에 맞게 칩 설계를 개선한 데서 왔으며(중국은 이미 대만 공급망에서 엔비디아 칩 설계를 탈취한 것으로 보인다66. 특히 사이버범죄자들이 엔비디아를 해킹해 주요 GPU 설계 비밀을 탈취했다. TPUv6 설계 또한 최근 기소된 구글 내 중국 국적자가 훔친 것에 포함된다.), 7nm와 3nm 또는 2nm 공정 차이, 그리고 제조 초기 단계의 미성숙함은 중국에 비용 부담을 더할 것이다.77. 예를 들어, 이 칩들이 성능 대비 비용이나 성능 대비 전력 면에서 2배 이상 나쁠 수 있다. 결과적으로 데이터센터(datacenter) 성능을 같게 하려면 더 많은 전력과 더 많은 칩을 네트워크로 연결해야 하며, 이는 추가적인 부담이다. 하지만 이것이 치명적이라고 보기는 어렵다; 7nm 공정으로도 매우 좋은 AI 칩을 만들 수 있다. 예를 들어, 1000억 달러 이상, 조 단위 달러 규모의 예산을 투입하면 충분한 컴퓨트(compute)를 확보할 수 없을 것이라고 확신하지는 않는다.
화웨이 Ascend 910B는 카드당 약 12만 위안, 즉 약 1만 7천 달러 정도로 추정된다. 이는 SMIC 7nm 노드에서 생산되며, A100과 유사한 성능을 낸다. H100은 A100 대비 약 3배 성능이 좋으며, 가격은 약간 더 비싼 2~2.5만 달러 수준으로, 중국 AI GPU 성능 대비 비용은 약 2~3배 증가한 셈이다.
예를 들어, 여전히 서방산 HBM 메모리를 사용 중인데(이것이 왜 수출 통제 대상이 아닌지는 미스터리), CXMT는 내년에 HBM 샘플링을 시작할 예정이라고 한다.
서방에서 다른 종류 칩을 여전히 수입할 수 있으므로, 7nm 노드를 AI 칩 생산에 전량 투입해 전체 생산량 감소를 보완할 수 있다.
사이버 범죄자들도 엔비디아를 해킹해 주요 GPU 설계 비밀을 입수했다. 또한 최근 구글에서 기소된 중국 국적자가 TPUv 설계도 탈취한 것으로 알려졌다.
예를 들어, 성능/가격 또는 성능/전력 효율이 2배 정도 떨어질 수 있다. 이는 동일한 데이터센터(datacenter) 성능을 달성하려면 더 많은 전력과 더 많은 칩을 네트워크로 연결해야 하므로 운영이 더 복잡해진다는 의미다.
몇 년 내에 훈련 클러스터.88. 칩 비용이 3배 증가해도 데이터센터(datacenter) 비용 증가 측면에서는 훨씬 적다는 점에 유의하라. 실제로 논리 반도체 제조 비용은 1b. 미국을 능가하기: 가장 큰 훈련 클러스터에 대한 제약은 칩이 아니라 산업 동원력— Nvidia GPU 비용의 5% 미만이며, 메모리와 CoWoS를 고려해도 Nvidia 가격표의 20% 미만이다. 아마도 조 단위 클러스터에 필요한 100GW 전력일 것이다. 하지만 중국이 미국보다 그리고 GPU 자체도 데이터센터(datacenter) 비용의 50-60%에 불과한 경향이 있다. 더 잘할 수 있는 한 가지가 있다면 바로 건설이다. 따라서 칩 제조 비용이 3배 비싸져도 전체 비용이 3배 증가하는 것과는 거리가 멀다. 지난 10년간 중국은 미국 전체 전력 용량과 맞먹는 신규 전력 용량을 대략 건설했다(미국 용량은 칩 비용이 10배 비싸더라도 중국이 데이터센터(datacenter) 비용을 크게 사실상 정체 상태였다). 미국에서는 이런 사업들이 환경 심사, 허가, 규제로 10년씩 지연된다. 증가시키지 않고도 감당할 수 있을 것 같다. 따라서 중국이 가장 큰 훈련 클러스터에서 단순히 미국을 능가할 가능성은 매우 높아 보인다.
- 알고리즘
OOM을 세는 작업에서 광범위하게 논의했듯이, 컴퓨트(compute) 확장은 이야기의 일부일 뿐이다. 알고리즘 발전이 AI 진보의 적어도 절반 이상을 차지할 가능성이 크다. 우리는 지금 범용 인공지능(AGI)을 위한 핵심 알고리즘 혁신을 개발 중이다(데이터 장벽 때문에 사실상 알고리즘의 EUV와 같다).
기본적으로, 나는 서구 연구소들이 훨씬 앞서 있을 것으로 예상한다; 그들은 핵심 인재를 많이 보유하고 있으며, 최근 몇 년간 모든 주요 돌파구를 개발해왔다. 이 우위의 규모는 몇 년 내에 10배(심지어 100배) 더 큰 클러스터에 해당할 수 있다; 이는 미국에 상당히 편안한 선두를 제공할 것이다.
그럼에도 불구하고, 현재의 경로대로라면 우리는 이 우위를 완전히 포기할 것이다: 보안 섹션에서 광범위하게 논의했듯이, 현재의 보안 상태는 중국이 미국 연구소에 침투하는 것을 본질적으로 매우 쉽게 만든다. 따라서 연구소를 매우 빨리 잠그지 않는 한, 나는 중국이 AGI의 핵심 알고리즘 요소를 단순히 훔쳐 미국의 역량과 맞먹을 수 있을 것으로 예상한다.99. 일부는 중국이 이 비밀들을 훔친다 해도 암묵적 지식이 필요하기 때문에 경쟁할 수 없다고 주장한다. 나는 동의하지 않는다. 나는 이것을 두 층으로 생각한다. 하단 층은 대규모 훈련 실행을 위한 엔지니어링 역량이다; 이 훈련 실행은 까다롭고 섬세하며 암묵적 지식을 필요로 한다. 하지만 나중에 논의하겠지만, 중국의 AI 노력은 대규모 모델을 훈련할 수 있다을 완벽히 보여주었고, 나는 그들이 이 암묵적 지식을 토착적으로 갖추고 있을 것이라 생각한다. 상단 층은 알고리즘 레시피—모델 아키텍처, 적절한 규모 확장 법칙 등—으로, 이는 한 시간짜리 통화로 전달될 수 있다. 이러한 컴퓨트(compute) 배수는 보통 불연속적인 변화이며, 따라서 대규모 훈련 실행을 위한 기본 암묵적 지식은 이전될 수 있다. 나는 “암묵적 지식”이 중국 AGI 노력에 결정적인 장벽이 되지 않을 것이라 본다.
(더 나쁜 점은, 우리가 보안을 개선하지 않는다면, 중국이 경쟁할 수 있는 더 명확한 경로가 있다는 것이다. 그들은 심지어 자체 AGI를 훈련할 필요조차 없을 것이다: 그들은 AGI 가중치를 직접 훔칠 수 있다. 자동화된 AI 연구원 한 부류를 훔친 후, 그들은 곧바로 경주에 나설 수 있으며, 자신들의 지능 폭발을 시작할 수 있다. 만약 그들이 미국보다 덜 신중하다면—좋은 신중함과 불합리한 규제 및 지연 모두를 포함하여—그들은 지능 폭발을 더 빠르게 진행하여 우리를 앞지를 수도 있다.)
지금까지 미국 기술 기업들은 중국의 어떤 노력보다 AI와 규모 확장에 훨씬 더 큰 베팅을 해왔으며; 결과적으로 우리는 훨씬 앞서 있다. 하지만 지금 중국을 무시하는 것은 2022년 말 ChatGPT가 나왔을 때 AI 경쟁에서 구글을 무시하는 것과 비슷하다. 구글은 아직 강도 높은 AI 베팅에 집중하지 않았고, OpenAI가 훨씬 앞서 있는 것처럼 보였지만—구글이 깨어난 1년 반 후, 그들은 매우 심각한 경쟁을 벌이고 있다. 중국 역시 매우 심각한 경쟁을 벌일 명확한 경로가 있다. 만약 중국 공산당(CCP)이 AGI 경쟁에 동원된다면, 상황은 매우 달라질 수 있다.
어쩌면 중국 정부는 무능할 수도 있고; 어쩌면 AI가 CCP를 위협한다고 판단해 억압적인 규제를 부과할 수도 있다. 하지만 나는 그것에 기대지 않는다.
저는 개인적으로 우리가 전면적인 중국의 범용 인공지능(AGI) 노력을 마주하게 될 것이라는 가정 하에 움직여야 한다고 생각한다. 매년 AI 능력이 극적으로 도약하고, 소프트웨어 엔지니어의 초기 자동화가 시작되며, AI 수익이 폭발적으로 증가하고 10조 달러 가치 평가와 조 단위 클러스터 구축이 나타나고, AGI가 임박했다는 광범위한 합의가 형성되기 시작할 때—중국 공산당(CCP)은 이를 주목할 것이다. 저는 이러한 도약들이 미국 정부(USG)를 AGI에 깨우칠 것으로 예상하는 만큼, CCP 역시 AGI에 눈을 뜨고 AGI에서 뒤처지는 것이 그들의 국가 권력에 어떤 의미인지 깨닫게 될 것으로 예상한다.
그들은 강력한 적수가 될 것이다.
권위주의적 위험
초지능의 힘을 휘두르는 독재자는 우리가 지금까지 본 적 없는 집중된 권력을 지니게 될 것이다. 다른 나라에 자신의 의지를 강요할 수 있을 뿐만 아니라, 내부적으로도 자신의 통치를 확고히 할 수 있다. 수백만 대의 AI 통제 로봇 법 집행 요원이 국민을 감시할 수 있고, 대규모 감시는 극도로 강화되며, 독재자 충성 AI가 각 시민을 개별적으로 평가하여 불충성을 뿌리 뽑는 고도화된 거의 완벽한 거짓말 탐지 기능을 갖출 수 있다.
가장 중요한 것은, 로봇 군대와 경찰력이 단일 정치 지도자에 의해 완전히 통제되고 완벽히 복종하도록 프로그래밍될 수 있다는 점이다—더 이상 쿠데타나 대중 반란의 위험이 없다.
과거 독재 정권은 결코 영구적이지 않았지만, 초지능은 독재자의 통치에 대한 거의 모든 역사적 위협을 제거하고 그들의 권력을 고정시킬 수 있다(가치 고정 참조). 만약 CCP가 이 권력을 얻는다면, 그들은 당의 “진리” 개념을 완전하고 철저하게 강제할 수 있을 것이다.
분명히 말하자면, 저는 단지 “우리의 가치가 더 낫기 때문에” 독재자가 초지능을 갖는 것을 걱정하는 것이 아닙니다. 저는 자유와 민주주의를 강하게 믿다. 왜냐하면 제가 옳은 가치가 무엇인지 모르기 때문이다. 역사의 긴 흐름 속에서, “시간은 많은 것을 뒤흔들어 놓았다.
“투쟁하는 신념들.” 나는 우리가 오류 수정, 실험, 경쟁, 적응의 메커니즘에 신뢰를 두어야 한다고 믿는다.
초지능은 그것을 다루는 이들에게 반대, 반대 의견을 짓밟고 인류를 위한 거대한 계획을 확고히 할 힘을 줄 것이다. 이 힘을 사용하는 끔찍한 유혹에 저항하기는 어려울 것이다. 나는 간절히 바라건대, 대신에 건국자들의 지혜에 의지하여 근본적으로 다른 가치들이 번성하게 하고, 미국 실험을 정의해온 시끄러운 다원성을 보존할 수 있기를 바란다.
범용 인공지능(AGI) 경쟁에서 걸려 있는 것은 단지 먼 대리 전쟁에서의 우위만이 아니라, 자유와 민주주의가 다음 세기 이상 살아남을 수 있느냐 하는 문제다. 인류 역사의 흐름은 잔인하면서도 명확하다. 20세기에 두 차례 전 세계를 위협한 폭정이 있었으며, 이 위협이 영원히 사라졌다고 착각해서는 안 된다. 많은 젊은 친구들에게 자유와 민주주의는 당연한 것으로 느껴지지만, 그렇지 않다. 역사상 가장 흔한 정치 체제는 권위주의다.1010. 주로 군주제이다.
나는 중국 공산당(CCP)과 그 권위주의 동맹들의 의도를 진심으로 알지 못한다. 하지만 상기할 점은: CCP는 아마도 인류 역사상 가장 위대한 전체주의 대량 학살자를 계속 숭배하는 정권이다(“기아, 박해, 강제 노동, 대량 처형으로 인한 희생자 수는 4천만에서 8천만 명으로 추정됨”); 최근 백만 명의 위구르인을 강제 수용소에 가두고 자유 홍콩을 짓밟은 정권; 신식(휴대폰 추적, DNA 데이터베이스, 얼굴 인식 등)과 구식(이웃을 신고하는 시민 군단 모집) 모두를 이용한 사회 통제를 위한 대규모 감시를 체계적으로 실행하는 정권; 모든 문자 메시지가 검열을 거치도록 하고, 해외에서 시위에 참여하는 자녀 때문에 가족을 경찰서로 끌고 가는 등 반대 의견을 억압하는 정권; 시진핑을 종신 독재자로 확립한 정권; 자유로운 이웃 국가를 군사적으로 짓밟고 “재교육”하겠다는 목표를 내세우는 정권; 중국 중심의 세계 질서를 명시적으로 추구하는 정권이다.
자유 진영은 이 경쟁에서 권위주의 세력을 반드시 이겨야 한다. 우리는 미국의 경제적·군사적 우위 덕분에 평화와 자유를 누리고 있다. 범용 인공지능(AGI)을 넘어 초지능으로 무장한 중국 공산당(CCP)도 국제 무대에서 책임감 있게 행동하며 각자 영역을 존중할 수도 있다. 그러나 그들의 독재자 역사는 결코 아름답지 않다. 미국과 동맹국들이 이 경쟁에서 승리하지 못하면, 우리는 모든 것을 잃을 위험에 처하게 된다.
건전한 우위를 유지하는 것이 안전에 결정적이다
과학과 기술의 저주받은 역사는, 그들이 경이로움을 펼칠수록 파괴 수단도 함께 확장되었다는 것이다. 막대기와 돌에서부터 칼과 창, 소총과 대포, 기관총과 전차, 폭격기와 미사일, 핵무기에 이르기까지. 기술이 발전함에 따라 ‘파괴력 대비 비용’ 곡선은 꾸준히 하락해왔다. 우리는 초지능 이후의 급속한 기술 진보도 이 추세를 따를 것으로 예상해야 한다.
아마도 생물학 분야의 극적인 발전은 조용하고 빠르게 퍼지며 명령에 따라 완벽한 치명성을 발휘하는 새로운 생물무기를 만들어낼 것이다(테러 단체도 감당할 수 있을 만큼 매우 저렴하게 제작 가능할 수도 있다). 아마도 새로운 유형의 핵무기는 핵무기 규모를 OOM(10배 단위) 단위로 증가시키고, 탐지 불가능한 새로운 운반 수단을 가능하게 할 것이다. 아마도 치명적인 독을 실은 모기 크기의 드론이 상대 국가의 모든 구성원을 표적으로 삼을 수도 있다. 한 세기 동안의 기술 진보가 무엇을 가져올지 알기 어렵지만, 끔찍한 가능성들이 펼쳐질 것임은 확신한다.
인류는 냉전 시절 자멸을 가까스로 피했다. 역사적 관점에서 볼 때, AGI가 제기하는 가장 큰 실존적 위험은 우리가 엄청난 대량 살상 수단을 개발할 수 있게 해준다는 점이다. 이번에는 이러한 수단이 악의적 행위자나 테러리스트에게까지 확산되어 접근 가능해질 수도 있다(특히 현재 경로대로라면, 초지능 모델 가중치(model weights)가 충분히 보호받지 못해 북한, 이란 등에게 직접 도난당할 위험이 있다).
북한은 이미 조직적인 생물무기 프로그램을 보유하고 있다. 미국은 “북한이 생물무기를 개발·생산하기 위한 전담 국가 차원의 공격 프로그램을 가지고 있다”고 평가한다. 그들의 주요 제약은 소수의 최고 과학자들이 (합성) 생물학의 한계를 얼마나 밀어붙였는지에 달려 있는 것으로 보인다. 이 제약이 해소되어 수백만의 초지능을 활용해 생물무기 연구개발을 가속화할 수 있게 되면 어떻게 될까? 예를 들어, 미국은 북한이 현재 생물학적 제품을 유전공학적으로 조작할 수 있는 능력이 “제한적”이라고 평가한다. 이 능력이 무제한이 된다면 어떻게 될까? 어떤 불길한 신종 조합으로 우리를 인질로 잡게 될까?
더욱이, 초정렬(슈퍼얼라인먼트) 섹션에서 논의한 바와 같이, 지능 폭발 전후에는 극도의 안전 위험이 존재할 것이다. 우리는 초인적 AI 시스템을 신뢰하고 통제할 수 있도록 보장하는 새로운 기술적 도전에 직면하게 될 것이다. 이는 중요한 순간에 속도를 늦춰야 할 수도 있음을 의미한다. 예를 들어, 지능 폭발 중간에 6개월 정도 지연하여 안전성에 대한 추가 보장을 확보하거나, 컴퓨트(compute) 자원의 상당 부분을 능력 향상보다는 정렬 연구(alignment research)에 투입하는 식이다.
일부는 안전에 관한 국제 조약을 기대하기도 한다. 그러나 나는 이것이 허황된 생각이라고 본다. 중국 공산당(CCP)과 미국 정부(USG) 모두가 AGI에 대해 안전 위험을 진지하게 받아들일 만큼 준비된 세계는, 동시에 양측 모두 국제 경제 및 군사 우위가 걸려 있음을 인식하는 세계이기도 하다. AGI에서 몇 달 뒤처진다는 것은 영구적으로 뒤처지는 것을 의미할 수 있다. 만약 경쟁이 치열하다면, 적어도 초지능 초기 단계에서 어떤 군비 통제 균형도 매우 불안정할 것이다. 요컨대, “탈주(breakout)”는 너무 쉽다. 지능 폭발 경쟁에서 앞서 나가 초지능과 결정적 우위를 확보하려는 유인(그리고 다른 이들이 그렇게 할 것이라는 두려움)이 너무 크기 때문이다.1111. 다음 비교를 고려해 보라. 불안정한 군비 통제 균형과 안정적인 군비 통제 균형의 차이. 1980년대 냉전 시기 군비 통제는 핵무기를 상당히 줄였지만 안정적인 균형을 목표로 했다. 미국과 소련은 여전히 수천 기의 핵무기를 보유했다. 어느 한쪽이 핵무기를 급히 증강하려 해도 상호확증파괴(MAD)가 보장되었다. 불량 국가가 핵무기를 일부 개발하려 해도 미국이나 소련을 근본적으로 위협할 수는 없었다. 그러나 무기 수를 매우 낮은 수준으로 감축하거나 급격한 기술 변화가 일어나는 상황에서는 균형이 불안정하다. 불량 행위자나 조약 위반자가 급히 핵무기 증강 프로그램을 시작해 다른 국가들을 완전히 압도할 수 있다. 핵무기 제로는 안정적인 균형이 될 수 없다. 이 논문은 1차 세계대전 이후 군비 제한과 워싱턴 해군 조약 같은 역사적 사례를 통해, 유사하게 역동적인 상황에서 군비 감축이 안정화가 아니라 불안정을 초래했음을 보여준다. 만약 AGI에서 몇 달의 우위가 결정적인 이점을 준다면, AI 분야에서의 안정적인 군비 감축도 마찬가지로 어렵다. 불량 신흥 세력이나 조약 위반자가 비밀리에 급히 프로그램을 시작해 큰 우위를 차지할 수 있으며, 어떤 합의도 안정적일 수 없을 것이다. 최소한, 여기서 우리가 충분히 좋은 결과를 얻을 가능성은 희박해 보인다. (기후 조약들은 어떻게 되었나? 이 문제에 비하면 훨씬 쉬운 문제였던 것 같다.)
우리가 가진 주요—아마도 유일한—희망은 민주주의 국가들의 동맹이 적대 세력에 비해 건강한 우위를 확보하는 것이다.
미국은 주도권을 잡아야 하며, 그 주도권을 이용해 전 세계에 안전 규범을 강제해야 한다. 이것이 우리가 핵무기 문제에서 취한 경로로, 평화적 핵기술 사용에 대한 지원을 제공하는 대신 국제 비확산 체제(nonproliferation regime)를 구축했고(궁극적으로는 미국 군사력에 의해 뒷받침됨), 이것이 유일하게 효과가 입증된 경로다.
아마도 가장 중요한 점은, 건강한 주도권이 우리에게 조정할 여지를 준다는 것이다. 예를 들어, 지능 폭발 시기에 정렬(alignment)에 추가적인 노력을 기울여 안전을 확보하기 위해 필요하다면 주도권의 일부를 ‘현금화’할 수 있는 능력이다.
초지능의 안전 문제는 만약 치열한 군비 경쟁 상태라면 관리하기 매우 어려워진다. 2년과 2개월의 주도권 차이는 쉽게 모든 차이를 만들 수 있다. 만약 우리가 2개월의 주도권만 가진다면, 안전을 위한 여유가 전혀 없다. 중국 공산당(CCP)의 지능 폭발을 두려워하여 우리는 거의 틀림없이 무제한으로 우리 자신의 지능 폭발을 경쟁할 것이다. 몇 달 만에 인간보다 훨씬 똑똑한 AI 시스템을 향해 돌진하면서, 핵심 결정을 올바르게 내릴 여유 없이, 초지능이 잘못될 위험을 모두 감수하게 된다. 우리는 매우 불안정한 상황에 직면할 것이며, 우리와 CCP가 빠르게 새로운 군사 기술을 개발하면서 억지력을 반복적으로 불안정하게 만들 것이다. 만약 우리의 비밀과 모델 가중치(model weights)가 잠겨 있지 않다면, 다른 여러 불량 국가들도 초지능을 이용해 자신들의 새로운 초대형 WMD 무기고를 갖추는 데 근접할 수 있다. 우리가 간신히 앞서 나간다 해도, 그것은 아마도 피로 얻은 승리일 것이다; 실존적 투쟁이 세계를 완전한 자기 파괴 직전까지 몰고 갈 것이다.
민주주의 동맹국들이 건강한 주도권, 예를 들어 2년의 주도권을 가진다면 초지능은 매우 다르게 보인다.1212. 이미 오늘날 AI 발전 속도가 매우 빠르고, 지능 폭발과 초지능 이후의 더 광범위한 기술 폭발에서 기대되는 더욱 빠른 속도를 고려할 때, “단지” 2년의 주도권도 초지능 이후 세계에서 능력 차이에 있어 엄청난 차이가 될 것이다. 이것은 우리가 초지능을 둘러싼 전례 없는 일련의 도전을 헤쳐 나가고 상황을 안정시키는 데 필요한 시간을 확보해 준다.
미국이 결정적으로 승리할 것이 분명해지면, 그때 중국과 다른 적대국들에게 협상을 제안한다. 그들은 자신들이 이길 수 없다는 것을 알게 되고, 따라서 그들의 유일한...
선택지는 협상 테이블에 나오는 것이다; 그리고 우리는 그들이 서구의 노력을 방해하기 위한 열광적인 대치나 막판 군사적 시도를 피하기를 바란다. 그들의 내정 불간섭을 보장하고, 초지능의 평화적 혜택을 공유하는 대가로, 비확산 체제(nonproliferation regime), 안전 규범, 그리고 초지능 이후의 안정성의 외형이 탄생할 수 있다.
어쨌든, 이 투쟁이 깊어질수록 우리는 자기 파괴의 위협을 잊어서는 안 된다. 우리가 냉전 시기를 무사히 넘긴 것은 너무나도 큰 행운1313. 다니엘 엘스버그는 당시 RAND와 국가안보 기구에서 핵전쟁 계획자로 일하며 이 이야기를 흥미진진하게 전한다.이었다 — 그리고 그 파괴력은 당시 우리가 직면했던 것보다 천 배나 강력할 수 있다. 미국 주도의 민주주의 연합이 건강한 우위를 점하고 — 우리가 처한 어떤 불안정한 상황이든 이를 안정시키기 위한 엄숙한 리더십 행사가 — 아마도 이 벼랑을 넘어가는 가장 안전한 길일 것이다. 하지만 AGI 경쟁의 열기 속에서, 우리는 그것을 망쳐서는 안 된다.
초지능은 국가 안보 문제다
명백하다: AGI는 미국 국가 안보에 대한 실존적 도전이다. 이제 이를 그렇게 다루기 시작할 때다.
미국 정부는 천천히 움직이기 시작하고 있다. 미국 칩에 대한 수출 통제는 매우 중요한 사안이며, 당시에는 놀라울 정도로 선견지명이 있는 조치였다. 하지만 우리는 전 분야에서 진지해져야 한다.
미국은 우위를 점하고 있다. 우리는 그 우위를 유지하기만 하면 된다. 그런데 지금 우리는 그것을 망치고 있다. 무엇보다도, 우리는 향후 12~24개월 내에 주요 AGI 돌파구(또는 AGI 가중치 자체)가 유출되기 전에 AI 연구소를 신속하고 근본적으로 봉쇄해야 한다. 우리는 독재국가들이 쉽게 돈을 제공하는 곳이 아니라 미국 내에 컴퓨트(compute) 클러스터를 구축해야 한다. 그리고 그렇다, 미국 AI 연구소는 정보기관 및 군과 협력할 의무가 있다. 미국의 AGI 우위는 단지 최고의 AI 여자친구 앱을 만드는 것으로 평화와 자유를 확보하지 못할 것이다. 보기 좋지는 않지만 — 우리는 미국 방어를 위해 AI를 구축해야 한다.
우리는 이미 수십 년 만에 가장 폭발적인 국제 정세를 향해 나아가고 있다. 푸틴은 동유럽에서 진격 중이다. 중동은 불타고 있다. 중국 공산당(CCP)은 대만을 자신의 운명으로 보고 있다. 여기에 범용 인공지능(AGI) 경쟁을 더하라. 초지능 이후 수년 내에 한 세기 분량의 기술 혁신이 압축되어 일어날 것이다. 이는 지금까지 본 것 중 가장 불안정한 국제 정세 중 하나가 될 것이며, 적어도 초기에는 선제공격에 대한 유인이 엄청날 것이다.1414. 모두가 자신만의 초지능을 향해 경쟁하며, 한쪽이 되돌릴 수 없이 앞서나가기 전 제한된 기간만 존재한다. 일단 충분히 물리적 우위를 확보하기 전 경쟁 상대의 초지능 클러스터를 무력화하려 할 큰 유인도 있을 것이다(예: 초지능으로 요격 불가능 미사일 방어체계나 드론 떼 개발). 모두가 자신만의 초지능을 향해 달려갈 것이며, 누군가가 돌이킬 수 없이 앞서 나가기 전까지는 제한된 시간이 있을 것이다. 적의 초지능 클러스터를 충분한 물리적 우위를 확보하기 전에 무력화하려는 큰 유인이 있을 것이다(예: 초지능을 이용해 뚫을 수 없는 미사일 방어 체계나 드론 무리를 개발하는 것). 이로 인해 다른 모든 이들은 영원히 뒤처지게 된다.
AGI 예상 시기(~2027년?)와 대만 침공 예상 시기(중국이 2027년까지 대만 침공 준비 완료?)가 이미 오싹할 정도로 일치하고 있다—이 일치는 세계가 AGI를 인식하면서 더욱 심화될 것이다. (1960년에 세계 대부분의 우라늄 매장지가 베를린에 집중되어 있었다고 상상해 보라!) 내 생각에 AGI 최종 국면이 세계 대전이라는 배경 속에서 전개될 현실적인 가능성이 있다. 그때는 모든 내기가 무의미해진다.
댓글