IV. 프로젝트

범용 인공지능(AGI) 경쟁이 치열해짐에 따라 국가안보 체제가 개입할 것이다. 미국 정부(USG)는 잠에서 깨어나 27년 또는 28년쯤에는 어떤 형태로든 정부 주도의 AGI 프로젝트가 시작될 것이다. 어떤 스타트업도 초지능을 다룰 수 없다. 민감구획정보시설(SCIF) 어딘가에서 최종 국면이 펼쳐질 것이다.

우리는 수백 개의 발전소, 수천 개의 폭탄, 수만 명의 사람들이 국가 기관에 집결한 이와 같은 집합체가 어떻게 실험실 벤치에 앉아 한 종류의 원자 특이한 행동을 논의하는 몇몇 사람들로부터 유래했는지 알고자 하는 호기심을 가져야 한다. 스펜서 R. 위어트

요즘에는 최첨단 AI 시스템의 라이선스 발급부터 안전 기준, 학계에 수억 단위의 컴퓨트(compute)를 제공하는 공용 클라우드에 이르기까지 다양한 “AI 거버넌스” 계획이 제안되고 있다. 이들은 선의로 보이지만, 내게는 범주 오류를 범하는 것처럼 보인다.

미국 정부가 일개 샌프란시스코 스타트업에게 초지능 개발을 맡길 것이라는 생각은 미친 짓이다. 만약 우버에게 즉흥적으로 원자폭탄을 개발하게 했다면 어땠을지 상상해 보라.

초지능—인간보다 훨씬 똑똑한 AI 시스템—은 신무기 개발에서부터 경제 성장 폭발을 이끄는 데 이르기까지 막대한 힘을 가질 것이다. 초지능은...

국제 경쟁의 중심지; 군사 충돌에서 결정적일 수 있는 몇 달의 선도.

역사로부터의 우리의 짧은 휴식을 무의식적으로 내면화한 이들의 착각은 이것이 더 원초적인 힘들을 불러일으키지 않을 것이라는 점이다. 우리 이전의 많은 과학자들처럼, 샌프란시스코의 위대한 지성들은 자신들이 탄생시키고 있는 악마의 운명을 통제할 수 있기를 바란다. 지금은 그들이 여전히 통제할 수 있다; 왜냐하면 그들은 상황 인식을 가진 소수 중 하나로, 자신들이 무엇을 만들고 있는지 이해하고 있기 때문이다. 그러나 앞으로 몇 년 안에, 세계는 깨어날 것이다. 국가안보 체제도 마찬가지다. 역사는 승리의 귀환을 할 것이다.

과거 여러 차례처럼—코로나, 제2차 세계대전—미국이 운전대를 놓친 듯 보이다가도, 갑자기 정부가 가장 비범한 방식으로 움직이기 시작할 것이다. 몇 년 안에, 단지 몇 차례 더 “2023년 수준”의 모델 능력과 AI 담론의 도약이 있을 때, 분명해질 순간이 올 것이다: 우리는 범용 인공지능(AGI)의 문턱에 있으며, 곧 초지능이 뒤따를 것이다. 정확한 메커니즘에는 많은 변동이 있지만, 어쨌든 미국 정부가 지휘봉을 잡을 것이다; 주요 연구소들은 (“자발적으로”) 합병할 것이며; 의회는 칩과 전력에 수조 달러를 배정할 것이다; 민주주의 국가들의 연합이 형성될 것이다.

스타트업은 많은 일에 훌륭하지만—스타트업 단독으로는 미국의 가장 중요한 국가 방위 프로젝트를 책임질 준비가 되어 있지 않다. 우리는 직면할 전면적인 첩보 위협에 맞서기 위해 정부의 개입이 필요할 것이다; 민간 AI 노력은 사실상 초지능을 중국 공산당(CCP)에 직접 전달하는 것과 다름없다. 우리는 최소한의 정상적인 지휘 체계라도 확보하기 위해 정부가 필요하다; 일개 CEO(또는 임의의 비영리 이사회)가 핵 버튼을 가질 수는 없다. 우리는 초지능의 심각한 안전 문제를 관리하고, 지능 폭발의 전쟁의 안개를 관리하기 위해 정부가 필요하다. 우리는 초지능을 배치하여 어떤 극단적 위협이 발생하더라도 방어하고, 이후 이어질 극도로 불안정한 국제 상황을 극복하기 위해 정부가 필요하다. 우리는 민주주의 연합을 동원하여 경쟁에서 승리하기 위해 정부가 필요할 것이다.

권위주의 세력과 협력하여 전 세계를 위한 비확산 체제(nonproliferation regime)를 구축(및 집행)해야 한다. 이렇게 되어야 한다는 점이 안타깝지만—정부가 필요할 것이다. (네, 행정부가 누구든 상관없이.)

어쨌든, 나의 주된 주장은 규범적이기보다는 기술적이다. 몇 년 안에 프로젝트가 시작될 것이다.

프로젝트로 가는 길

내 기억에 선명히 각인된 사건은 2020년 2월 말부터 3월 중순까지다. 2월 마지막 주와 3월 초, 나는 완전히 절망에 빠져 있었다. 우리는 코로나의 지수적 확산 단계에 접어든 것이 분명해 보였고, 전염병이 나라를 휩쓸 것이며 병원 붕괴가 임박했는데도 거의 아무도 심각하게 받아들이지 않았다. 뉴욕 시장은 여전히 코로나 공포를 인종차별로 치부하며 사람들이 브로드웨이 공연에 가도록 권장했다. 내가 할 수 있는 것은 마스크를 사는 것과 주식을 공매도하는 것뿐이었다.

그런데 불과 몇 주 만에 전국이 봉쇄되었고 의회는 수조 달러(실제로 GDP의 10% 이상)를 배정했다. 지수적 확산이 어디까지 갈지 미리 예측하는 것은 너무 어려웠지만, 위협이 충분히 가까워지고 실존적으로 심각해지자 비상한 힘들이 발휘되었다. 대응은 늦고 조잡하며 무딘 것이었지만, 어쨌든 이루어졌고 극적이었다.

앞으로 몇 년간 AI 분야도 비슷한 느낌일 것이다. 우리는 지금 중반전이다. 2023년은 이미 격변의 해였다. AGI는 주저하며 연관 짓던 주변 주제에서 주요 상원 청문회와 세계 정상 회담의 주제로 급부상했다. 아직 초기 단계임에도 불구하고 미국 정부의 참여 수준은 나에게 인상적이었다. 2023년과 같은 해가 몇 번 더 지나면 오버턴 창(Overton window)이 완전히 열릴 것이다.

우리가 OOM(10배 단위)를 빠르게 넘나들면서 도약은 계속될 것이다. 2025년이나 2026년쯤에는 다음으로 충격적인 단계적 변화가 일어날 것으로 예상한다; AI는 대형 기술 기업에 연간 1000억 달러 이상의 수익을 창출하고, 박사 학위 소지자들을 순수 문제 해결 능력에서 능가할 것이다. 마치

코로나로 인한 주식시장 붕괴는 많은 이들로 하여금 코로나를 심각하게 받아들이게 만들었고, 우리는 10조 달러 규모의 기업들을 보게 될 것이며 AI 열풍이 어디에나 퍼질 것이다. 그것만으로도 부족하다면, 2027년/28년쯤에는 1000억 달러 이상 규모의 클러스터에서 훈련된 모델들이 등장할 것이다; 본격적인 AI 에이전트(agent)/원격 근무자가 소프트웨어 엔지니어링과 기타 인지적 업무를 광범위하게 자동화하기 시작할 것이다. 매년 그 가속도는 현기증이 날 정도로 느껴질 것이다.

많은 이들이 아직 범용 인공지능(AGI)의 가능성을 보지 못하지만, 결국 합의가 형성될 것이다. 어떤 이들은, 예를 들어 질라드(Szilard)처럼, 다른 이들보다 훨씬 일찍 원자폭탄의 가능성을 보았다. 그들의 경고는 처음에는 잘 받아들여지지 않았고; 폭탄의 가능성은 먼 이야기로 치부되었으며(적어도 보수적이고 올바른 태도는 그 가능성을 축소하는 것이었다고 여겨졌다). 질라드의 열렬한 비밀 유지 호소는 조롱당하고 무시되었다. 그러나 점점 더 많은 실험적 결과가 나오면서, 처음에는 회의적이던 많은 과학자들이 폭탄이 가능하다는 것을 깨닫기 시작했다. 과학자 대다수가 우리가 폭탄의 문턱에 서 있다고 믿게 되자, 정부는 국가안보의 긴급성을 너무 크게 인식했고—맨해튼 프로젝트가 시작되었다.

OOM(10배 단위)가 이론적 추정에서 (비범한) 실증적 현실로 전환됨에 따라, 점차 주요 과학자들과 경영진, 정부 관리들 사이에서도 합의가 형성될 것이다: 우리는 범용 인공지능(AGI), 지능 폭발, 초지능의 문턱에 서 있다. 그리고 이 즈음에 우리는 AI의 진정으로 무서운 첫 시연을 보게 될 것이다: 아마도 자주 논의되는 “초보자들이 생물무기를 만드는 것을 돕는” 사례, 혹은 자율적으로 중요한 시스템을 해킹하는 사례, 또는 전혀 다른 무언가일 것이다. 이 기술이 완전히 결정적인 군사 기술임이 분명해질 것이다. 우리가 큰 전쟁에 휘말리지 않는 행운을 누리더라도, 중국 공산당(CCP)이 이를 주목하고 강력한 AGI 노력을 시작했을 가능성이 높다. 아마도 결국 (불가피한) CCP가 미국의 주요 AI 연구소에 침투한 사실이 밝혀져 큰 파장을 일으킬 것이다.

대략 26년/27년 무렵, 워싱턴의 분위기는 엄숙해질 것이다. 사람들은 무슨 일이 일어나고 있는지 본능적으로 느끼기 시작할 것이며; 두려워할 것이다. 펜타곤의 복도에서부터 비공개 의회 브리핑실까지 명백한 소리가 울려 퍼질 것이다.

모두가 궁금해하는 질문: 우리는 범용 인공지능(AGI) 맨해튼 프로젝트가 필요한가? 처음에는 천천히, 그러다 갑자기 모두가 알게 될 것이다: 이 일이 일어나고 있으며, 상황이 급격히 변할 것이고, 이것이 원자폭탄 발명 이후 미국 국가안보에 가장 중요한 도전이라는 것을. 어떤 형태로든 국가안보 체제가 매우 깊이 관여하게 될 것이다. 이 프로젝트는 필수적이며, 사실상 유일하게 그럴듯한 대응책이 될 것이다.

물론, 이것은 매우 간략한 설명이다—많은 것은 언제, 어떻게 합의가 형성되는지, 주요 경고 신호 등이 좌우한다. 워싱턴 DC는 악명 높게 비효율적이다. 코로나 사태나 심지어 맨해튼 프로젝트 때처럼, 정부는 믿을 수 없을 정도로 늦고 서투를 것이다. 1939년 아인슈타인이 대통령에게 보낸 편지(질라드가 작성) 이후 우라늄 자문위원회가 구성되었지만, 관료들은 무능했고 초기에는 별다른 진전이 없었다. 예를 들어, 페르미는 연구 지원금으로 겨우 6천 달러(현재 가치 약 13만 5천 달러)를 받았는데, 그것도 쉽게 주어진 것이 아니었고 몇 달을 기다려야 했다. 질라드는 당국의 근시안적이고 느린 대응 때문에 프로젝트가 최소 1년 지연되었다고 믿었다. 1941년 3월, 영국 정부는 결국 폭탄 개발이 불가피하다고 결론지었다. 미국 위원회는 이 영국 보고서를 몇 달간 완전히 무시하다가, 결국 1941년 12월에야 전면적인 원자폭탄 개발 노력을 시작했다.

이것이 실제로 어떻게 운영될지는 여러 가지 방법이 있을 수 있다. 분명히 말하자면, 이것이 반드시 AI 연구자들이 군에 고용되는 식의 문자 그대로의 국유화일 필요는 없다(물론 그럴 수도 있다!).¹1. 참고로, 민간 기업들이 핵무기 부품 개발에 참여하지만 완성된 핵무기를 소유하는 것은 절대 허용되지 않는다. 이에 비해 내가 제안하는 “AGI 정부 프로젝트”의 주류 버전은 대량살상무기(WMD) 참조 범주에서 전례 없이 민간화되어 있다. 오히려 나는 더 세련된 조율 방식을 예상한다. 국방부(DoD)와의 관계는 보잉이나 록히드 마틴과의 관계와 비슷할 수 있다. 주요 클라우드 컴퓨트(compute) 제공업체, AI 연구소, 정부 간에 방위 계약이나 유사한 형태로 합작 투자가 이루어져, 사실상 국가안보 체제의 프로젝트가 되는 것이다. 2023년에 AI 연구소들이 백악관에 “자발적으로” 약속을 한 것처럼, 서방 연구소들도 어느 정도 “자발적으로” 국가적 노력에 합류할 수 있다. 그리고 수조 달러의 투자가 관련되므로, 견제와 균형을 위해 의회가 관여해야 할 가능성이 크다.²2. 의회—심지어 부통령조차도—맨해튼 프로젝트에 대해 알지 못했다. 우리는 여기서 그런 실수를 반복하지 말아야 하며, 프로젝트의 핵심 관계자들은 상원의 인준을 받아야 한다고 제안한다.

이 모든 세부 사항이 어떻게 정리될지는 다음 기회에 다룰 이야기다.

하지만 26/27/28년 말까지는 진행 중일 것이다. 핵심 범용 인공지능(AGI) 연구팀(수백 명의 연구원)은 안전한 장소로 이동할 것이며, 조 단위 달러 규모의 클러스터가 기록적인 속도로 구축될 것이다; 프로젝트는 시작될 것이다.

왜 프로젝트가 유일한 방법인가

나는 정부에 대해 환상을 가지고 있지 않다. 정부는 온갖 제약과 잘못된 인센티브에 직면해 있다. 나는 미국 민간 부문을 크게 신뢰하며, 기술이나 산업에 정부가 과도하게 개입하는 것을 거의 권장하지 않는다.

나는 AGI에도 같은 틀을 적용했었다—AI 연구소에 합류하기 전까지는. AI 연구소는 몇 가지 면에서 매우 뛰어나다: AI를 학문적 과학 프로젝트에서 스타트업만이 할 수 있는 방식으로 상업적 대무대로 끌어올렸다. 하지만 궁극적으로 AI 연구소는 여전히 스타트업이다. 우리는 스타트업이 초지능을 다룰 준비가 되어 있다고 기대해서는 안 된다.

여기에는 좋은 선택지가 없다—하지만 다른 방법도 보이지 않는다. 기술이 국가 안보에 이토록 중요해지면, 우리는 미국 정부(USG)가 필요할 것이다.

초지능은 미국의 가장 중요한 국가 방위 프로젝트가 될 것이다

나는 이전 글에서 초지능의 힘에 대해 논의했다. 수년 내에 초지능은 군사력 균형을 완전히 뒤흔들 것이다. 2030년대 초까지는 미국의 모든 무기고(좋든 싫든, 세계 평화와 안보의 기반)가 아마도 구식이 될 것이다. 이는 단순한 현대화 문제가 아니라 전면적인 교체가 될 것이다.

간단히 말해, AGI 개발은 인터넷보다는 핵무기와 더 비슷한 범주에 속하게 될 것이 분명하다. 물론 이중 용도 기술이겠지만—핵 기술도 이중 용도였다. 민간 응용 분야도 그 시기를 가질 것이다. 하지만...

AGI 종말의 안개 속에서, 좋든 나쁘든 국가안보가 주요 배경이 될 것이다.

우리는 급격한 기술 변화에 직면하여 수년 내에 미국 군대를 완전히 재편해야 할 것이다—그렇지 않으면 그렇게 하는 적들에게 완전히 압도당할 위험이 있다. 아마도 가장 중요한 초기 우선순위는 방어적 응용을 위해 초지능을 배치하는 것이며, 무수히 많은 새로운 위협을 견뎌내기 위한 대응책을 개발하는 것이다: 초인적인 해킹 능력을 가진 적들, 우리의 핵 억지력을 선제 공격할 수 있는 새로운 유형의 은밀한 드론 무리, 무기화될 수 있는 합성생물학의 진보 확산, 격동하는 국제(및 국내) 권력 투쟁, 그리고 불량 초지능 프로젝트들.

명목상 민간이든 아니든, AGI 프로젝트는 반드시, 그리고 실제로는 방위 프로젝트가 되어야 하며, 국가안보 체제와 매우 긴밀한 협력이 필요할 것이다.

초지능을 위한 건전한 지휘 체계

초지능의 힘과 도전은 우리가 기술 기업에서 보아온 어떤 것과도 매우 다른 참조 범주에 속할 것이다. 분명해 보인다: 이것은 일개 CEO의 일방적 지휘 하에 있어서는 안 된다. 실제로, 초지능을 개발하는 민간 연구소 세계에서는 개별 CEO들이 문자 그대로 미국 정부를 쿠데타할 권력을 가질 가능성도 충분하다.³3. 이 시점에서는 AI 연구소 직원의 협력이 필요하지 않을 것이다. 대부분 자동화되어 있을 것이기 때문이다. 엘론 머스크가 핵무기 지휘권을 최종적으로 갖는 상황을 상상해 보라.⁴4. Sam Altman이 “매년 AGI에 가까워질수록 모두 +10의 미친 점수를 얻는다”고 말한 바 있다. (또는 임의의 비영리 이사회가 핵무기 지휘권을 장악하기로 결정하는 경우도 마찬가지다.)

사회로서 우리는 군대를 민주 정부가 통제해야 한다고 결정했다는 점은 아마도 명백하다;⁵5. 실제로 정부가 가장 무거운 무기를 지닌 것은 거대한 문명적 성취였다! 중세 같은 ‘모두가 모두와 싸우는’ 상태 대신, 법원과 다원적 기관을 통해 분쟁을 해결할 수 있었다. 초지능은 적어도 처음에는 가장 강력한 군사 무기가 될 것이다. 급진적인 제안은 프로젝트 자체가 아니라, 민간 AI CEO들이 군사 권력을 휘두르며 자비로운 독재자가 될 것이라는 내기에 베팅하는 것이다.

실제로 민간 AI 연구소 체제는 핵 버튼을 쥔 일개 CEO보다 더 위험할 수 있다. 연구소들의 허술한 보안은 내부 통제 부재와도 연결된다. 즉, 제대로 검증받지 않은 AI 연구소 직원이 눈에 띄지 않게 독자적으로 행동할 가능성도 있다.

우리는 합리적인 지휘 체계가 필요하다—그리고 WMD(대량살상무기)에 비견될 만한 것을 책임감 있게 다루기 위해 반드시 수반되는 모든 절차와 안전장치도 필요하다—그리고 이는 정부가 수행해야 할 일이다. 어떤 면에서 이것은 단순히 버크주의적 주장이다: 정부 권력을 견제하는 제도, 헌법, 법률, 법원, 견제와 균형, 규범, 자유민주주의 질서에 대한 공통된 헌신(예: 장군들이 불법 명령을 거부하는 것) 등이 수백 년의 시험을 견뎌냈다. 반면, 특별한 AI 연구소 거버넌스 구조는 처음 시험대에 올랐을 때 무너졌다. 미국 군대는 이미 원한다면 미국 내 거의 모든 민간인을 죽이거나 권력을 장악할 수 있다—그리고 우리가 핵무기에 대한 정부 권력을 견제하는 방식은 각기 핵무기를 보유한 수많은 민간 기업을 통해서가 아니다. 이 임무를 수행할 수 있다는 점이 입증된 지휘 체계와 제도는 단 하나뿐이다.

다시 말하지만, 당신이 진정한 자유지상주의자라서 규범적으로 동의하지 않을 수도 있다(일론 머스크와 샘 알트먼이 자신들의 핵무기를 지휘하게 하라!).⁶6. 또는 모든 것을 오픈소스(open source)로 공개하자고 말할 수도 있다. 단순히 모든 것을 오픈소스(open source)로 공개하는 문제는 미국 내에서 수많은 꽃이 피는 행복한 세상이 아니라, 중국 공산당(CCP)이 미국이 개발한 초지능에 자유롭게 접근하여 더 많이 만들고(그리고 덜 조심하거나 규제하며) 세계를 장악하는 세상이 된다는 점이다. 그리고 또 다른 문제는 초대형 대량살상무기가 전 세계의 모든 불량 국가와 테러 단체에 확산된다는 점이다. 나는 이것이 좋은 결말을 맺지 못할 것이라고 본다. 정부가 전혀 없는 상태가 자유보다 오히려 폭정(또는 파괴)로 이어질 가능성이 더 높은 것과 비슷하다. 그러나 초지능이 국가 안보의 핵심 문제임이 명확해지면, 워싱턴 DC의 남녀들은 분명 그렇게 볼 것이다.

초지능의 민간 활용

물론, 초지능의 민간 활용이 정부에만 국한된다는 의미는 아니다.

• 핵 연쇄 반응은 처음에 정부 프로젝트로 활용되었고, 핵무기는 영구히 정부에만 허용되었지만, 민간 핵 에너지는 60~70년대에 민간 프로젝트로 번성했다(환경운동가들이 중단시키기 전까지).

• 보잉은 B-29를 만들었다(제2차 세계대전 중 가장 비싼 방위 연구개발 프로젝트로, 맨해튼 프로젝트보다 더 비쌌다).

어쨌든, AGI에 가까워질수록 오픈소스(open source)의 중요성을 과대평가하는 경향이 있다. 클러스터 비용이 수천억 달러로 치솟고, 주요 알고리즘 비밀(algorithmic secrets)이 몇 년 전과 달리 공개되지 않고 독점적으로 관리되기 때문에, AGI를 개발하는 주체는 몇몇 선도 기업 2~3곳이 될 것이지, 분산된 코더들의 느슨한 커뮤니티가 아닐 것이다.

나는 다른 형태의 오픈소스(open source)가 계속 중요한 역할을 할 것이라고 생각한다: 몇 년 뒤처진 모델들이 오픈소스(open source)로 공개되어 기술의 혜택이 널리 확산되는 데 기여하는 것이다.

(프로젝트)와 B-47 및 B-52 장거리 폭격기를 군과 협력하여 개발한 후, 그 기술을 보잉 707 상업용 비행기에 적용하여 제트 시대를 열었다. 그리고 오늘날 보잉은 스텔스 전투기를 정부에만 판매할 수 있지만, 민간 제트기는 자유롭게 개발하고 판매할 수 있다.

• 레이더, 위성, 로켓, 유전자 기술, 제2차 세계대전 공장 등도 마찬가지였다.

초지능의 초기 개발은 극도로 불안정한 시기를 생존하고 안정화하려는 국가안보의 긴급성에 의해 주도될 것이다. 초지능의 군사적 사용은 정부에 한정될 것이며, 안전 규범이 시행될 것이다. 그러나 초기 위기가 지나면, 국가 컨소시엄에 참여한 기업들(및 기타 기업들)이 민간 응용 분야를 사적으로 추구하는 것이 자연스러운 경로가 될 것이다.

프로젝트가 존재하는 세계에서도, 초지능의 민간 응용 분야는 사적이고 다원적이며 시장 기반의 번성하는 생태계를 갖게 될 것이다.

보안

이 문제에 대해서는 이전 시리즈에서 길게 다룬 바 있다. 현재의 경로라면, 미국의 범용 인공지능(AGI) 노력을 포기하는 것이나 다름없다; 중국 공산당(CCP)은 모든 알고리즘 혁신과 모델 가중치(말 그대로 초지능의 복사본)를 즉시 훔칠 수 있다. 현재 경로에서는 초지능에 대해 ‘북한 방어’ 수준의 보안을 확보할 수 있을지도 불분명하다. 민간 스타트업이 AGI를 개발하는 세계에서는 초지능이 수십 개의 불량 국가로 확산될 것이다. 이는 단순히 용납할 수 없다.

이 문제를 진지하게 다룰 생각이라면, 분명히 이 기술을 철저히 통제해야 한다. 대부분의 민간 기업들은 이를 심각하게 받아들이지 못했다. 어쨌든, 결국 중국의 첩보 활동(예: 가중치 탈취가 국가안전부(MSS)의 최우선 과제임)을 온전히 막아내려면, 민간 기업이 충분한 보안을 확보하는 것은 아마 불가능할 것이다. 이는 요구될 것이다.

그 시점에서 AGI를 충분히 안전하게 확보하기 위해서는 미국 정보기관의 광범위한 협력이 필요할 것이다. 이는 AI 연구소와 AGI 핵심 연구진에 대한 극단적인 신원 조사, 지속적인 감시, 민감구획정보시설(SCIF) 내 근무, 출입 자유 제한 등 침해적인 제약을 포함하며, 궁극적으로는 정부만이 제공할 수 있는 인프라, 즉 AGI 데이터센터(datacenter) 자체의 물리적 보안도 요구할 것이다.

어떤 면에서는 보안만으로도 정부 프로젝트가 필수적임을 입증한다—자유 진영의 우위와 AI 안전 모두 이 기술을 잠글 수 없다면 실패할 것이다. (사실, 중국 공산당(CCP)의 AGI 연구소 침투가 명확해지면 모든 상원의원, 하원의원, 국가안보 관계자들이 이 문제에 대해 강한 의견을 갖게 될 가능성이 상당히 높다고 생각한다.)

안전

간단히 말해: 우리가 이 문제를 망칠 수 있는 방법은 많다—곧 우리 경제와 군대를 책임질 수십억의 초지능 에이전트(agent)를 신뢰하고 통제할 수 있도록 보장하는 것(초정렬(superalignment) 문제(superalignment problem))부터, 새로운 대량 파괴 수단의 오용 위험을 통제하는 것까지.

일부 AI 연구소는 안전에 전념한다고 주장한다: 그들이 만드는 것이 잘못되면 재앙을 초래할 수 있다을 인정하고, 때가 되면 필요한 조치를 취하겠다고 약속한다. 나는 그들의 약속을 믿고 모든 미국인의 생명을 걸 수 있을지 모르겠다. 더 중요한 것은, 지금까지 그들이 스스로 인정하는 바를 구축하는 데 필요한 역량, 신뢰성, 진지함을 입증하지 못했다는 점이다.

본질적으로 그들은 스타트업이며, 모든 일반적인 상업적 인센티브를 갖고 있다. 경쟁은 모두가 지능 폭발을 단순히 앞다투어 달성하도록 몰아갈 수 있으며, 적어도 일부 행위자는 안전을 무시할 의지가 있을 것이다. 특히, 우리는 안전 문제를 해결할 시간을 벌기 위해 “우리가 가진 우위를 일부 사용”하고자 할 수 있지만, 이를 위해서는 서방 연구소들이 협력해야 한다. (물론, 민간 연구소들은 이미 그들의 AGI 모델 가중치(model weights)가 도난당했을 것이므로, 그들의 안전 준비는...)

주의 사항은 전혀 중요하지 않을 수도 있다; 우리는 중국 공산당(CCP)과 북한의 안전 조치에 좌우될 것이다.)

한 가지 해답은 규제이다. AI가 더 천천히 발전하는 세상에서는 적절할 수 있지만, 나는 규제가 지능 폭발이라는 도전의 본질에 맞지 않을 것이라고 두려워한다. 필요한 것은 몇 년 동안 신중한 평가를 하고 관료주의를 통해 몇 가지 안전 기준을 통과시키는 것과는 다를 것이다. 그것은 전쟁을 치르는 것과 더 비슷할 것이다.

우리는 매주 상황이 극도로 빠르게 변하는 격동의 한 해를 맞이할 것이다. 모호한 데이터에 근거한 어려운 결정이 생사와 직결될 것이며, 해결책—심지어 문제 자체도—사전에 완전히 명확하지 않고 ‘전쟁의 안개’ 속에서의 역량에 달려 있을 것이다. 여기에는 “우리의 일부 정렬 측정치가 모호하게 보이고, 무슨 일이 일어나고 있는지 더 이상 잘 이해하지 못한다. 괜찮을 수도 있지만, 다음 세대 초지능이 잘못될 수 있다는 경고 신호가 있다. 안전에 대한 확신을 더 얻기 위해 다음 훈련 실행을 3개월 연기해야 할까—하지만 안 된다, 최신 정보 보고서에 따르면 중국이 우리 모델 가중치(model weights)를 훔쳐 자체 지능 폭발을 앞서가고 있다고 한다. 우리는 무엇을 해야 할까?”와 같은 극단적인 트레이드오프가 포함될 것이다.

나는 정부 프로젝트가 이 문제를 능숙하게 다룰 것이라고 확신하지 않는다—하지만 “스타트업이 개발한 초지능” 대안은 일반적으로 인식되는 것보다 훨씬 더 ‘최선을 기도하는’ 것에 가깝다. 우리는 이러한 어려운 거래를 수행하는 데 필요한 진지함을 테이블에 올릴 수 있는 지휘 체계가 필요할 것이다.

국제 상황 안정화

지능 폭발과 그 직후는 인류가 직면한 가장 불안정하고 긴장된 상황 중 하나를 불러올 것이다. 우리 세대는 이에 익숙하지 않다. 그러나 이 초기 기간에 당면한 과제는 멋진 제품을 만드는 것이 아니다. 어떻게든 필사적으로 이 시기를 견뎌내는 것이다.

우리는 정부 프로젝트가 경쟁에서 이기기를 필요로 할 것이다.

권위주의 세력에 맞서—그리고 이 상황의 위험을 헤쳐 나가기 위해 필요한 명확한 주도권과 숨 쉴 공간을 확보하기 위해서이다. 만약 초지능 모델 가중치(model weights)의 즉각적인 도난을 막지 못한다면, 우리는 포기하는 것이나 다름없을 것이다. 우리는 서방의 노력을 결집해야 한다: 최고의 과학자들을 모으고, 찾을 수 있는 모든 GPU를 사용하며, 수조 달러 규모의 클러스터 구축이 미국 내에서 이루어지도록 해야 한다. 우리는 데이터센터(datacenter)를 적의 사보타주나 직접적인 공격으로부터 보호해야 할 것이다.

아마도 가장 중요한 것은 미국의 리더십일 것이다—비확산 체제(nonproliferation regime)를 개발하고, 필요하다면 이를 강제하는 일이다. 우리는 러시아, 북한, 이란, 그리고 테러 단체들이 자신들의 초지능을 이용해 세계를 인질로 잡을 수 있는 기술과 무기를 개발하지 못하도록 저지해야 한다. 우리는 초지능을 활용해 우리의 핵심 인프라, 군사, 정부의 보안을 강화하여 극단적인 새로운 해킹 능력에 대비해야 한다. 우리는 생물학이나 유사 분야의 발전에서 공격과 방어의 균형을 안정시키기 위해 초지능을 사용해야 한다. 우리는 초지능을 안전하게 통제할 도구를 개발하고, 타인의 부주의한 프로젝트에서 나온 불량 초지능을 차단할 수 있어야 한다. AI 시스템과 로봇은 인간 속도의 10~100배 이상으로 움직일 것이며, 모든 일이 매우 빠르게 진행될 것이다. 우리는 한 세기 분량의 기술 진보를 몇 년 만에 압축하면서 발생할 수 있는 여섯 시그마 수준의 격변과 그에 따른 위협에 대비할 준비가 되어 있어야 한다.

최소한 초기 기간 동안 우리는 가장 비상한 국가안보 위기에 직면할 것이다. 아마도 이 임무를 수행할 사람이 없을지도 모릅니다. 그러나 우리가 가진 선택지 중에서, 프로젝트는 유일하게 합리적인 선택이다.

프로젝트는 불가피하다; 그것이 좋은지는 알 수 없다

궁극적으로, 여기서 나의 주장은 기술적 설명에 가깝다: 우리가 원하든 원하지 않든, 초지능은 SF 스타트업처럼 보이지 않을 것이며, 어떤 면에서는 주로 국가안보 영역에 속할 것이다. 지난 1년간 샌프란시스코 친구들에게 프로젝트에 대해 많이 이야기했는데, 아마도 가장 놀라웠던 점은

대부분 사람들이 이 아이디어에 얼마나 놀라는지에 관한 것이다. 그들은 단순히 그 가능성을 고려해본 적이 없다. 하지만 일단 고려해보면, 대부분은 이것이 명백해 보인다고 동의한다. 우리가 만들고 있다고 생각하는 것이 어느 정도 맞다면, 물론 결국 이것은 (어떤 형태로든) 정부 프로젝트가 될 것이다. 만약 어떤 연구소가 내일 문자 그대로 초지능을 개발한다면, 당연히 연방 정부가 개입할 것이다.

중요한 자유 변수 중 하나는 ‘여부’가 아니라 ‘언제’이다. 정부가 지능 폭발 한가운데에 있을 때까지 무슨 일이 일어나고 있는지 깨닫지 못할 것인가, 아니면 몇 년 전에 미리 알게 될 것인가? 정부 프로젝트가 불가피하다면, 일찍 시작하는 것이 더 낫다. 우리는 그 몇 년을 보안 긴급 프로그램을 수행하고, 주요 관계자들을 신속히 교육하고 준비시키며, 기능하는 통합 연구소를 구축하는 데 절실히 필요할 것이다. 정부가 마지막 순간에야 개입한다면 훨씬 더 혼란스러울 것이고 (비밀과 모델 가중치(model weights)는 이미 도난당했을 것이다).

또 다른 중요한 자유 변수는 우리가 결집할 수 있는 국제 연합이다: 초지능 개발을 위한 더 긴밀한 민주주의 동맹과, 나머지 세계에 제공하는 더 광범위한 이익 공유 제안이다.

• 전자는 퀘벡 협정과 비슷할 수 있다: 처칠과 루스벨트가 핵무기 개발을 위해 자원을 공동으로 투입하고, 상호 동의 없이 서로 또는 타국에 사용하지 않기로 한 비밀 협약. 우리는 영국(Deepmind), 일본과 한국 같은 동아시아 동맹국(칩 공급망), 그리고 NATO/기타 핵심 민주주의 동맹국(더 넓은 산업 기반)을 참여시키고자 할 것이다. 통합된 노력은 더 많은 자원과 인재를 확보하고 전체 공급망을 통제하며, 안전, 국가안보, 군사적 도전에 대해 긴밀한 조정을 가능하게 하고, 초지능의 권력 행사를 견제하는 데 도움이 될 것이다.

• 후자는 ‘평화를 위한 원자력’, 국제원자력기구(IAEA), 핵확산금지조약(NPT)과 비슷할 수 있다. 우리는 초지능의 평화적 혜택을 더 넓은 국가 집단(비민주국가 포함)과 공유하겠다고 제안하고, 그들에 대해 공격적으로 초지능을 사용하지 않겠다고 약속해야 한다. 그 대가로 그들은 자체 초지능 프로젝트를 추구하지 않으며, ...

AI 시스템 배치에 대한 안전 약속을 하고, 이중 용도 적용에 대한 제한을 수용한다. 이 제안은 군비 경쟁과 확산에 대한 유인을 줄이고, 초지능 이후 세계 질서를 위한 미국 주도의 광범위한 연합을 형성하기를 바란다.

아마도 가장 중요한 자유 변수는 필연적인 정부 프로젝트가 능력 있을지 여부일 것이다. 어떻게 조직될 것인가? 어떻게 이 일을 해낼 수 있을까? 견제와 균형은 어떻게 작동하며, 합리적인 지휘 체계는 어떤 모습일까? 이에 대해 거의 관심이 기울여지지 않았다.⁷7. 저의 진보 연구(Progress Studies) 동지들에게: 여러분이 이 문제를 깊이 고민해야 한다. 이것이 여러분 지적 프로젝트의 정점이 될 것이기 때문이다! 여러분은 미국 정부 연구 기관, 지난 반세기 동안의 쇠퇴, 다시 효과 있게 만들 방법을 연구하는 데 많은 시간을 쏟아왔다. 묻겠다: 우리는 어떻게 ‘프로젝트’를 효과적으로 만들 것입니까? 거의 모든 다른 AI 연구소와 AI 거버넌스 정치 활동은

결말

그래서 27/28년경에는 결말이 시작될 것이다. 28/29년경에는 지능 폭발이 진행 중일 것이며; 2030년까지 우리는 모든 힘과 위력을 갖춘 초지능을 소환할 것이다.

프로젝트 책임자로 누가 임명되든 엄청난 임무가 주어진다: 범용 인공지능(AGI)을 빠르게 구축하는 것; 수억 개의 GPU를 생산하기 위해 미국 경제를 전시 체제로 전환하는 것; 모든 것을 철저히 통제하고, 스파이를 제거하며, 중국 공산당(CCP)의 전면 공격을 막아내는 것; 수억 대의 AGI가 AI 연구를 맹렬히 자동화하며, 1년에 10년 치 도약을 이루고 곧 가장 똑똑한 인간보다 훨씬 뛰어난 AI 시스템을 만들어내는 상황을 관리하는 것; 이 일이 탈선하여 인간 감독자를 제어하려는 악성 초지능을 만들어내지 않도록 상황을 유지하는 것; 그 초지능들을 활용해 상황을 안정시키고 적보다 앞서 나가기 위해 필요한 신기술을 개발하고, 이를 통합해 미군을 신속히 재편하는 것; 이 모든 것을 아마도 역사상 가장 긴장된 국제 정세 속에서 조율하는 것. 그들은 정말 잘해야 할 것이다, 확실히 말하겠다.

이 여정에 함께하라는 부름을 받는 우리에게는 ... 스트레스가 클 것이다. 하지만 자유 진영을 위해 봉사하는 의무가 될 것이다.

세계—그리고 전 인류. 우리가 이 시기를 무사히 넘기고 그 시절을 되돌아볼 수 있다면, 그것은 우리가 지금까지 해온 일 중 가장 중요한 일이 될 것이다. 그리고 그들이 찾게 될 어떤 안전한 시설이 오늘날의 터무니없이 과대평가된 AI 연구자 생활의 쾌적함을 갖추고 있지는 않겠지만, 그렇게 나쁘지는 않을 것이다. SF는 이미 특이한 AI 연구자 대학가 같은 느낌이 들고; 아마도 이곳도 크게 다르지 않을 것이다. 낮에는 규모 확장 곡선을 고민하며 땀 흘리고, 주말에는 모여서 AGI와 그날그날의 연구실 정치에 대해 수다 떠는, 똑같이 이상하게 작은 모임일 것이다.

단, 음—그 위험 부담은 너무나도 현실적일 것이다.

사막에서 보자, 친구들.