IIIb. 연구소 봉쇄: 범용 인공지능(AGI) 보안

국내 주요 AI 연구소들은 보안을 사후 고려 사항으로 취급하고 있다. 현재 이들은 사실상 AGI의 핵심 비밀을 중국 공산당(CCP)에게 은쟁반에 올려주는 꼴이다. 국가 행위자 위협으로부터 AGI 비밀과 모델 가중치(model weights)를 보호하는 일은 엄청난 노력이 필요하며, 우리는 그 궤도에 있지 않다.

그들은 저녁에 위그너 사무실에서 만났다. 휠러는 “질라드가 콜롬비아 데이터를 개괄했고, 그로부터 최소 두 개의 2차 중성자가 중성자 유도 핵분열에서 나온다는 예비 징후를 보고했다. 이것이 핵폭발이 확실히 가능하다는 뜻이 아니냐?”고 전한다. 보어는 반드시 그렇지는 않다고 반박했다.

텔러는 “우리는 그를 설득하려 했다. 핵분열 연구를 계속하되 결과를 발표하지 말자고. 나치가 이를 알게 되어 먼저 핵폭발을 일으키는 일을 막기 위해 결과를 비밀로 해야 한다고.” 썼다.

“보어는 우리가 핵에너지를 생산하는 데 결코 성공하지 못할 것이며, 물리학에 비밀주의가 도입되어서는 안 된다고 주장했다.”

『원자폭탄의 탄생』, 430쪽

현재의 방향대로라면, 중국의 주요 AGI 연구소들은 베이징이나 상하이가 아니라 샌프란시스코와 런던에 위치할 것이다. 몇 년 내에 AGI 비밀이 미국의 가장 중요한 국가 방위 비밀임이 명확해질 것이다. 이는 B-21 폭격기나 콜럼비아급 잠수함 설계도와 동등한 대우를 받아야 하며, 말할 것도 없이...

“핵 비밀”처럼—하지만 오늘날 우리는 그것들을 평범한 SaaS 소프트웨어 다루듯이 취급하고 있다. 이 속도라면, 우리는 사실상 초지능을 중국 공산당(CCP)에게 그냥 넘겨주고 있는 셈이다.

우리가 투자할 수조 달러, 미국 산업 역량의 동원, 가장 뛰어난 인재들의 노력—중국이나 다른 나라가 모델 가중치(완성된 AI 모델, 범용 인공지능(AGI)도 결국 컴퓨터상의 큰 파일에 불과하다)나 핵심 알고리즘 비밀(algorithmic secrets)(AGI를 구축하는 데 필요한 핵심 기술적 돌파구)을 단순히 훔칠 수 있다면, 그 모든 것은 무의미하다.

미국의 주요 AI 연구소들은 스스로 AGI를 구축하고 있다고 선언한다: 그들은 자신들이 개발하는 기술이 10년 내에 미국이 만든 가장 강력한 무기가 될 것이라고 믿는다. 하지만 그들은 그것을 그렇게 취급하지 않는다. 그들은 보안 노력을 “평범한 기술 스타트업”과 비교할 뿐, “핵심 국가 방위 프로젝트”와 비교하지 않는다. AGI 경쟁이 치열해지고—초지능이 국제 군사 경쟁에서 결정적인 역할을 할 것이 분명해지면서—우리는 외국 스파이 활동의 전면적인 위협에 직면해야 할 것이다. 현재 연구소들은 스크립트키디(script kiddies) 정도의 공격도 제대로 방어하지 못하며, “북한 수준의 보안”은커녕 중국 국가안전부가 전력을 다해 공격해오는 상황에 대비할 준비도 되어 있지 않다.

그리고 이것은 몇 년 후의 문제가 아니다. 물론, GPT-4 가중치가 도난당해도 누가 신경 쓰겠는가—가중치 보안에서 진짜 중요한 것은 AGI 가중치를 안전하게 지키는 것이므로, 몇 년의 시간이 있다고 말할 수도 있다. (하지만 만약 우리가 2027년에 AGI를 구축한다면, 정말 서둘러야 한다!) 그러나 AI 연구소들은 지금 바로 알고리즘 비밀(algorithmic secrets)—즉 AGI를 위한 핵심 기술적 돌파구, 일종의 청사진(특히 LLM을 넘어 데이터 장벽을 극복하기 위한 RL/자기 대결/합성 데이터 등 “다음 패러다임”)을 개발하고 있다. 알고리즘 비밀(algorithmic secrets)에 대한 AGI 수준의 보안은 가중치에 대한 AGI 수준의 보안보다 수년 앞서 필요하다. 이러한 알고리즘 돌파구는 몇 년 후 10배 또는 100배 더 큰 클러스터보다 더 중요하다—이는 미국 정부가 (선견지명 있게!) 강력히 추진해온 컴퓨트(compute) 수출 통제보다 훨씬 더 중대한 문제다. 지금 당장, 이러한 비밀을 훔치기 위해 극적인 스파이 작전을 벌일 필요도 없다: 그냥 샌프란시스코 파티에 가거나 사무실 창문을 들여다보면 된다.

오늘 우리의 실패는 곧 돌이킬 수 없게 될 것이다: 향후 12~24개월 내에 우리는 주요 범용 인공지능(AGI) 돌파구를 중국 공산당(CCP)에게 유출할 것이다. 이것은 10년이 끝나기 전에 국가안보 체제의 가장 큰 후회가 될 것이다.

권위주의 국가들에 맞서 자유 진영을 지키는 것이 걸려 있으며, 건강한 우위는 AI 안전을 제대로 확보할 수 있는 여유를 제공하는 필수 완충장치가 될 것이다. 미국은 AGI 경쟁에서 우위를 점하고 있다. 그러나 우리가 곧바로 보안 문제를 심각하게 다루지 않으면 이 우위를 포기하게 될 것이다. 지금 이 문제에 착수하는 것이 아마도 AGI가 잘 작동하도록 보장하기 위해 오늘 우리가 해야 할 가장 중요한 일일 것이다.

국가 행위자를 과소평가하지 마라

너무 많은 똑똑한 사람들이 첩보 활동을 과소평가한다.

국가와 그 정보기관의 역량은 매우 강력하다. 정상적인, 전면적인 AGI 경쟁이 아닌 시기에도 (그리고 우리가 공개적으로 아는 바는 적지만), 국가(또는 덜 발전된 행위자)들은 다음과 같은 일을 해낼 수 있었다:

• 단지 전화번호만으로 원하는 iPhone과 Mac을 제로 클릭 해킹,

• 에어갭이 적용된 핵무기 프로그램 침투,

• 구글 소스 코드 수정,

• 연평균 7년이 걸려 발견되는 수십 건의 제로데이 취약점 발견,

• 주요 기술 기업을 대상으로 스피어피싱,

• 직원 기기에 키로거 설치,

• 암호화 체계에 트랩도어 삽입,

• 전자기 방출이나 진동을 통한 정보 탈취,

• 컴퓨터에서 발생하는 잡음만으로 비디오 게임 지도에서 자신의 위치를 파악하거나 비밀번호를 훔치기,

• 원자력 발전소와 같은 민감한 시스템에 직접 접근하기,

• 미국 정부(USG)로부터 2,200만 개의 보안 승인 파일을 빼내기,

• HVAC 시스템에 취약점을 심어 1억 1,000만 고객의 금융 정보를 노출시키기,

• 대규모로 컴퓨터 하드웨어 공급망을 침해하기,

• 주요 기술 기업과 미국 정부가 사용하는 소프트웨어 의존성 업데이트에 악성 코드를 몰래 삽입하기,

• … 스파이를 심거나 직원을 유혹, 회유, 협박하는 것은 말할 것도 없고(이는 대규모로 효과적으로 이루어지지만 덜 공개됨),

• … 특수부대 작전 등과 같은 일(상황이 정말 심각해질 때)은 더 말할 것도 없다.

정보 기관과 맞서 싸울 때 우리가 직면한 상황을 더 잘 이해하기 위해, 소련 GRU(군사 정보) 탈북자의 책 《Inside the Aquarium》을 강력히 추천한다.¹1. 한 가지 예를 들자면: ~스파이 아카데미를 졸업하고 해외에 파견되기 전에, 예비 스파이들은 국내에서 자신의 능력을 증명해야 했다. 그들은 소련 과학자로부터 비밀 정보를 획득해야 했으며, 국가 비밀을 누설할 경우 처벌은 당연히 사형이었다. 즉, ~스파이 아카데미를 졸업한다는 것은 동료 국민 한 명을 사형에 처하도록 선택하는 것을 의미했다. 책 추천에 대해 일리야 수츠케버(Ilya Sutskever)에게 감사한다.

이미 중국은 광범위한 산업 스파이 활동을 벌이고 있으며, FBI 국장은 중국 공산당(CCP)이 “모든 주요 국가를 합친 것보다 더 큰” 해킹 작전을 수행하고 있다고 밝혔다. 그리고 불과 몇 달 전, 법무장관은 중국 국적자가 구글에서 핵심 AI 코드를 훔쳐 중국공산당에 가져가려다 체포되었다고 발표했다(2022/23년경이며, 아마도 빙산의 일각에 불과하다).²2. 참고로, 기소장에는 구글에서조차 보안 회피가 얼마나 쉬운지 잘 보여주는 사례가 있다. 구글은 아마도 AI 연구소 중 가장 뛰어난 보안을 갖추고 있을 텐데(구글의 수십 년간 보안 인프라 투자 덕분에). 코드를 훔치기 위해 탐지 없이 한 일은 애플 노트에 코드를 붙여넣고 PDF로 내보내는 것이 전부였다!

하지만 이것은 시작에 불과하다. 우리는 적들이 향후 몇 년 내에 범용 인공지능(AGI)에 “눈을 뜰” 것에 대비해야 한다. AI는 전 세계 모든 정보 기관의 최우선 순위가 될 것이다.

그 상황에서 그들은 AI 연구소에 침투하기 위해 비상한 수단을 동원하고 어떤 대가도 치를 준비가 되어 있을 것이다.

“딩(DING)은 구글 소스 파일에서 데이터를 복사해 구글에서 지급한 맥북 노트북의 애플 노트 애플리케이션에 붙여넣어 이 파일들을 빼냈다. 딩은 애플 노트를 PDF 파일로 변환한 후 구글 네트워크에서 딩 계정 1로 업로드했다. 이 방법 덕분에 딩은 즉각적인 탐지를 피할 수 있었다.” (기소장 발췌)

그가 잡힌 이유는 중국에서 유명 스타트업을 바로 시작하는 등 다른 어리석은 행동을 많이 했기 때문이다. 이로 인해 사람들이 의심했고(나중에는 미국으로 돌아오기도 했다).

위협 모델

우리가 보호해야 할 두 가지 핵심 자산이 있다: 모델 가중치(특히 범용 인공지능(AGI)에 가까워질수록 중요하지만, 이를 제대로 준비하고 실현하는 데는 수년이 걸린다)와 알고리즘 비밀(어제부터 시작된).

모델 가중치(model weights)

AI 모델은 서버에 저장된 거대한 숫자 파일에 불과하다. 이 파일은 도난당할 수 있다. 적이 당신의 수조 달러, 가장 똑똑한 인재들, 수십 년간의 노력을 맞먹으려면 이 파일을 훔치기만 하면 된다. (만약 나치가 로스앨러모스에서 만든 모든 원자폭탄의 정확한 복제품을 얻었다고 상상해 보라.)

모델 가중치(model weights)를 안전하게 지키지 못하면, 우리는 단지 중국 공산당(CCP)을 위해 AGI를 만드는 셈이다(현재 AI 연구소 보안 수준을 고려하면 북한도 포함된다).

국가 간 경쟁을 떠나서도, 모델 가중치(model weights) 보안은 AI 재앙을 막는 데 필수적이다. 나쁜 행위자(예: 테러리스트나 불량 국가)가 모델을 훔쳐 안전 장치를 우회해 원하는 대로 사용할 수 있다면, 우리의 모든 걱정과 보호 조치는 무의미해진다. 초지능이 발명할 수 있는 새로운 대량살상무기는 수십 개의 불량 국가로 빠르게 확산될 것이다. 게다가 보안은 통제 불능 또는 정렬되지 않은 AI 시스템에 대한 첫 번째 방어선이기도 하다(만약 우리가 민감구획정보시설(SCIF) 같은 에어갭 클러스터에서 먼저 구축하고 테스트하지 않아 불량 초지능을 통제하지 못했다면 얼마나 어리석게 느껴질까?).

현재는 모델 가중치(model weights) 보안이 크게 중요하지 않다: GPT-4를 기반 레시피 없이 훔친다고 해도 CCP에 큰 도움이 되지 않는다. 하지만 AGI가 등장하는 몇 년 후에는 정말 중요해질 것이다. 진정으로 엄청난 힘을 가진 시스템이 등장할 때 말이다.

내가 가장 밤잠을 설치게 하는 시나리오 중 하나는 중국이나 다른 적대 세력이 지능 폭발 직전의 자동화 AI 연구자 모델 가중치(model weights)를 훔치는 경우다. 중국은 이를 즉시 사용해 AI 연구를 자동화할 수 있다.

(설령 이전에 훨씬 뒤처져 있었더라도)—그리고 그들만의 지능 폭발을 시작할 것이다. 그것만으로도 AI 연구를 자동화하고 초지능을 구축하는 데 충분하다. 미국이 가진 어떤 우위도 사라질 것이다.

더욱이, 이것은 즉시 우리를 실존적 경쟁에 몰아넣을 것이다; 초지능의 안전을 보장할 여유가 사라진다. 중국 공산당(CCP)은 아마도 가능한 한 빠르게 지능 폭발을 서두르려 할 것이다—초지능에서 몇 달의 우위만으로도 결정적인 군사적 이점을 의미할 수 있기 때문에—그 과정에서 어떤 책임 있는 미국 범용 인공지능(AGI) 노력이 취하려는 모든 안전 조치를 건너뛸 수 있다. 우리는 또한 완전한 CCP 지배를 피하기 위해 지능 폭발을 서둘러야 할 것이다. 설령 미국이 결국 간신히 앞서 나간다 해도, 여유가 사라진다는 것은 AI 안전에 엄청난 위험을 감수해야 함을 의미한다.

오늘날 모델 가중치(model weights)를 보호할 충분한 보안 수준과는 거리가 멀다. 구글 딥마인드(아마도 구글 인프라 덕분에 가장 뛰어난 보안을 갖춘 AI 연구소일 것이다)는 적어도 이를 솔직히 인정한다. 그들의 프런티어 안전 프레임워크는 보안 수준 0, 1, 2, 3, 4를 개략적으로 설명한다 (~1.5는 자원이 풍부한 테러 집단이나 사이버 범죄자에 대응하기 위한 수준, 3은 북한 같은 국가에 대응하기 위한 수준, 4는 가장 능력 있는 국가 행위자의 우선적 노력에 대응할 가능성이 있는 수준).³3. 그들이 주장하는 보안 수준이 RAND의 가중치 보안 보고서의 L1~L5와 상당히 대응된다는 점에 근거한다. 그들은 현재 수준 0에 머물러 있다고 인정한다(가장 평범하고 기본적인 조치만 취하는 상태). 만약 우리가 곧 AGI와 초지능을 얻는다면, 우리는 그것을 문자 그대로 테러 집단과 모든 미친 독재자들에게 넘겨주는 셈이다!

중요하게도, 모델 가중치(model weights) 보안을 위한 인프라 개발은 아마도 수년의 준비 기간이 필요하다—만약 우리가 약 3~4년 내에 AGI가 현실화될 가능성을 진지하게 생각하고 그때 국가 차원의 보안이 필요한 모델 가중치(model weights) 보안이 필요하다면, 지금 당장 긴급 노력을 시작해야 한다. 모델 가중치(model weights) 보안은 하드웨어 혁신과 근본적으로 다른 클러스터 설계를 요구할 것이다; 그리고 이 수준의 보안은 하루아침에 달성할 수 없으며, 반복적인 사이클이 필요하다.

만약 우리가 제때 준비하지 못한다면, 우리의 상황은 심각할 것이다. 우리는 초지능 직전에 있을 것이지만, 보안을 확보하는 데는 수년이 걸릴 것이다.

필요한 보안. 우리의 선택은 계속 나아가되, 초지능을 CCP에 직접 전달하는 것—그것이 의미하는 지능 폭발을 통한 실존적 경쟁—또는 보안 긴급 프로그램이 완료될 때까지 기다려 우리의 우위를 잃을 위험을 감수하는 것이다.

알고리즘 비밀(algorithmic secrets)

사람들이 가중치 보안의 필요성을 인식하기 시작했지만(반드시 실행하는 것은 아니더라도), 지금 당장 훨씬 더 중요하고 크게 과소평가된 것은 알고리즘 비밀(algorithmic secrets)을 확보하는 것이다.

이를 생각하는 한 가지 방법은 알고리즘 비밀(algorithmic secrets)을 훔치는 것이 PRC에 10배 이상의 더 큰 클러스터를 갖는 것만큼 가치가 있을 것이라는 점이다:

• OOM(10배 단위) 계산에서 논의한 바와 같이, 알고리즘 진보는 AI 진보에 있어 컴퓨트(compute) 확장만큼이나 중요할 가능성이 크다. 연간 약 0.5 OOM의 컴퓨트(compute) 효율성 향상 추세(여기에 추가적인 알고리즘 “족쇄 풀기(unhobbling)” 이득 포함)를 감안할 때, 지금부터 범용 인공지능(AGI)까지 여러 OOM 규모의 알고리즘 비밀(algorithmic secrets)이 있을 것으로 예상된다. 기본적으로 미국 연구소가 수년 앞서 있을 것으로 기대하며, 그들이 비밀을 지킬 수 있다면 이는 쉽게 10배에서 100배의 컴퓨트(compute) 가치에 해당할 수 있다.

– (참고로 우리는 미국 투자자들에게 엔비디아 칩 수출 통제로 수천억 달러의 비용을 부담하게 하고—중국 연구소의 컴퓨트(compute) 비용을 약 3배 증가시키는 조치—있지만, 알고리즘 비밀(algorithmic secrets)은 곳곳에서 3배나 유출되고 있다!)

• 아마도 더 중요한 것은, 지금 우리가 AGI를 위한 핵심 패러다임 돌파구를 개발하고 있을지도 모른다는 점이다. 앞서 논의했듯이, 현재 모델을 단순히 확장하는 것은 데이터 장벽에 부딪힐 것이다. 훨씬 더 많은 컴퓨트(compute)를 투입해도 더 나은 모델을 만드는 것은 불가능하다. 최첨단 AI 연구소들은 강화학습(RL)부터 합성 데이터에 이르기까지 다음 단계에 대해 열심히 연구하고 있다. 그들은 아마도 일반 지능을 위한 “알파고 자기 대국”에 해당하는 놀라운 무언가를 발견할 것이다. 그들의 발명은 수년 전 LLM 패러다임의 발명만큼이나 핵심적일 것이다.

이전에, 그리고 이들은 인간 수준을 훨씬 뛰어넘는 시스템을 구축하는 데 핵심이 될 것이다. 우리는 여전히 중국이 이러한 핵심 알고리즘 혁신을 얻지 못하도록 막을 기회가 있다. 이 혁신 없이는 그들은 데이터 장벽에 갇히게 될 것이다. 그러나 향후 12~24개월 내에 보안이 개선되지 않으면, 우리는 돌이킬 수 없이 중국에 이러한 핵심 범용 인공지능(AGI) 혁신을 제공할 수도 있다.

• 알고리즘 비밀(algorithmic secrets)이 얼마나 중요한 우위를 제공하는지 과소평가하기 쉽다 — 왜냐하면 약 2년 전까지만 해도 모든 것이 공개되었기 때문이다. 기본 아이디어는 이미 알려져 있었다: 인터넷 텍스트에 트랜스포머를 확장하는 것. 많은 알고리즘 세부사항과 효율성도 공개되어 있었다: 친칠라(Chinchilla) 규모 확장 법칙, MoE 등. 따라서 오늘날 오픈 소스 모델은 꽤 훌륭하며, 여러 회사들도 꽤 좋은 모델을 보유하고 있다(대부분 얼마나 많은 자금을 모았고 클러스터가 얼마나 큰지에 달려 있다). 하지만 이는 향후 몇 년 내에 상당히 극적으로 변할 가능성이 크다. 사실상 최첨단 알고리즘 진보는 요즘 연구소에서만 이루어지고 있으며(학계는 놀랍게도 거의 무관하다), 선도 연구소들은 더 이상 그들의 진보를 공개하지 않는다. 앞으로 연구소 간, 국가 간, 그리고 독점 최첨단 모델과 오픈 소스 모델 간의 격차가 훨씬 더 벌어질 것으로 예상해야 한다. 몇몇 미국 연구소는 훨씬 앞서 나갈 것이며 — 7nm와 3nm 칩 차이보다 훨씬 큰 10배, 100배 이상의 해자(방어벽)를 가질 것이다 — 단, 그들이 알고리즘 비밀(algorithmic secrets)을 즉시 유출하지 않는 한 말이다.⁴4. 나는 가끔 AI 연구소의 알고리즘 진보가 미국 연구 커뮤니티와 공유되지 않고 있지만, 중국 연구 커뮤니티와는 공유되고 있다고 농담하곤 한다!

간단히 말해, 나는 알고리즘 비밀(algorithmic secrets)을 보호하지 못하는 것이 중국이 AGI 경쟁에서 경쟁력을 유지할 수 있는 가장 가능성 높은 방법이라고 생각한다. (이 점은 나중에 더 자세히 논의한다.)

현재 알고리즘 비밀(algorithmic secrets) 보안이 얼마나 형편없는지 과장하기 어렵다. 연구소 간에는 가장 중요한 비밀에 접근할 수 있는 수천 명의 사람이 있으며, 사실상 신원 조회, 격리, 통제, 기본 정보 보안 등이 전혀 없다. 자료는 쉽게 해킹당할 수 있는 SaaS 서비스에 저장되어 있다. 사람들은 샌프란시스코 파티에서 수다를 떤다. 모든 비밀을 머리에 담고 있는 사람은 언제든지 1억 달러를 제안받고 중국 연구소로 스카우트될 수 있다.⁵5. 실제로 친구들로부터 들은 바에 따르면 ByteDance는 구글 제미니(Gemini) 논문에 참여한 거의 모든 사람에게 이메일을 보내 그들을 스카우트하려 했으며, L8(매우 고위직으로 추정되는 높은 급여의 직위)을 제안하고, ByteDance 미국 CTO에게 직접 보고할 것이라고 설득했다고 한다. 그냥 사무실 창문을 통해 들여다볼 수도 있다. 등등. 샌프란시스코에는 다양한 연구소 알고리즘 진보에 관한 상세한 내용과 소문이 넘쳐난다.

AI 연구소의 보안은 “평범한 스타트업 보안”보다 나은 수준이 아니다. AGI 비밀을 중국 공산당(CCP)에 직접 판매하는 편이 차라리 더 솔직할 것이다.

. . . 우리가 OpenAI나 다른 미국 AI 연구소에서 보는 것이 이것인가? 아니다. 사실, 우리가 보는 것은 정반대다—구멍투성이 보안 수준이다. 청소 직원에게 뇌물을 주어 노트북에 USB 동글을 꽂게 하는 등 여러 산업 스파이 방법을 사용하면 중국이 이 연구소들을 침투하는 것은 매우 쉽다. 내 개인적인 추정으로는 모든 미국 AI 연구소가 완전히 침투당했으며 중국이 지금 이 순간에도 모든 미국 AI 연구 및 코드를 매일 밤 다운로드 받고 있을 것이다. . .

마크 안드레센

어렵겠지만, 나는 이 비밀들이 방어 가능하다고 생각한다. 특정 연구소에서 알고리즘 혁신의 핵심 구현 세부사항을 진정으로 “알아야 할” 사람은 아마 수십 명에 불과할 것이다(기본적인 고수준 아이디어를 알아야 하는 사람은 더 많더라도)—이 사람들을 심사하고, 분리하며, 집중적으로 감시할 수 있고, 급진적으로 업그레이드된 정보 보안과 함께 운영할 수 있다.

“초보안(supersecurity)”이 요구하는 것

AI 연구소 보안에는 손쉬운 개선점이 많다. 예를 들어, 비밀스러운 헤지펀드나 구글 고객 데이터 수준의 보안 모범 사례를 도입하는 것만으로도 CCP의 “일반적인” 경제 스파이에 대해 훨씬 나은 위치에 설 수 있다. 실제로, 민간 부문 기업 중에는 비밀을 놀랍도록 잘 지키는 사례가 있다. 예를 들어 정량적 트레이딩 회사들(세계의 제인 스트리트 같은 곳)을 보라. 여러 사람이 내게 한 시간 대화만으로도 경쟁사에 자사의 알파(초과 수익)를 거의 0에 가깝게 만들 정보를 전달할 수 있다고 말했는데—이는 많은 핵심 AI 알고리즘 비밀(algorithmic secrets)이 짧은 대화로 전달될 수 있는 것과 유사하다—그럼에도 이 회사들은 비밀을 지키며 경쟁 우위를 유지한다.

미국의 주요 AI 연구소 대부분이 국가 이익을 우선시하지 않고 기본적인 보안 조치조차 거부하는 동안—

이 계층에서, 만약 비용이 들거나 보안 우선순위가 필요하다면—이런 손쉬운 과제를 선택하는 것은 그들의 능력 범위 내에 있을 것이다.

하지만 조금 더 멀리 내다봅시다. 중국이 범용 인공지능(AGI)의 중요성을 진정으로 이해하기 시작하면, 그들의 첩보 활동 전력을 총동원할 것으로 예상해야 한다; 수십억 달러가 투자되고, 수천 명의 직원이 동원되며, 특수 작전 타격팀과 같은 극단적인 조치들이 미국의 AGI 노력을 침투하는 데 전념할 것이다. AGI와 초지능의 보안은 무엇을 요구할까요?

요컨대, 이는 정부의 도움이 있어야만 가능한다. 예를 들어, 마이크로소프트는 정기적으로 국가 행위자들에 의해 해킹당한다(예: 최근 러시아 해커들이 마이크로소프트 임원들의 이메일과 마이크로소프트가 호스팅하는 정부 이메일을 탈취했다). 현장에서 일하는 고위 보안 전문가는 완전한 민간 집중 교육을 받더라도, 중국이 AGI 모델 가중치(model weights)를 탈취하는 것이 그들의 최우선 순위라면 여전히 가능할 것이라고 추정했다—이 확률을 한 자릿수로 낮추려면, 대체로 정부 프로젝트가 필요한다.

정부가 보안에 완벽한 실적을 가진 것은 아니지만, 국가 방위 수준의 비밀을 보호할 인프라, 노하우, 역량을 가진 유일한 주체이다. 직원에 대한 엄격한 신원 조사 권한; 비밀 누설 시 징역 위협; 데이터센터(datacenter)에 대한 물리적 보안; NSA와 보안 인가 담당자들의 방대한 노하우 같은 기본적인 것들(민간 기업은 국가 행위자 공격에 대한 전문 지식이 없다).

저는 보안 인가 담당자가 아니기에 AGI 보안이 실제로 무엇을 요구할지 정확히 설명할 수 없다. 이에 관한 최고의 공개 자료는 RAND의 모델 가중치(model weights) 보안 보고서이다. 이 국가 행위자 방어 보안이 실제로 의미하는 바를 맛보기로 들자면:

• 대부분의 군사 기지 수준에 필적하는 물리적 보안과 함께 완전한 에어갭 데이터센터(인가된 인원, 물리적 요새화, 현장 대응팀, 광범위한 감시)

그리고 극단적인 접근 통제),

– 그리고 단지 훈련 클러스터에만 해당되는 것이 아니라, 추론 클러스터도 동일한 강도 높은 보안이 필요하다!⁶6. 추론 플릿은 훈련 클러스터보다 훨씬 클 가능성이 높으며, 지능 폭발 동안 자동화된 AI 연구자를 실행하고 그 직후 수십억 개의 초지능을 더 광범위하게 실행하려는 압력이 압도적일 것이다. AGI/초지능 모델 가중치(model weights)도 이 클러스터에서 유출될 수 있다. 나는 이 점이 과소평가되어 있으며, 사람들이 추론 클러스터를 훨씬 덜 보호할 것이라고 걱정한다.

• 기밀 컴퓨트(compute)/하드웨어 암호화에 대한 새로운 기술적 진보⁷7. 그러나 이것에만 의존할 수 없다! 하드웨어 암호화도 정기적으로 사이드채널 공격을 받기 때문에, 다층 방어가 핵심이다.와 전체 하드웨어 공급망에 대한 극도의 감시
• 모든 연구 인력이 SCIF(민감구획정보시설)에서 근무
• 극단적인 인사 심사 및 보안 승인, 지속적인 모니터링과 엄격한 정보 분리
• 코드 실행에 대한 다중 키 서명 승인 같은 강력한 내부 통제
• 외부 의존성에 대한 엄격한 제한과 TS/SCI 네트워크 수준의 요구사항
• NSA 또는 유사 기관의 지속적인 고강도 침투 테스트

거대한 AGI 클러스터가 지금 바로 설계되고 있으며, 이에 상응하는 보안 노력도 이루어져야 한다. 만약 우리가 단 몇 년 내에 AGI를 구축한다면, 시간이 매우 부족하다.

그럼에도 불구하고, 이 엄청난 노력은 운명론으로 이어져서는 안 된다. 보안에 대한 구원은 CCP가 아직 완전히 AGI에 몰입하지 않았고, 따라서 가장 극단적인 노력에 투자하지 않고 있다는 점이다. 미국 AI 연구소의 보안은 중국의 첩보 활동 강도에 비해 "더 정상적인" 경제 첩보를 앞서 나가야 한다. 이는 즉시 보안을 업그레이드하여 경제 첩보에 대응하는 것을 의미하며(우리는 아직 이에 완전히 저항하지 못하지만, 민간 기업은 가능할 것이다); 그리고 앞으로 몇 년간 중국 및 기타 외국 첩보가 강화됨에 따라 훨씬 더 강도 높은 보안으로 신속히 업그레이드해야 한다는 뜻이다.

정부와 협력하여 조치를 취함.

일부는 엄격한 보안 조치와 그에 따른 마찰이 미국 AI 연구소의 속도를 너무 늦출 것이기 때문에 그만한 가치가 없다고 주장한다. 그러나 나는 그것이 잘못된 생각이라고 본다:

• 이것은 공유지의 비극 문제이다. 특정 연구소의 상업적 이익 관점에서는 10%의 속도 저하를 초래하는 보안 조치가 다른 연구소와의 경쟁에서 해로울 수 있다. 하지만 국가 이익은 모든 연구소가 추가적인 마찰을 감수할 의지가 있다면 분명히 더 잘 달성된다: 미국의 AI 연구는 중국 및 기타 외국의 알고리즘 진보보다 훨씬 앞서 있으며, 미국이 90% 속도의 알고리즘 진보를 국가적 우위로 유지하는 것이 모든 것이 즉시 도난당해 0% 속도로 유지하는 것보다 분명히 낫다!

• 게다가 지금 보안을 강화하는 것이 장기적으로 연구 생산성 측면에서 덜 고통스러운 경로가 될 것이다. 결국, 초지능 직전의 극한 무기 경쟁에서 미국 정부는 상황이 견딜 수 없다는 것을 깨닫고 보안 단속을 요구할 것이다. 극단적이고 국가 행위자도 뚫을 수 없는 보안 조치를 처음부터 시행하는 것은 훨씬 더 고통스럽고 속도 저하도 훨씬 클 것이다. 반복적으로 점진적으로 시행하는 것이 낫다.

다른 이들은 비밀이나 모델 가중치(model weights)가 유출되더라도 다른 방식으로 더 빠르게 움직여 간신히 앞서 나갈 수 있을 것이므로 보안 조치에 대해 걱정할 필요가 없다고 주장한다. 이것도 잘못된 생각이거나 적어도 너무 큰 위험을 감수하는 것이다:

• 내가 이후 글에서 논의하듯, 중국 공산당(CCP)은 미국을 압도적으로 능가하는 컴퓨트(compute) 클러스터(100GW 규모)를 훨씬 쉽게 구축할 수 있을 것이다. 더 일반적으로, 중국은 미국이 가질 합리적이거나 비합리적인 주의와 같은 속도 저하 요인이 없을 수 있다. 알고리즘이나 모델 가중치(model weights)를 “단지” 훔치는 것만으로도 중국이 미국과 모델 수준에서 동등해질 수 있다면, 그것만으로도 초지능 경쟁에서 이길 수 있을 것이다.

• 게다가, 설령 미국이 결국 간신히 앞서 나간다 해도, 1~2년과 1~2개월의 격차는 초지능의 위험을 헤쳐 나가는 데 정말로 중요하다. 1~2년의 격차는 안전을 제대로 확보하고 지능 폭발과 초지능 이후의 극도로 불안정한 시기를 헤쳐 나갈 수 있는 적어도 합리적인 여유를 의미한다.⁸8. 예: 지능 폭발 기간 동안 초정렬(superalignment) 연구(alignment research)에 추가로 6개월을 투자하여 초지능이 잘못 작동하지 않도록 하고, 이 시스템들을 방어적 용도에 집중시키는 새로운 대량살상무기(WMD) 발명 이후 상황을 안정시키거나, 초지능 출현으로 인한 극도로 빠른 기술 변화 속에서 인간 의사결정자가 올바른 결정을 내릴 시간을 확보하는 공간. 단 1~2개월의 격차는 극심한 압박 속에서 지능 폭발을 향한 국제적인 무기 경쟁을 벌여야 하며, 안전을 제대로 확보할 여지가 전혀 없다. 바로 이 치열한, 생존을 건 경주에서 우리는 가장 큰 자기 파괴 위험에 직면한다.

• 러시아, 이란, 북한 등도 잊지 말자. 이들의 해킹 능력도 만만치 않다. 현재 상황으로는 초지능을 그들에게도 무분별하게 공유하고 있다! 훨씬 더 나은 보안이 없으면, 우리는 가장 강력한 무기를 믿을 수 없고 무모하며 예측 불가능한 수많은 행위자들에게 확산시키는 셈이다.⁹9. 우리는 핵 확산이 초래할 혼란을 감안해 이들이 보유한 제한된 무기고와 비교해도 여전히 핵 기술에서 “우위”에 있더라도 불량 국가로의 핵 확산을 막기 위해 매우 노력한다.

우리는 올바른 방향에 있지 않다

원자폭탄이 가능하다는 사실이 몇몇에게 처음 명확해졌을 때, 비밀 유지 역시 가장 논쟁적인 문제였다. 1939년과 1940년에 레오 질라드는 “미국 물리학계 전반에서 핵분열 문제에 관한 비밀주의의 선도적 전도사”로 알려졌다.¹⁰10. 《원자폭탄의 창조(The Making of the Atomic Bomb)》, 509쪽 그러나 그는 대부분에게 거절당했다; 비밀 유지란 과학자들이 익숙한 것이 아니었고, 개방 과학이라는 그들의 기본 본능과도 정면으로 배치되었다. 하지만 점차 무엇을 해야 하는지 명확해졌다: 이 연구의 군사적 잠재력이 너무 커서 나치와 자유롭게 공유할 수 없었다. 그리고 비밀 유지가 마침내, 적시에 강제되었다.

1940년 가을, 페르미는 흑연에 대한 새로운 탄소 흡수 측정을 마쳤고, 흑연이 폭탄의 감속재로 적합하다는 것을 시사했다. 질라드는 또다시 페르미에게 비밀 유지 호소를 했다. “이때 페르미는 정말 화를 냈다; 그는 이것이 터무니없다고 생각했다,”고 질라드는 회고했다. 다행히도 추가 호소가 결국 성공했고, 페르미는 마지못해 흑연 결과를 발표하지 않았다.

동시에, 독일 프로젝트는 두 가지 가능한 감속재 물질인 흑연과 중수를 좁혀 나갔다. 1941년 초 하이델베르크에서 발터 보테는 흑연의 흡수 단면적을 잘못 측정했고, 흑연이 연쇄 반응을 유지하기에는 너무 많은 중성자를 흡수할 것이라고 결론지었다. 페르미가 자신의 결과를 비밀로 유지했기 때문에, 독일인들은 페르미의 측정값을 대조하거나 오류를 수정할 수 없었다. 이것이 결정적이었다. 독일 프로젝트는 중수를 추구하는 잘못된 길을 가게 되었고, 이는 궁극적으로 독일 핵무기 개발 노력을 파멸로 이끌었다.¹¹11. 《원자폭탄의 창조(The Making of the Atomic Bomb)》, 507쪽

만약 그 마지막 순간의 비밀 유지 요청이 없었다면, 독일 핵무기 프로젝트는 훨씬 더 강력한 경쟁자가 되었을 것이며, 역사는 매우 다르게 전개되었을지도 모른다.

최고 AI 연구소들의 보안에 관한 태도에는 진정한 정신적 부조화가 있다. 그들은 이번 10년 내에 범용 인공지능(AGI)을 구축할 것이라고 전면적으로 주장한다. AGI에 대한 미국의 리더십이 미국 국가안보에 결정적일 것임을 강조한다. 그들은 AGI를 진심으로 믿는 경우에만 의미가 있는 7T 칩 구축 계획을 세우고 있다고 알려져 있다. 그리고 실제로 보안을 언급하면, 그들은 고개를 끄덕이며 “물론, 우리 모두는 벙커에 있을 것”이라며 웃음을 짓는다.

그러나 보안 현실은 그와 전혀 다르다. 보안을 우선시하는 어려운 선택을 해야 할 때마다, 스타트업의 태도와 상업적 이익이 국가 이익보다 우선한다. 국가안보 보좌관은 국가 최고 AI 연구소들의 보안 수준을 알게 되면 정신적 붕괴를 겪을 것이다.

현재 개발 중인 비밀 기술들이 있는데, 이는 앞으로 모든 훈련 실행에 사용될 수 있고 AGI의 핵심 열쇠가 될 것이다. 이 기술들은 스타트업 수준의 보안으로 보호되고 있으며, 중국 공산당(CCP)에게 수천억 달러의 가치가 있을 것이다.¹²12. 수백억~수천억 달러 규모 클러스터가 실제로 건설되는 상황에서는 100배 이상의 컴퓨트(compute) 효율성 향상이 결정적 가치를 갖는다.

현실은, a) 향후 12~24개월 내에 AGI를 위한 핵심 알고리즘 혁신이 개발될 것이고, 즉시 CCP에 유출될 것이며, b) 우리의 모델 가중치(model weights)조차도 북한 같은 악의적 행위자로부터 안전하지 못한 상태이며, 하물며

중국의 전면적인 노력과 맞서 AGI를 구축할 때쯤이면, “스타트업에 적합한 보안”은 결코 충분하지 않으며, 미국 국가안보에 대한 심각한 피해가 돌이킬 수 없게 되기 전에 시간이 거의 없다.

우리는 인류가 지금까지 만든 가장 강력한 무기를 개발하고 있다. 우리가 지금 개발 중인 알고리즘 비밀(algorithmic secrets)은 문자 그대로 국가에서 가장 중요한 국방 비밀이다—이 비밀들은 10년 말까지 미국과 그 동맹국들의 경제 및 군사적 우위를 뒷받침할 기반이 될 것이며, AI 안전을 제대로 확보할 수 있는 필수적인 우위를 결정할 것이며, 제3차 세계대전의 결과를 좌우할 것이며, 자유 진영의 미래를 결정할 것이다. 그런데도 AI 연구소의 보안은 아무 방위 계약자가 볼트를 만드는 것보다도 아마 더 형편없다.

이것은 광기다.

국가 경쟁과 AI 안전에 관한 다른 어떤 일도—우리가 이것을 곧 고치지 않는다면—중요하지 않을 것이다.