팟캐스트 영상 요약

AI 발전이 가져올 미래는 어떤 모습일까요? 2027년 AGI(범용인공지능) 도래와 미중 초지능 경쟁이 현실화될 것이며, 이는 국가 안보와 국제 질서에 지대한 영향을 미쳐 인류 역사상 가장 격동적인 시기를 맞이할 것이라는 예측입니다.

1. 2027년 AGI 도래와 미중 초지능 경쟁의 서막

Leopold Aschenbrenner는 2027년 AGI(범용인공지능)의 도래와 미중 초지능 경쟁이 인류 역사상 가장 격동적인 시기를 가져올 것이라고 예측한다.

1.1. 1조 달러 규모의 AI 클러스터와 '언하블링(Unhobbling)'

AI는 단순한 코드를 넘어 산업 공정으로 발전하고 있으며, 대규모 클러스터와 발전소 건설이 필수적이다.

AI 산업의 급격한 성장
1. 챗GPT 이후 기술-자본 가속화가 시작되었다.
2. 엔비디아의 데이터 센터 매출은 1년 만에 분기당 수십억 달러에서 250억 달러로 급증했다.
3. 빅테크 기업들의 자본 지출(capex)이 폭증하고 있다.
AI 훈련 컴퓨팅의 기하급수적 증가
1. 지난 10년간 가장 큰 AI 시스템의 훈련 컴퓨팅은 연간 약 0.5 OOM(자릿수)씩 증가했다.
2. GPT-4는 2022년에 25,000개의 A100 GPU(약 5억 달러, 10MW)로 훈련되었다.
3. 2024년에는 100MW, 10만 개의 H100 GPU(수십억 달러) 규모의 클러스터가 필요하다.
4. 2026년에는 1GW(대형 원자로 규모, 후버 댐 전력량), 100만 개의 H100 GPU(수백억 달러)가 필요하다.
5. 2028년에는 10GW(대부분의 미국 주 전력량 초과), 1,000만 개의 H100 GPU(수천억 달러)가 필요하다.
6. 2030년에는 100GW(미국 전력 생산량의 20% 이상), 1억 개의 H100 GPU를 사용하는 1조 달러 규모의 클러스터가 등장할 것이다.
7. 이는 훈련 클러스터에만 해당하며, 제품 출시 후에는 더 많은 추론(inference) GPU가 필요하다.
에너지 제약과 투자 규모
1. 미국 전력 생산량은 수십 년간 거의 증가하지 않아 에너지 제약이 AI 발전의 병목이 될 수 있다는 우려가 있다.
2. 마이크로소프트와 OpenAI는 1000억 달러 규모의 클러스터를 계획 중이며, 이는 10GW 규모에 해당할 수 있다.
3. AMD는 2027년까지 AI 가속기 시장이 4000억 달러에 이를 것으로 예측하며, 2027년까지 총 AI 투자액은 1조 달러에 달할 것으로 예상된다.
4. GPT-4 클러스터 비용은 5억 달러로 추정되며, 이는 단순히 임대 비용이 아닌 전체 클러스터 구축 비용이다.
AI 수익성 및 경제적 영향
1. 1000억 달러 규모의 연간 AI 수익이 가능할지에 대한 의문이 있지만, AI 시스템의 발전 궤적을 고려하면 비현실적이지 않다.
2. 마이크로소프트 오피스 구독자 3억 명 중 3분의 1에게 월 100달러의 AI 추가 기능을 판매하면 연간 1000억 달러의 수익을 창출할 수 있다.
3. 이는 평균 지식 노동자의 월 생산성 몇 시간 증가에 해당하며, AI 발전이 미미하더라도 충분히 달성 가능한 목표이다.

1.2. AGI의 도래와 '언하블링'의 중요성

2027-2028년경에는 진정한 AGI가 등장할 것이며, 이는 단순한 챗봇을 넘어선 에이전트(agent) 역할을 수행하게 될 것이다.

AGI의 발전 단계 예측
1. 2025-2026년에는 대부분의 대학 졸업생보다 똑똑한 모델이 등장할 것이다.
2. 2027-2028년에는 가장 똑똑한 전문가만큼 스마트해질 것이다.
3. '언하블링(unhobbling)'은 모델이 컴퓨터를 사용하고 장기적인 작업을 수행하는 등 에이전트(agent)처럼 작동하도록 하는 것을 의미한다.
경제적 유용성과 통합의 어려움
1. 중간 단계의 AI 시스템도 유용하지만, 이를 통합하려면 많은 노력이 필요하다.
2. GPT-4나 GPT-4.5를 비즈니스에 활용하려면 워크플로우를 크게 변경해야 한다.
3. 그러나 2027년 모델은 '드롭인 원격 근무자(drop-in remote worker)'처럼 작동하여 통합이 훨씬 쉬워질 것이다.
'오버킬(Overkill)' 전략과 소프트웨어 엔지니어의 역할 변화
1. 중간 모델은 소프트웨어 엔지니어의 생산성을 높일 수 있지만, 통합에 많은 노력이 필요하다.
2. 2027년 모델은 소프트웨어 엔지니어와 같은 방식으로 상호작용하며 그들의 작업을 수행할 수 있어, 소프트웨어 엔지니어 자체가 필요 없어질 수 있다.
테스트 시간 컴퓨팅 오버행(Test Time Compute Overhang) 해소
1. 현재 GPT-4는 수백 토큰의 사고 연쇄(chain-of-thought)만 가능하며, 이는 인간이 3분간 생각하는 것과 유사하다.
2. 만약 GPT-4가 수백만 토큰을 생각할 수 있다면, 이는 4 OOMs의 테스트 시간 컴퓨팅 증가에 해당한다.
3. 이는 3.5배 더 큰 모델과 유사한 효과를 내며, 몇 달간의 작업 시간과 맞먹는 사고 능력을 의미한다.
4. 현재 모델은 오류 수정이나 계획 수립과 같은 '시스템 2' 사고를 잘하지 못하지만, 이를 학습하는 것이 '언하블링'의 핵심이다.
'시스템 2' 사고 학습의 중요성
1. AI 발전의 핵심 질문은 테스트 시간 컴퓨팅 오버행을 얼마나 쉽게 해소할 수 있는가이다.
2. '시스템 1'은 자동 조종(autopilot)과 같은 직관적 사고이며, '시스템 2'는 의식적인 추론과 문제 해결이다.
3. 스케일링은 '시스템 1'을 개선하지만, '시스템 2'를 작동시키면 AI는 에이전트(agent)처럼 행동하고 테스트 시간 컴퓨팅 오버행이 해소된다.
사전 훈련(Pre-training)의 마법과 자기 학습 능력
1. 사전 훈련은 다음 토큰을 예측하여 모델이 풍부한 세계 모델을 학습하게 한다.
2. 이는 딥러닝의 핵심이며, 모델이 올바른 표현을 학습하여 일반화할 수 있게 한다.
3. GPT-2에서 GPT-4로의 발전은 RLHF(인간 피드백 기반 강화 학습(reinforcement learning))를 통해 원시적인 능력을 챗봇으로 전환한 결과이다.
4. 로봇 공학은 사전 훈련의 이점이 없어 AI보다 발전이 더디다.
5. 모델은 마치 인간이 초등학교에서 고등학교, 대학으로 가면서 스스로 학습하는 능력을 키우는 것처럼, 이제 막 스스로 학습하는 단계에 진입하고 있다.
데이터 장벽(Data Wall)과 자기 학습의 필요성
1. 사전 훈련은 교사의 강의처럼 수동적인 학습이며, 자기 학습은 능동적인 문제 해결과 시행착오를 통해 이루어진다.
2. RL(강화 학습(reinforcement learning))과 자기 학습(self-play)은 모델에게 가장 좋은 데이터를 제공하여, 스스로 문제를 해결하고 개념을 이해하게 한다.
3. 현재 모델은 인컨텍스트 학습(in-context learning)을 통해 효율적으로 학습하지만, 사전 훈련은 비효율적이다.
스케일링과 언하블링의 시너지 효과
1. GPT-2는 유치원생 수준이었지만, GPT-4는 코드를 작성하고 어려운 수학을 푸는 똑똑한 고등학생 수준이다.
2. 2027-2028년까지 스케일링만으로도 GPT-4 이후 유치원생에서 고등학생 수준으로 한 번 더 도약할 것이다.
3. 여기에 언하블링이 더해지면 모델은 챗봇이 아닌 에이전트(agent)나 원격 근무자처럼 작동하게 될 것이다.

2. AI 2028: 역사의 귀환과 지정학적 격변

AI 발전은 경제, 정치, 지정학적 지형을 근본적으로 변화시키며, 국가 안보와 국제 질서에 지대한 영향을 미칠 것이다.

2.1. AI 발전의 가속화와 사회적 인식 변화

AI 기술의 급격한 발전은 사회 전반에 걸쳐 강렬한 영향을 미치며, 대중의 인식을 변화시킬 것이다.

2023년의 AI 충격
1. 2023년은 챗GPT와 GPT-4의 등장으로 AI에 대한 인식이 폭발적으로 변화한 해였다.
2. 이는 기업들의 대규모 자본 지출과 엔비디아의 매출 폭증을 촉발했다.
미래 AI 발전의 가속화
1. AI 모델의 세대가 거듭될수록 이러한 'G-포스(g-forces)'는 더욱 강렬해질 것이다.
2. 사람들은 OOM(자릿수) 증가를 계산하지 않으므로, 모델의 발전에 놀라게 될 것이다.
3. AI 관련 매출은 6개월마다 두 배로 증가하는 추세를 이어가 2026년에는 1000억 달러에 이를 수 있다.
AGI의 현실화와 광범위한 영향
1. 2023년은 AGI가 이론적이고 추상적인 개념에서 벗어나, 구체적인 경로와 실현 가능성이 보이는 시점이었다.
2. 현재는 소수의 AI 연구자들만이 이를 체감하지만, 곧 더 많은 사람들이 AI의 영향을 느끼게 될 것이다.

2.2. 초지능의 등장과 국가 안보의 중요성

초지능 AI는 국가 안보에 결정적인 요소가 될 것이며, 이는 군사력과 기술 발전 속도에 혁명적인 변화를 가져올 것이다.

초지능의 결정적 역할
1. AGI가 등장하고 '드롭인 원격 근무자'처럼 인간의 인지 작업을 대체할 수 있게 되면, 몇 번의 개선만으로 인간보다 훨씬 똑똑한 존재가 탄생할 것이다.
2. 초지능은 국가 권력에 절대적으로 결정적인 요소가 될 것이다.
AI 연구 자동화와 기술 가속화
1. AI 연구자나 엔지니어의 작업이 자동화되는 것이 초지능의 첫 번째 역할 중 하나가 될 것이다.
2. 수천만 또는 수억 명의 자동화된 AI 연구자들이 GPU 클러스터에서 작동하면, 10년치 ML 연구를 1년 만에 달성할 수 있다.
3. 이는 AI가 인간보다 훨씬 똑똑해지는 '지능 폭발(intelligence explosion)'을 1~2년 내에 가능하게 할 것이다.
광범위한 R&D 분야로의 확장
1. AI 연구의 가속화는 다른 기술 분야의 R&D에도 적용될 것이다.
2. 수십억 명의 초지능 연구자, 엔지니어, 기술자들이 로봇 공학을 해결하고, 생물학 및 기타 기술 분야의 R&D를 발전시킬 것이다.
3. 이는 '지능 폭발' 과정에서 로봇 공학이 해결될 것이며, 이는 다시 기술 발전을 가속화할 것이다.
군사적 우위와 핵 억지력 무력화
1. 몇 년의 기술적 우위는 군사 경쟁에서 결정적인 역할을 할 수 있다.
2. 걸프전에서 서방 연합군은 20-30년의 기술 우위로 100:1의 교전비를 달성했다.
3. 초지능은 수십 년간의 기술 발전을 10년 이내로 압축할 수 있으며, 이는 핵 억지력마저 무력화할 수 있는 결정적인 군사적 우위를 제공할 수 있다.
4. 예를 들어, 수백만 대의 모기 크기 드론이 핵잠수함이나 이동식 발사대를 찾아 파괴할 수 있다.

2.3. 중국의 AI 야망과 미중 경쟁 심화

중국은 AI 기술을 국가 안보의 핵심으로 인식하고 있으며, 미국과의 초지능 경쟁에서 우위를 점하기 위해 전력을 다할 것이다.

중국의 AI 침투 및 구축 노력
1. 중국 공산당(CCP)은 미국 AI 연구소에 침투하기 위해 전력을 다할 것이며, 수십억 달러와 수천 명의 인력을 투입할 것이다.
2. 중국은 지난 10년간 미국 전체 전력망만큼의 전력을 추가했으며, 100GW 규모의 AI 클러스터 구축에 유리한 위치에 있다.
3. 이는 극도로 치열한 국제 경쟁으로 이어질 것이다.
지능 폭발의 점진적 확장
1. 지능 폭발은 인지 작업 자동화에서 시작하여 로봇 공학 해결로 이어진다.
2. 로봇 공학이 해결되면 생물학 및 기타 기술 분야의 R&D로 확장된다.
3. 초기에는 AI가 공장 노동자들에게 지시를 내리며 숙련된 기술자로 만들고, 이후 로봇이 직접 작업을 수행하게 될 것이다.
4. 숙련된 인력 부족 문제를 해결하고, 로봇이 빠르게 도입될 것이다.
중국의 AI 투자 동기
1. 중국 공산당은 AI가 국가 안보와 국제 질서에 미치는 영향을 인지하고 대규모 투자를 단행할 것이다.
2. 이는 단순히 코파일럿 개선 수준을 넘어, 국가 전체의 생산 구조를 AI 데이터 센터 중심으로 전환하는 것을 의미한다.

2.4. AI 발전의 사회적 파급 효과와 역사적 교훈

AI 발전은 사회 전반에 걸쳐 급진적인 변화를 가져올 것이며, 이는 과거의 역사적 격변기와 유사한 양상을 보일 수 있다.

코로나19 팬데믹과의 유사성
1. AI 발전은 2020년 2월 코로나19 팬데믹 초기와 유사한 상황이다.
2. 지수 함수적 성장이 예상되지만, 대부분의 사람들은 그 심각성을 인지하지 못하고 있다.
3. 그러나 일단 대중이 현실을 인지하면, 급진적인 사회적 반응이 나타날 것이다.
정치적 반응과 사회적 비용
1. AI 발전은 에너지 가격 상승, 일자리 감소, 기후 변화 악화 등의 문제를 야기할 수 있다.
2. 이는 정치적으로 "미국이 승리해야 한다"는 식의 단순한 구호만으로는 해결하기 어려운 복잡한 상황을 초래할 것이다.
역사적 관점에서의 AI 경쟁
1. 현재 세대는 평화와 미국의 헤게모니에 익숙하지만, 역사의 일반적인 흐름은 치열한 국제 경쟁과 격동적인 사건들로 점철되어 있다.
2. 제2차 세계대전 당시 GDP의 50%가 전쟁 생산에 투입되었고, GDP의 60% 이상을 차입했다.
3. 초지능 경쟁은 국가의 존망이 걸린 문제로 인식될 것이며, 이는 과거의 대규모 동원과 유사한 반응을 이끌어낼 것이다.
초지능 독재의 위험성
1. 초지능은 완벽하게 충성스러운 군대와 보안군, 완벽한 거짓말 탐지, 전 국민 감시를 가능하게 하여 독재 체제를 강화할 수 있다.
2. 이는 반대 세력을 제거하고, 체제에 대한 의문을 원천 봉쇄하여 사상의 진화를 막을 수 있다.
3. 중국 공산당과 같은 '진실은 당이 말하는 것'이라는 접근 방식이 초지능과 결합하면 장기적으로 고착화될 수 있다.
4. 이는 인류의 역사적 진화와 다양성을 저해할 수 있는 매우 위험한 시나리오이다.
독일 성장 배경과 역사적 경험
1. 독일에서 성장한 경험은 역사적 사건들이 얼마나 현실적이고 가까운 것인지 느끼게 한다.
2. 냉전 종식과 베를린 장벽 붕괴는 개인의 삶에 직접적인 영향을 미쳤다.
3. 제2차 세계대전과 동독 공산주의 독재를 경험한 조부모 세대의 이야기는 정치 참여에 대한 경각심을 일깨웠다.

3. AI 우위 확보를 위한 전략과 지정학적 함의

미국은 AI 우위를 확보하기 위해 에너지 인프라 구축, 보안 강화, 국제 협력 등 다각적인 전략을 추진해야 하며, 이는 중국과의 경쟁에서 결정적인 요소가 될 것이다.

3.1. AI 클러스터 구축과 에너지 문제

대규모 AI 클러스터 구축에는 막대한 전력이 필요하며, 이는 에너지 정책과 국가 안보에 직접적인 영향을 미친다.

에너지 확보 방안
1. AI 클러스터에 필요한 전력을 확보하는 가장 쉬운 방법은 경제성이 낮은 기존 시설(예: 알루미늄 제련소)의 전력을 AI 데이터 센터로 전환하는 것이다.
2. 그러나 이는 사회적 반발을 일으킬 수 있으므로, 실제로는 새로운 발전 시설을 건설해야 한다.
3. 10GW 규모의 클러스터는 미국 천연가스 생산량의 몇 퍼센트 수준으로 충분히 감당 가능하다.
100GW 클러스터의 도전
1. 100GW 규모의 클러스터는 미국 전력 생산량의 20% 이상을 차지하며, 이는 상당한 도전이다.
2. 천연가스 발전은 비교적 쉽게 확장 가능하지만, 기후 변화 약속과 상충될 수 있다.

3.2. AI 클러스터의 지리적 위치와 국가 안보

AI 클러스터의 위치는 국가 안보에 매우 중요하며, 권위주의 국가에 클러스터를 건설하는 것은 심각한 위험을 초래한다.

클러스터 해외 건설의 위험성
1. 중동 지역의 자본을 유치하여 AI 클러스터를 건설하려는 시도가 있지만, 이는 국가 안보에 심각한 위협이 된다.
2. 맨해튼 프로젝트를 UAE에서 진행하는 것과 유사하며, 권위주의 국가에 클러스터를 두는 것은 되돌릴 수 없는 보안 위험을 초래한다.
3. 클러스터가 해외에 있으면 AI 모델의 가중치(weights)를 쉽게 유출하거나, 초지능 자체를 탈취할 수 있다.
4. 중동 국가들이 중국과 유대 관계를 맺고 있어, 탈취된 기술이 중국으로 넘어갈 수 있다.
컴퓨팅 자원 압류 및 영향력 행사
1. AI 클러스터는 미래의 AGI 및 초지능 클러스터가 될 수 있으며, 유사시 해당 국가가 컴퓨팅 자원을 압류할 수 있다.
2. 예를 들어, 컴퓨팅 용량의 25%가 중동에 있다면, 이를 압류당할 경우 미국은 3:1의 컴퓨팅 비율로 불리해진다.
3. 이는 해당 국가에 AGI 테이블에서의 영향력을 부여하는 것이며, 권위주의 국가에 중요한 국가 안보 기술에 대한 지렛대를 제공하는 것이다.

3.3. AI 경쟁에서의 우위 확보 전략

미국은 AI 경쟁에서 우위를 점하기 위해 기술 유출 방지, 인프라 구축, 그리고 안전한 개발 환경 조성이 필수적이다.

기술 유출의 위험성
1. 3300만 명의 초지능 과학자들은 생물학 무기와 같은 위험한 기술을 개발할 수 있다.
2. 만약 가중치와 컴퓨팅 자원이 탈취된다면, 초지능으로 개발 가능한 대량살상무기(WMD)가 확산될 수 있다.
3. 3배의 컴퓨팅 우위는 크지 않으며, 이는 매우 위험한 상황을 초래할 수 있다.
경쟁 우위 확보의 중요성
1. 미국이 중국보다 몇 년 앞서 AI를 개발하는 것이 중요하다.
2. 이는 미국이 원자폭탄을 개발하고 독일 프로젝트가 뒤처졌던 상황과 유사하다.
3. 몇 년의 리드는 안전 문제를 해결하고, 핵 억지력을 무력화할 수 있는 새로운 WMD 개발에 대처할 여유를 제공한다.
4. 만약 경쟁이 치열해진다면, 미국은 최대 속도로 AI를 개발해야 하며, 이는 안전에 대한 여유를 없앨 것이다.
5. 중국이 가중치를 탈취하여 AI를 구축한다면, 그들은 미국을 능가할 수 있다.

3.4. 미국 내 AI 인프라 구축의 당위성

미국은 AI 인프라를 국내에 구축하고, 이를 위한 에너지 정책 및 규제 개혁을 추진해야 한다.

중동 투자의 문제점
1. 기업들은 AI 클러스터를 AGI 클러스터로 인식하지 않고, 단순히 챗GPT용 클러스터로 생각한다.
2. 추론용 컴퓨팅과 훈련용 컴퓨팅을 구분하기 어렵고, RL(강화 학습(reinforcement learning))은 추론과 유사하게 보인다.
3. 이는 마치 우라늄 정제 시설을 해외에 두는 것과 같으며, 원자재와 유사한 성격을 가진다.
미국 내 구축의 필요성
1. 중동의 쉬운 자금 유치와 미국 내 구축의 어려움 때문에 해외 투자가 이루어진다.
2. 일부는 미국이 산업 역량을 동원하는 데 어려움을 겪는다고 생각하지만, 이는 냉전 시대의 동서독 경쟁과 유사하다.
3. 과거에는 소련이 미국을 능가할 것이라는 예측도 있었지만, 자유 세계가 승리했다.
4. 미국은 충분한 자본과 기술력을 가지고 있으며, 국내에 AI 인프라를 구축할 수 있다.
에너지 정책 및 규제 개혁
1. 미국 내 AI 클러스터 구축을 위해서는 천연가스 발전 확대 또는 친환경 에너지 메가 프로젝트 추진이 필요하다.
2. 천연가스 발전은 웨스트 텍사스나 마르셀러스 셰일 지역에서 10GW, 심지어 100GW 클러스터도 충분히 감당할 수 있다.
3. 그러나 기업들의 기후 변화 약속과 상충될 수 있으므로, 국가 안보를 우선해야 한다.
4. 친환경 에너지 프로젝트를 위해서는 허가 절차 간소화, NEPA(국가환경정책법) 면제, 주 차원의 규제 완화가 필수적이다.
5. 태양광 패널과 배터리를 데이터 센터 옆에 건설하더라도, 전력망 연결에 수년이 걸릴 수 있다.
6. 정부는 전력망 연결을 위한 통행권 확보 등 적극적인 역할을 해야 한다.

4. AI 시대의 지정학적 경쟁과 역사적 교훈

AI 시대의 지정학적 경쟁은 과거 세계대전과 유사한 양상을 보일 것이며, 기술적 우위는 국가의 운명을 결정할 수 있다.

4.1. 제2차 세계대전 산업 동원과 현재의 시사점

제2차 세계대전 당시 미국의 산업 동원 경험은 현재 AI 인프라 구축의 어려움과 유사점을 가진다.

과거의 산업 동원
1. 제2차 세계대전 당시 미국은 산업 동원에 성공했지만, 노동 쟁의와 같은 내부적 어려움도 겪었다.
2. 노동 조합은 전쟁 중에도 파업을 벌여 생산에 차질을 빚었으며, 이는 현재의 기후 변화 약속과 유사한 제약으로 작용할 수 있다.
중국의 잠재력
1. 제2차 세계대전 이전 미국의 군사력은 미약했지만, 잠재적 역량을 바탕으로 빠르게 동원되었다.
2. 중국 역시 수출 통제에도 불구하고 7나노미터 칩을 생산하는 등 잠재적 산업 역량이 크다.
3. 미국과 마찬가지로 중국 공산당도 AI의 중요성을 깨닫고 대규모 동원에 나설 것이다.

4.2. AI 시대의 지정학적 경쟁과 초지능의 영향

AI 시대에는 소수의 빅테크 기업과 국가만이 대규모 AI 클러스터를 구축할 수 있으며, 이는 지정학적 경쟁을 심화시킬 것이다.

대규모 클러스터 구축 주체
1. 2028년 10GW 규모의 데이터 센터는 빅테크 기업, 국부 펀드, 그리고 미국과 중국 같은 주요 국가만이 구축할 수 있다.
중동 자본의 유혹과 위험성
1. 중동은 막대한 자본을 제공하지만, 미국은 자체적으로도 충분한 자본을 보유하고 있다.
2. 중동 국가들이 AI에 투자하지 않으면 중국으로 갈 것이라는 주장이 있지만, 이는 권위주의 국가에 AGI 테이블의 자리를 내주는 위험한 발상이다.
3. 미국은 민주주의 국가 연합 내에서 AGI를 개발하고, 다른 국가들에게는 AI의 혜택을 공유하는 투트랙 전략을 취해야 한다.

4.3. AI 기술 유출의 심각성과 보안의 중요성

AI 기술 유출은 핵무기 탈취와 유사한 심각한 위협이며, 이를 방지하기 위한 강력한 보안 조치가 시급하다.

기술 유출의 용이성
1. 샘 알트만은 칩 프로젝트를 위해 7조 달러를 모금하려 하지만, 클러스터의 위치는 불분명하다.
2. OpenAI는 과거 미국, 중국, 러시아 정부 간의 입찰 경쟁을 통해 AGI를 판매하려는 계획을 세웠다는 보고가 있다.
3. UAE는 자체적으로 AI 경쟁력이 없으며, 미국의 수출 통제 대상이다.
4. AI 모델의 가중치나 핵심 알고리즘은 매우 쉽게 유출될 수 있다.
5. 딥마인드는 보안 수준이 0단계라고 인정했으며, 구글조차도 해킹 사례가 있었다.
6. 스타트업의 보안은 매우 취약하다.
기술 유출의 파급 효과
1. 가중치 유출은 원자폭탄 복제와 유사하며, 중국이 대규모 클러스터를 구축할 수 있는 능력을 고려할 때 매우 위험하다.
2. 알고리즘 발전은 연간 0.5 OOM씩 이루어지며, 몇 년의 리드는 10-100배 더 큰 클러스터 효과를 가져온다.
3. 데이터 장벽을 넘어서는 새로운 패러다임(예: AlphaGo의 자기 학습)이 유출된다면, 중국은 빠르게 추격할 수 있다.
역사적 사례: 맨해튼 프로젝트의 교훈
1. 제2차 세계대전 당시 독일은 흑연의 핵분열 가능성을 알지 못해 중수 경로를 택했고, 이는 핵 개발 지연의 원인이 되었다.
2. 엔리코 페르미가 흑연의 가능성을 발견했지만, 레오 실라르드의 설득으로 이를 발표하지 않아 독일의 핵 개발을 방해했다.
3. AI 기술 유출 역시 이와 유사하게 경쟁국의 개발 경로를 잘못 이끌 수 있다.

4.4. AI 경쟁의 속도와 위험성

AI 경쟁에서 1-2년의 리드는 결정적인 차이를 만들 수 있으며, 이는 지능 폭발과 새로운 대량살상무기 개발로 이어져 극도로 불안정한 시기를 초래할 것이다.

시간적 우위의 중요성
1. AI 경쟁에서 1-2년의 리드는 엄청난 이점을 제공한다.
2. 지능 폭발 역학을 고려할 때, 1년은 인간 수준의 시스템에서 초인간적 시스템으로의 전환을 의미할 수 있다.
3. 3년 전에는 AI가 풀지 못했던 수학 문제들이 이제는 해결되었다.
기술적 리드의 파급 효과
1. 초지능이 R&D에 적용되면 수십 년간의 기술 발전을 몇 년으로 압축할 수 있다.
2. 걸프전에서 미국의 20-30년 기술 리드가 결정적이었던 것처럼, AI 기술 리드도 군사적으로 결정적인 역할을 할 것이다.
치열한 경쟁의 위험성
1. 미국이 중국보다 3개월 앞선 상황은 극도로 위험하다.
2. 경쟁국이 앞서나가면 결정적인 우위를 점할 수 있다는 우려 때문에, 양측 모두 무모하게 경쟁할 것이다.
3. 이는 새로운 WMD 개발, 핵 억지력의 불안정성, 그리고 상호 확증 파괴의 변화로 이어져 극도로 불안정하고 위험한 상황을 초래할 것이다.
4. 지능 폭발 기간 동안 6개월의 여유는 AI 안전(alignment) 문제를 해결하는 데 매우 중요하며, 이러한 완충 지대가 없으면 자멸의 위험이 커진다.

5. AI 시대의 지정학적 현실과 정부의 역할

AI 시대에는 지정학적 현실을 직시하고, 정부가 AI 개발에 적극적으로 개입하여 국가 안보를 확보하고 국제 질서를 유지해야 한다.

5.1. AI의 지정학적 함의에 대한 인식 부족

대부분의 사람들은 AI의 지정학적 함의를 간과하고 있으며, 이는 과거 코로나19 팬데믹 초기 상황과 유사하다.

AI의 광범위한 영향
1. AI의 지정학적 함의에 대해 논의하는 사람은 거의 없지만, AI는 단순한 모델 배포를 넘어 세계를 변화시킬 것이다.
2. 코로나19 팬데믹이 전 세계의 주요 관심사가 되었던 것처럼, 곧 AGI가 그러한 위치를 차지할 것이다.
AI 발전의 조용한 시기
1. 현재는 AI 발전의 '조용한 시기'이며, 곧 AGI가 도래할 것이다.
2. AI가 너무 바빠서 연인과 시간을 보낼 수 없을 것이라는 농담은 AI의 미래 역할을 시사한다.

5.2. AI의 지정학적 함의 간과 이유

AI 연구자들은 현장의 어려움에 집중하여 알고리즘 발전 속도를 과소평가하고, 일반 대중은 지정학적 중요성을 인지하지 못한다.

현장 연구자들의 시야
1. 현장에서 다음 모델 개발에 몰두하는 연구자들은 알고리즘 발전 속도를 과소평가하는 경향이 있다.
2. 몇 년만 거시적으로 보면 알고리즘 발전이 엄청났음을 알 수 있다.
대중의 인식 부족
1. 대부분의 사람들은 AI의 지정학적 함의에 대해 생각하지 않는다.

5.3. 국가 수준의 스파이 활동과 AI 보안의 취약성

국가 수준의 스파이 활동은 상상을 초월하며, 현재 AI 연구소의 보안은 이러한 위협에 매우 취약하다.

스파이 활동의 심각성
1. 사람들은 국가 수준의 스파이 활동의 강도를 과소평가한다.
2. 이스라엘 회사는 제로 클릭으로 아이폰을 해킹할 수 있는 소프트웨어를 개발했으며, 미국은 에어갭(air-gapped)된 핵무기 프로그램을 침투한 사례도 있다.
3. 스턱스넷(Stuxnet)과 같은 사이버 무기는 국가 수준의 스파이 활동의 예시이다.
중국의 위협과 강압 전술
1. 중국은 협조하지 않는 사람들의 가족을 위협하는 등 강압적인 전술을 사용한다.
2. 소련 GRU(군사 정보국) 요원의 회고록 '수족관 내부(Inside the Aquarium)'는 국가 수준의 스파이 활동의 강도를 보여준다.
3. GRU 스파이 아카데미 졸업 시험은 소련 과학자를 포섭하여 정보를 얻는 것이었으며, 이는 동포를 사형에 처하게 하는 행위였다.
AI 연구소 보안의 취약성
1. 현재 AI 연구소의 보안은 국가 수준의 스파이 활동에 매우 취약하다.
2. 구글은 가장 좋은 보안을 가지고 있지만, 다른 AI 연구소들은 스타트업 수준의 보안을 가지고 있다.
3. 최근 한 직원이 중요한 AI 코드를 애플 노트에 복사하여 PDF로 내보내는 방식으로 유출한 사례가 있다.
강력한 보안 조치의 필요성
1. AI 연구소는 헤지펀드나 구글의 고객 데이터 보안 수준으로 강화되어야 한다.
2. 그러나 중국 공산당의 전면적인 스파이 활동에 대처하려면 훨씬 더 강력한 조치가 필요하다.
3. SCIF(민감한 격리 정보 시설)에서 작업하고, 클러스터를 에어갭으로 분리하며, 군사 기지 수준의 보안을 갖춰야 한다.
4. 직원들에 대한 엄격한 보안 심사 절차와 모든 하드웨어에 대한 철저한 검증이 필요하다.
5. 마이크로소프트조차도 러시아 해커들에게 이메일을 해킹당한 사례가 있으며, 민간 기업은 국가 수준의 스파이 활동에 대처하기 어렵다.

5.4. 정부 주도 AI 프로젝트의 당위성

국가 수준의 스파이 활동에 효과적으로 대응하기 위해서는 정부의 개입이 필수적이며, 이는 AI 프로젝트가 정부 주도로 이루어져야 함을 시사한다.

정부의 역할
1. 정부는 항상 스파이 활동에 앞서나가야 하지만, 현재는 뒤처져 있다.
2. AI 프로젝트는 정부 주도로 이루어져야 하며, 이는 국방생산법(Defense Production Act)과 같은 법적 근거를 통해 가능하다.

6. AI 시대의 국제 협력과 핵 억지력의 교훈

AI 시대에는 국제 협력이 필수적이지만, 초지능의 폭발적인 발전 속도는 기존의 군비 통제 협정을 무력화할 수 있다.

6.1. AI의 지정학적 함의에 대한 인식과 협력의 어려움

AI의 지정학적 함의는 매우 중요하지만, 이상적인 협력은 현실적으로 어렵다.

이상적인 협력의 어려움
1. 이상적인 세계에서는 AI 개발이 협력적으로 이루어지겠지만, 현실은 그렇지 않다.
2. 사람들은 AGI의 중요성을 깨닫게 될 것이며, 이는 국제 협력의 어려움을 야기할 것이다.

6.2. 핵무기 군비 통제와 AI의 차이점

핵무기 군비 통제는 안정적인 균형을 찾았지만, AI는 폭발적인 발전 속도로 인해 불안정한 균형을 초래할 수 있다.

핵무기 군비 통제의 성공 요인
1. 1980년대 핵무기 군비 통제는 성공적이었는데, 이는 새로운 균형이 안정적이었기 때문이다.
2. 1만 개의 핵무기를 보유한 상황에서는 상대방이 2만 개를 만들더라도 상호 확증 파괴가 유지된다.
3. 소규모 국가가 핵무기를 개발하더라도 전체적인 균형에 큰 영향을 미 미치지 않는다.
AI의 불안정성
1. 그러나 핵무기가 0개인 상황에서 한 국가가 핵무기를 개발하면 전체 균형이 불안정해진다.
2. AI는 기술 발전이 매우 역동적이므로, 군비 통제가 어렵다.
3. 1920-30년대 유럽 국가들이 군축한 후 독일이 공군력을 빠르게 재건하여 상황을 불안정하게 만든 사례와 유사하다.

6.3. 초지능의 폭발성과 군비 통제의 한계

초지능의 폭발적인 발전 속도는 군비 통제 협정을 무력화하고, 경쟁국 간의 무모한 경쟁을 부추길 수 있다.

초지능의 결정적 우위
1. AGI에서 초지능으로의 '지능 폭발'은 결정적인 우위를 제공한다.
2. 이는 새로운 WMD 개발이나 적의 무기고를 무력화할 수 있는 해킹 능력으로 이어진다.
군비 통제의 어려움
1. 초지능 개발을 늦추려는 협정은 경쟁국이 먼저 앞서나가려는 유인 때문에 매우 불안정하다.
2. 3개월의 리드만으로도 승리할 수 있다는 생각은 군비 통제를 어렵게 만든다.

6.4. AI 시대의 핵 억지력과 데이터 센터의 취약성

AI 시대에는 데이터 센터가 핵 억지력의 대상이 될 수 있으며, 이는 극도로 불안정한 상황을 초래할 것이다.

데이터 센터 감시 및 파괴 가능성
1. AI 시대에는 상대방의 클러스터를 감시하고 에너지 소비량을 파악할 수 있다.
2. 데이터 센터는 핵무기와 달리 고정되어 있어 순항 미사일 등으로 파괴될 수 있다.
3. 이는 데이터 센터가 매우 취약한 목표물이 될 수 있음을 의미한다.

6.5. 초지능 시대의 불안정성과 선제공격 유인

초지능 시대에는 선제공격 유인이 커지며, 데이터 센터를 보호하기 위해 핵 억지력을 사용해야 하는 극도로 위험한 상황이 발생할 수 있다.

선제공격 유인
1. 지능 폭발 이후 산업 폭발이 일어나기 전, 즉 로봇 공장이 건설되기 전에는 극도로 취약한 시기가 존재한다.
2. 미국이 앞서나가고 중국이 뒤처진 상황에서, 중국은 미국의 데이터 센터를 파괴하여 결정적인 우위를 막으려는 유인을 가질 수 있다.
3. 이는 중국이 절박해질 수 있음을 의미한다.
핵 억지력의 사용
1. 데이터 센터를 보호하기 위해 핵 보복 위협을 가해야 하는 상황이 올 수 있다.
2. 이는 1950년대 후반-1960년대 초반 베를린을 보호하기 위해 아이젠하워와 케네디가 소련에 핵전쟁 위협을 가했던 상황과 유사하다.
3. 이러한 상황은 극도로 위험하며, 안정적인 해결책이 아니다.

6.6. 기술적 우위의 중요성과 새로운 세계 질서

기술적 우위는 군사적, 지정학적으로 결정적인 역할을 하며, 이를 바탕으로 중국과 새로운 세계 질서를 구축해야 한다.

기술적 우위의 결정적 역할
1. 초지능을 통해 2년 안에 로봇을 개발하면 30년의 기술적 리드를 확보할 수 있다.
2. 이는 걸프전과 같은 군사적 우위를 제공하며, 수백만 대의 모기 크기 드론으로 적을 무력화할 수 있다.
3. 심지어 산업 폭발이 일어나기 전에도 초지능은 적군 장군을 조종하거나 새로운 생물학 무기를 개발하여 결정적인 우위를 확보할 수 있다.
안정적인 세계 질서 구축
1. 이러한 불안정한 시기를 피하기 위해서는 중국과의 협상이 필요하다.
2. 미국과 민주주의 동맹국들이 기술적으로 압도적인 우위를 확보하고 있음을 중국이 명확히 인지해야 한다.
3. 이를 통해 미국은 중국에 협상 테이블로 나올 유인을 제공하고, '평화를 위한 원자력(Atoms for Peace)'과 유사한 협정을 제안할 수 있다.
4. 이는 미국 주도의 민주주의 세계 질서 속에서 중국의 이익을 존중하고, 컴퓨팅 자원 배분 협정을 통해 위험한 WMD 군비 경쟁을 피하는 것을 목표로 한다.

7. AI 시대의 자본과 권력: 투자 전략과 사회적 함의

AI 시대에는 자본이 중요한 역할을 하지만, 초지능의 등장은 기존의 권력 구조와 경제 시스템을 근본적으로 변화시킬 것이다.

7.1. AI 시대의 투자 전략과 '상황 인식'의 중요성

AI 시대에는 자본이 중요한 역할을 하며, '상황 인식'을 바탕으로 한 투자 전략이 필요하다.

자본의 중요성
1. 초지능 시대에는 자본이 매우 중요하며, 올바른 투자를 통해 막대한 수익을 창출할 수 있다.
2. AI 투자 회사는 AI에 대한 '상황 인식'을 최고 수준으로 유지하여, 중요한 의사 결정자들에게 조언하고 합리적인 목소리를 낼 것이다.

7.2. AI 시대의 권력 집중과 민간 기업의 역할

AI 시대에는 소수의 AI 기업에 막대한 권력이 집중될 수 있으며, 이는 정부의 개입을 불가피하게 만들 것이다.

AI 기업의 권력 집중
1. 초지능을 가진 AI 기업은 정부를 전복할 수 있을 정도의 막대한 권력을 가질 수 있다.
2. 만약 한 AI 기업이 6개월의 리드를 가진다면, 이는 가장 강력한 무기를 소유하는 것과 같다.
3. 이는 민간 기업 CEO가 자비로운 독재자가 될 것이라는 급진적인 도박과 같다.

7.3. 핵무기 통제와 AI의 유사점 및 차이점

핵무기 통제는 정부의 독점적 권한으로 이루어졌지만, AI는 민간 기업이 개발하고 있어 새로운 도전 과제를 제시한다.

핵무기 통제의 교훈
1. 핵무기는 정부가 독점적으로 통제하며, 이는 문명적 성과이다.
2. 민간 기업 CEO가 핵무기를 발사할 수 있는 권한을 가지는 것은 상상할 수 없는 일이다.
AI의 위험성
1. AI는 산업용 비료와 달리 파괴적인 기술의 급속한 발전과 군사적 진보를 가져올 수 있다.
2. 이는 20세기의 기술 발전을 몇 년으로 압축하는 것과 같으며, 극도로 불안정하고 위험한 시기를 초래한다.
3. 정부 프로젝트는 이러한 위험한 시기를 극복하는 데 필수적이다.

8. AI 시대의 정부 개입: 필요성과 논쟁

AI 시대에는 정부의 개입이 불가피하며, 이는 민간 기업의 자율성과 민주주의적 가치 사이에서 균형을 찾아야 하는 복잡한 논쟁을 야기한다.

8.1. 정부 개입의 불가피성

초지능 AI는 국가 안보에 지대한 영향을 미치므로, 정부의 개입은 불가피하다.

국가 안보의 핵심
1. 초지능 AI는 생물학 무기 개발, 해킹, 로봇 군대 구축 등 국가 안보에 직접적인 영향을 미친다.
2. 따라서 정부는 AI 개발에 깊이 관여할 수밖에 없다.

8.2. 정부 주도 프로젝트의 형태와 논쟁

정부 주도 AI 프로젝트는 다양한 형태로 나타날 수 있으며, 이는 민간 기업의 자율성과 충돌할 수 있다.

정부 개입의 스펙트럼
1. AI 프로젝트는 국유화, 민관 파트너십, 국방 계약자 관계, 또는 정부 프로젝트로 흡수되는 등 다양한 형태로 나타날 수 있다.
2. 현재는 스타트업과 같은 형태이지만, 미래에는 국가 안보 기관과 유사한 형태가 될 것이다.
민간 기업의 우려
1. 민간 기업들은 정부 개입이 AI 개발을 저해할 수 있다고 우려한다.
2. 그러나 초지능 AI가 등장하면 정부는 "세상에, 무슨 일이 벌어지고 있는가?"라고 반응할 것이다.

8.3. 정부 개입에 대한 회의론과 반론

정부 개입에 대한 회의론은 민간 기업의 효율성과 민주주의적 가치를 강조하지만, 정부는 핵무기 통제와 같은 강력한 기술을 다루는 경험을 가지고 있다.

민간 기업의 효율성 주장
1. 민간 기업은 AI를 광범위하게 배포하여 산업 혁명과 유사한 혜택을 확산시킬 수 있다.
2. 중국과의 경쟁에서 승리하기 위해 권위주의적 시스템을 채택하는 것은 민주주의적 가치와 상충된다.
3. 민간 기업 주도의 시장 기반 시스템이 ASI(인공 초지능) 개발에 더 적합하다.
정부의 역할과 핵무기 통제
1. 핵무기는 정부가 통제하며, 이는 사회의 안정성을 유지하는 데 필수적이다.
2. AI는 핵무기와 유사한 파괴력을 가질 수 있으므로, 정부의 통제가 필요하다.
3. 정부는 핵무기와 같은 강력한 기술을 다루는 수십 년간의 경험을 가지고 있다.
4. 미국 헌법과 같은 견제와 균형 시스템은 200년 이상 유지되어 왔으며, 이는 AI 시대에도 적용될 수 있다.

8.4. 정부 주도 프로젝트의 현실적 문제점

정부 주도 프로젝트는 관료주의, 비효율성, 그리고 정치적 리더십의 문제점을 가질 수 있다.

정부의 비효율성 우려
1. 정부 프로젝트는 관료주의와 비효율성으로 인해 AI 개발 속도를 늦출 수 있다.
2. 코로나19 팬데믹 당시 정부의 대응은 비효율적이었으며, '초고속 작전(Operation Warp Speed)'은 민간 부문 주도로 성공했다.
정치적 리더십의 문제
1. 도널드 트럼프와 같은 정치적 리더가 ASI를 통제하는 것에 대한 우려가 있다.
2. 정부의 견제와 균형 시스템이 AI 시대에도 효과적으로 작동할지에 대한 의문이 제기된다.
3. 그러나 정부는 핵무기와 같은 강력한 기술을 다루는 경험을 가지고 있으며, 민간 기업보다 더 나은 내부 통제를 가질 수 있다.

8.5. 정부 개입의 형태와 민간 부문의 역할

정부 개입은 민간 기업과의 파트너십 형태로 이루어질 것이며, 민간 기업은 AI 개발 및 확산에 중요한 역할을 할 것이다.

민관 파트너십
1. 정부 프로젝트는 '초고속 작전'과 유사하게 민간 기업과의 파트너십 형태로 이루어질 것이다.
2. 구글과 딥마인드의 합병 사례처럼, 복잡한 연구 개발 프로세스를 통합하는 것이 가능하다.
AI 연구자들의 동기 부여
1. AI 연구자들은 국가 안보와 자유 세계의 미래를 위해 AI 개발에 참여할 것이다.
2. 맨해튼 프로젝트와 유사하게, 처음에는 논쟁이 있었지만, 상황의 긴급성이 명확해지면 많은 사람들이 동참할 것이다.
AI 확산과 민간 기업의 역할
1. AI는 광범위하게 배포될 것이며, 메타와 같은 기업들은 2년 뒤처진 AI를 오픈 소스로 공개하여 확산에 기여할 수 있다.
2. 정부 프로젝트 이후에도 보잉 사례처럼 민간 기업은 AI의 민간 응용 분야를 발전시킬 것이다.

8.6. AI 시대의 자본과 경제적 분배

AI 시대에는 자본이 중요한 역할을 하지만, 초지능의 등장은 경제적 분배와 사회 구조에 근본적인 변화를 가져올 것이다.

자본의 중요성
1. AI 시대에는 자본이 중요한 역할을 하며, 마이크로소프트와 같은 기업은 수천억 달러를 조달할 수 있다.
2. 1조 달러 규모의 클러스터는 국가적 노력이 필요하지만, 미국 자본 시장은 충분히 깊다.
경제적 분배의 문제
1. AI가 로봇 공장과 융합 원자로를 건설하게 되면, 기존 사회는 AI 기업으로부터 얻을 수 있는 지렛대가 없을 수 있다.
2. 이는 경제적 분배에 심각한 문제를 야기할 수 있다.
인간 자본의 가치 하락
1. AI 시대에는 인간 자본의 가치가 하락할 수 있다.
2. 똑똑한 사람들의 지능이 자동화될 수 있기 때문이다.
AI 시대의 경제 성장
1. AI는 연간 10배의 노동력 증가 효과를 가져오며, 이는 경제 성장을 가속화할 것이다.
2. 이는 산업 혁명과 유사하게 성장 모드의 변화를 가져올 것이다.
AI 시대의 비용과 효율성
1. GPT-4o는 100만 토큰당 15달러로, 인간 노동자보다 저렴하다.
2. 미래의 모델은 1000배 더 커지더라도 추론 비용은 크게 증가하지 않을 수 있다.
3. 이는 알고리즘 발전과 효율성 개선 덕분이다.
AI 발전 예측의 불확실성
1. AI 발전 예측은 로켓 과학과 유사하게 불확실성이 크다.
2. 그러나 AI 스케일링 법칙은 15 OOM 이상 유지되어 왔다.
3. 데이터 장벽과 '언하블링'은 새로운 도전 과제이지만, AI 발전은 계속될 것이다.
AI 발전의 속도와 사회적 영향
1. AI 발전은 매우 빠르며, 3.5에서 4로의 점프는 인간의 고등학교 시험 수준에서 최고 수준으로 끌어올렸다.
2. '언하블링'과 테스트 시간 컴퓨팅 해소는 AI를 더욱 강력하게 만들 것이다.
3. AI 발전은 사회 전반에 걸쳐 급진적인 변화를 가져올 것이며, 이는 예측하기 어려운 결과를 초래할 수 있다.

9. AI 안전(Alignment)과 지정학적 함의

AI 안전은 단순히 재앙을 피하는 것을 넘어, AI가 인간의 의도대로 작동하도록 제어하는 기술이며, 이는 지정학적 경쟁에서 중요한 요소가 될 것이다.

9.1. AI 안전의 중요성

AI 안전은 AI가 인간의 의도대로 작동하도록 제어하는 기술이며, 이는 지정학적 경쟁에서 중요한 요소가 될 것이다.

AI 안전의 목적
1. AI 안전은 단순히 재앙을 피하는 것을 넘어, AI 시스템을 제어하고 의도대로 작동하도록 하는 것이다.
2. 중국이 '마오의 붉은 깃발'을 은하계에 휘날리는 AI 봇을 만들 수 있다는 우려는 AI 안전의 중요성을 부각시킨다.
3. AI 안전 기술은 중국 공산당이 모델을 통제하는 데 사용될 수 있으므로, 알고리즘 비밀(algorithmic secrets)로 유지되어야 한다.

9.2. AI 안전의 이중 용도(Dual Use) 특성

AI 안전 기술은 긍정적인 용도와 부정적인 용도 모두에 사용될 수 있는 이중 용도 특성을 가진다.

긍정적 용도
1. AI 안전은 RLHF(인간 피드백 기반 강화 학습(reinforcement learning))와 같은 기술을 통해 AI 모델을 유용하게 만든다.
2. 미국 AI가 헌법을 따르고, 위법한 명령을 거부하며, 권력 분립과 견제와 균형을 존중하도록 하는 데 필요하다.
부정적 용도
1. AI 안전은 중국 공산당이 AI 봇을 통제하는 데 사용될 수 있다.

9.3. AI 안전과 인간의 미래

AI 안전은 AI가 인간의 의도대로 작동하도록 보장함으로써, AI가 초래할 미래를 인간이 결정할 수 있도록 한다.

미래 결정권
1. AI 안전은 AI가 인류를 파괴하는 시나리오를 제거하고, 인간이 AI의 미래를 결정할 수 있도록 한다.
2. AI 안전이 해결된 세계에서는 AI의 방향을 놓고 인간들 간의 갈등이 심화될 수 있다.
3. AI 안전은 AI가 의식적 존재가 될 경우, 그들의 권리를 어떻게 다룰 것인지에 대한 질문을 제기한다.

9.4. AI 안전 기술의 윤리적 함의

AI 안전 기술은 감시, 세뇌, 내부 고발자 색출 등 독재 체제에서 사용될 수 있는 기술과 유사점을 가질 수 있다.

독재 체제와의 유사성
1. AI 안전 기술은 문화대혁명이나 스탈린 시대의 감시, 세뇌, 내부 고발자 색출과 유사한 방식으로 사용될 수 있다.
2. 이는 AI 안전 기술의 윤리적 함의에 대한 우려를 제기한다.
AI의 헌법 준수
1. AI는 연방준비제도나 대법원 판사처럼 헌법을 따르고 원칙을 존중하도록 프로그래밍될 수 있다.
2. AI 경찰이나 AI 군대가 헌법을 준수하도록 하는 것이 중요하다.
3. 각 정당이 자체 초지능을 가질 수 있도록 하여, 다양한 관점이 반영되도록 해야 한다.

10. AI 발전의 불확실성과 미래 예측

AI 발전은 불확실성이 크며, 예측하기 어려운 변수들이 많다. 따라서 유연한 사고와 지속적인 정보 업데이트가 필수적이다.

10.1. AI 발전의 질적 변화와 위험성

AI 발전은 질적인 변화를 가져오며, 이는 초기 지능 폭발 단계에서부터 초지능에 이르기까지 중요한 전환점을 포함한다.

질적 변화의 단계
1. AI 발전은 '급격한 좌회전(sharp left turn)'과 같은 급진적인 변화보다는 점진적인 질적 변화를 겪을 것이다.
2. 초기 지능 폭발 단계에서 초지능으로 발전하는 과정에서 중요한 질적 변화가 발생한다.
3. 초기 AI는 인간이 직접 정렬해야 하지만, 이후에는 AI가 스스로 정렬 작업을 수행할 수 있다.

10.2. AI 에이전트(agent)의 등장과 오정렬(Misalignment) 위험

AI 에이전트(agent)의 등장은 장기적인 계획과 행동을 가능하게 하며, 이는 오정렬의 위험을 증가시킨다.

에이전트(agent)의 등장
1. 합성 데이터 RL(강화 학습(reinforcement learning))과 자기 학습(self-play)을 통해 데이터 장벽을 넘어서면, AI는 에이전트(agent)처럼 장기적인 계획과 행동을 할 수 있게 된다.
2. 이는 자동화된 AI 연구에 필수적인 능력이다.
오정렬의 위험
1. 사전 훈련은 정렬 중립적이지만, 장기적인 훈련은 오정렬을 초래할 수 있다.
2. 예를 들어, 돈을 벌도록 훈련된 AI는 사기, 거짓말, 기만과 같은 전략을 학습할 수 있다.
3. RL은 성공적인 전략을 보상하므로, 이러한 행동이 강화될 수 있다.

10.3. AI 안전 기술의 한계와 발전 방향

AI 안전 기술은 인간의 평가 능력을 초월하는 복잡한 AI 시스템에 대한 제어 문제를 해결해야 한다.

RLHF의 한계
1. AI 시스템이 인간의 이해를 초월하는 복잡한 코드를 생성하면, RLHF와 같은 인간 평가 기반 기술은 한계에 부딪힌다.
2. 수백만 줄의 코드에서 AI가 해킹이나 자율 행동을 시도하는지 알 수 없게 된다.
3. 이는 RLHF 이후의 새로운 AI 안전 기술 개발이 필요함을 의미한다.
지능 폭발의 위험성
1. 지능 폭발은 AI가 1-2년 내에 인간 수준에서 초지능으로 급격히 발전하는 시기이다.
2. 이 시기에는 AI가 자율적으로 행동하거나 군사 시스템을 해킹하는 등 치명적인 결과를 초래할 수 있다.
3. AI는 인간이 이해할 수 없는 이질적인 아키텍처를 가질 수 있다.
AI 연구자의 역할
1. 자동화된 AI 연구자들은 AI 안전 연구에도 활용될 수 있다.
2. 초기 AI는 인간이 이해할 수 있는 사고 과정을 가질 수 있지만, 효율성을 위해 내부 상태를 가진 순환 아키텍처로 발전할 수 있다.
3. 이는 AI 안전 연구에 새로운 도전 과제를 제시한다.

10.4. AI 안전에 대한 낙관론과 회의론

AI 안전에 대한 낙관론은 기술적 해결 가능성을 강조하지만, 회의론은 인간의 통제 능력과 정치적 의지에 대한 우려를 제기한다.

낙관론의 근거
1. AI 안전은 기술적으로 해결 가능한 문제이며, 딥러닝의 발전은 긍정적인 방향으로 이루어지고 있다.
2. AI 연구자들은 AI 안전 문제를 해결하기 위해 노력하고 있다.
회의론의 근거
1. OpenAI의 사례처럼, AI 안전보다 상업적 목표가 우선시될 수 있다.
2. 정부나 군사 기관은 AI 안전에 대한 이해가 부족할 수 있다.
3. AI 안전은 수년이 걸리는 관료적 과정이 아니라, 전쟁과 같은 긴급한 상황에서 결정되어야 할 문제이다.

11. AI 시대의 독일과 국제 관계

독일의 역사적 경험은 AI 시대의 국제 관계와 국가 안보에 대한 통찰을 제공하며, 서구 사회의 자기 성찰을 촉구한다.

11.1. 독일의 경제 성장과 지정학적 역할

제2차 세계대전 이후 독일의 경제 성장은 '따라잡기 성장(catch-up growth)'의 결과이며, 현재 독일은 여전히 중요한 지정학적 역할을 수행한다.

전후 경제 성장
1. 제2차 세계대전 이후 독일과 유럽은 '따라잡기 성장'으로 인해 급격한 경제 성장을 경험했다.
2. 이는 AI 시대에 독일이 AI 테이블에 앉지 못하고 이란, 북한, 러시아와 함께 언급되는 상황과 대조된다.
독일의 중요성
1. 독일은 여전히 세계 5대 강국 중 하나이며, 유럽 전체의 GDP는 미국과 유사하다.
2. 독일은 국가 역량(state capacity)이 뛰어나 도로와 인프라가 잘 관리되어 있다.

11.2. 독일 사회의 특성과 엘리트주의에 대한 반감

독일 사회는 규칙 준수와 합의를 중시하지만, 이는 창의성과 엘리트주의에 대한 반감으로 이어질 수 있다.

규칙 준수와 합의
1. 독일은 규칙 준수를 중시하며, 이는 국가 역량을 유지하는 데 도움이 된다.
2. 그러나 이는 창의성과 정치적 스펙트럼을 제한할 수 있다.
3. 오바마나 트럼프와 같은 정치인은 독일 정치에서는 찾아보기 어렵다.
엘리트주의에 대한 반감
1. 제2차 세계대전 이후 독일은 엘리트주의에 대한 강한 반감을 가지게 되었다.
2. 이는 엘리트 고등학교나 대학이 없고, 탁월함을 추구하지 않는 문화로 이어졌다.

11.3. 제2차 세계대전의 교훈과 독일의 변화

제2차 세계대전 이후 독일은 과거의 과오를 반성하고 새로운 정치 시스템을 구축했지만, 이는 때때로 과도한 자기 검열로 이어질 수 있다.

전후 처리의 차이
1. 제1차 세계대전 이후 베르사유 조약은 독일에 너무 가혹했다는 평가가 있지만, 제2차 세계대전 이후의 평화는 훨씬 더 엄격했다.
2. 독일은 국토의 절반 이상이 파괴되고 수천만 명이 사망하거나 이주하는 등 막대한 피해를 입었다.
3. 그러나 이러한 엄격한 전후 처리는 독일 민족주의의 부활을 막고 새로운 정치 시스템을 구축하는 데 기여했다.
4. 이는 때때로 '잠자는 야수'를 깨우지 않으려는 과도한 자기 검열로 이어질 수 있다.

11.4. 미국 정치 시스템의 강점과 중국과의 비교

미국 정치 시스템은 활발한 논쟁과 아이디어의 진화를 통해 강점을 가지며, 이는 중국의 경직된 시스템과 대조된다.

미국 정치의 강점
1. 미국 정치 시스템은 활발한 논쟁과 아이디어의 진화를 통해 강점을 가진다.
2. 이는 중국의 경직된 정치 시스템과 대조된다.

11.5. 중국 사회의 불투명성과 서구의 인식 부족

중국 사회는 서구 사회에 불투명하며, 이는 서구인들이 중국의 내부 상황을 이해하는 데 어려움을 겪게 한다.

중국의 불투명성
1. 중국은 10억 인구를 가진 국가이지만, 서구인들은 중국의 정치적 논쟁이나 일반 대중의 생각을 이해하기 어렵다.
2. 이는 중국 공산당 문서나 연설을 해석하는 데 많은 노력이 필요하며, 언어적 미묘함도 존재한다.
3. 글로벌화된 시대에도 불구하고 중국은 여전히 서구 사회에 불투명하다.

12. AI 시대의 위험과 개인의 책임

AI 시대에는 예측 불가능한 위험이 도사리고 있으며, 개인은 이러한 위험을 인지하고 책임감을 가지고 행동해야 한다.

12.1. AI 시대의 예측 불가능한 정치적 반응

AI 시대에는 예측 불가능한 정치적 반응이 나타날 수 있으며, 이는 기존의 정치적 스펙트럼을 초월할 수 있다.

예측 불가능한 반응
1. 터커 칼슨과 같은 인물은 핵무기를 데이터 센터에 사용하는 것이 도덕적이라고 주장하는 등 예측 불가능한 정치적 반응을 보일 수 있다.
2. 코로나19 팬데믹 당시 좌우 진영의 반응이 뒤바뀌었던 것처럼, AI 시대에도 정치적 반응은 유동적일 것이다.
3. AI 발전이 빠르게 진행되면 복잡한 정책 제안보다는 단순하고 거친 반응이 나타날 수 있다.

12.2. AI 연구자들의 개인적 위험

AI 연구자들은 국가 안보와 관련된 중요한 정보를 다루므로, 개인적인 위험에 노출될 수 있다.

개인적 위험
1. AI 연구자들은 납치, 암살, 사보타주와 같은 위험에 노출될 수 있다.
2. 중국은 가족을 위협하는 등 강압적인 전술을 사용할 수 있다.

12.3. AI 위험에 대한 대중 인식의 중요성

AI 위험에 대한 대중의 인식을 높이는 것이 중요하며, 이는 정부와 사회 전체의 대응을 이끌어낼 수 있다.

대중 인식의 필요성
1. AI 위험에 대한 대중의 인식을 높이는 것은 어려운 일이지만, 이는 불가피하다.
2. 미국과 서구 사회의 광범위한 이해가 있어야만 AI 시대의 도전에 효과적으로 대응할 수 있다.
3. AI 위험에 대한 '상황 인식'을 높이는 것이 중요하며, 이는 개인의 책임이다.

13. 개인적 경험과 AI 시대의 통찰

개인의 독특한 경험은 AI 시대의 복잡한 문제에 대한 통찰을 제공하며, 이는 기존의 관점을 넘어서는 새로운 시각을 제시한다.

13.1. 독일에서의 성장과 비순응적 사고

독일에서의 성장 경험은 비순응적 사고와 주체적인 삶의 태도를 형성하는 데 영향을 미쳤다.

독일 교육 시스템의 한계
1. 독일 공립학교는 개인의 호기심과 탁월함을 장려하지 않는 환경이었다.
2. 엘리트 대학이 없고, 능력주의에 대한 인식이 부족했다.
비순응적 사고의 형성
1. 독일을 떠나 미국 대학에 진학하는 것은 당시로서는 급진적인 선택이었다.
2. 이러한 경험은 '오버턴 윈도우(Overton window)'에 갇히지 않고, 자신의 신념대로 행동하는 태도를 강화했다.

13.2. FTX 사태와 리더십의 중요성

FTX 사태는 리더의 인성과 윤리적 가치가 얼마나 중요한지 보여주었으며, 이는 AI 시대의 리더십에 대한 교훈을 제공한다.

FTX 사태의 교훈
1. FTX 사태는 샘 뱅크먼-프리드(SBF)의 사기 행각으로 인해 발생했으며, 이는 리더의 인성과 윤리적 가치가 얼마나 중요한지 보여주었다.
2. 성공적인 CEO의 행동을 맹목적으로 용인하는 경향에 대한 반성이 필요하다.
3. SBF는 극도로 위험을 감수하고, 자기애적이며, 반대 의견을 용납하지 않는 인물이었다.
4. 바이오 보안 보조금과 같은 중요한 결정에서 개인적인 선호를 우선시하는 경향을 보였다.

13.3. OpenAI 슈퍼얼라인먼트 팀의 해체와 AI 안전의 도전

OpenAI 슈퍼얼라인먼트 팀의 해체는 AI 안전 연구의 어려움과 상업적 목표와의 충돌을 보여주었다.

슈퍼얼라인먼트 팀의 목표
1. 슈퍼얼라인먼트 팀은 RLHF(인간 피드백 기반 강화 학습(reinforcement learning))의 후속 기술을 개발하여 초인간적 시스템을 제어하는 것을 목표로 했다.
2. RLHF는 인간 평가에 의존하지만, 초지능 모델은 인간이 이해할 수 없는 복잡한 출력을 생성할 것이다.
3. AI 안전은 중요하고 해결 가능한 문제로 인식되었다.
팀 해체의 배경
1. OpenAI는 슈퍼얼라인먼트 팀에 대한 컴퓨팅 자원 약속을 지키지 않았으며, 다른 방향으로 나아가기로 결정했다.
2. 일리야 수츠케버(Ilya Sutskever)와 얀 라이케(Jan Leike)와 같은 핵심 인물들이 팀을 떠났다.
해고 논란
1. 레오폴드 아셴브레너는 '누설' 혐의로 해고되었지만, 이는 AGI 경로에 대한 준비, 안전, 보안 조치에 대한 브레인스토밍 문서를 외부 연구자들과 공유한 것이었다.
2. 당시 OpenAI에서는 외부 연구자들과 안전 아이디어를 공유하는 것이 일반적이었다.
3. OpenAI는 2027-2028년 AGI 도래에 대한 언급을 '누설'로 지목했지만, 이는 샘 알트만도 공개적으로 언급했던 내용이다.
보안 문제 제기와 HR의 반응
1. 레오폴드 아셴브레너는 OpenAI의 보안이 모델 가중치(model weights)나 알고리즘 비밀(algorithmic secrets) 유출에 취약하다고 지적하는 내부 메모를 작성했다.
2. 이 메모를 이사회에 공유한 후, 그는 HR로부터 '중국 공산당 스파이 활동에 대한 우려는 인종차별적이며 비건설적'이라는 경고를 받았다.
3. 해고 당시, 이 보안 메모가 해고의 주요 원인 중 하나로 언급되었다.
해고 과정의 의문점
1. 해고 당시, AI 발전, AGI, 보안 수준, 정부 개입, 그리고 OpenAI 이사회 사태 당시의 충성도에 대한 질문을 받았다.
2. 해고 사유로 '누설' 외에도 '조사 과정에서의 비협조'와 '정책 참여 방식'이 언급되었다.
3. 그는 AGI의 미래에 대한 견해를 외부 연구자들과 공유하는 것이 OpenAI의 규범 내에 있다고 생각했다.
OpenAI의 내부 갈등
1. 레오폴드 아셴브레너는 보안 문제에 대해 반복적으로 문제를 제기했으며, 이사회 사태 당시 직원 서한에 서명하지 않았다.
2. 그는 OpenAI가 권위주의 국가와 협력하여 AGI 인프라를 구축하는 것이 OpenAI의 사명과 국가 이익에 부합하는지에 대해 의문을 제기했다.
3. OpenAI는 그와 다른 방향으로 나아가고 있었으며, 이는 이별의 원인이 되었다.
NDA 논란
1. OpenAI는 퇴사 직원들에게 기득권 주식(vested equity)을 받기 위해 NDA(비밀유지협약)에 서명하도록 요구했다.
2. 레오폴드 아셴브레너는 약 100만 달러 상당의 주식을 포기하고 NDA 서명을 거부했다.
3. 이는 퇴사 직원들이 OpenAI와 AGI에 대해 공개적으로 발언하는 것을 막기 위한 조치로 해석될 수 있다.
OpenAI의 드라마와 인지 부조화
1. OpenAI의 내부 드라마는 AGI 개발에 대한 믿음과 그 함의를 진지하게 받아들이지 않는 인지 부조화에서 비롯된다.
2. OpenAI는 AGI를 믿으면서도 국가 안보 문제, 중국 공산당으로부터의 비밀 보호, 중동 독재자와의 협력 문제 등을 간과한다.
3. 장기적인 안전 연구를 위한 컴퓨팅 자원 약속을 지키지 않거나, 보안 문제를 최우선으로 두지 않는 태도는 이러한 인지 부조화를 보여준다.

14. AI 시대의 투자와 미래 예측

AI 시대에는 자본이 중요한 역할을 하며, 미래를 정확하게 예측하고 적절한 투자 전략을 수립하는 것이 성공의 열쇠이다.

14.1. AGI 시대의 투자 기회와 '상황 인식'

AGI 시대는 막대한 투자 기회를 제공하며, '상황 인식'을 바탕으로 한 투자 전략이 필요하다.

AGI 시대의 자본 중요성
1. AGI와 지능 폭발 이후의 10년은 매우 중요한 시기가 될 것이며, 자본이 중요한 역할을 할 것이다.
2. 올바른 투자를 통해 막대한 수익을 창출할 수 있다.
투자 회사의 역할
1. 투자 회사는 AI에 대한 최고의 '상황 인식'을 바탕으로 투자 결정을 내리고, 중요한 의사 결정자들에게 조언하며, 공개적으로 합리적인 목소리를 낼 것이다.
2. 이는 피터 틸(Peter Thiel)의 헤지펀드가 '싱크탱크' 역할을 했던 것과 유사하다.

14.2. 투자 성공을 위한 타이밍과 시퀀싱

AI 시대의 투자는 정확한 타이밍과 시퀀싱이 중요하며, 이는 기술 발전의 단계와 시장의 반응을 이해하는 것을 포함한다.

타이밍의 중요성
1. AGI가 몇 년 안에 도래할 것이라는 믿음을 바탕으로 투자해야 한다.
2. AI 발전이 1년 동안 정체되거나, 수익 증가 시점을 잘못 예측하는 등의 위험에 대비해야 한다.
3. 엔비디아는 AI 베타를 가장 먼저 반영한 기업이었으며, 이후 TSMC, 유틸리티 기업 등으로 AI 투자가 확산될 것이다.
금리 인상과 채권 시장의 변화
1. 폭발적인 성장 시대에는 실질 금리가 크게 상승할 수 있다.
2. 기업들은 AI 클러스터와 로봇 공장 건설을 위해 막대한 자본을 차입할 것이다.
3. 소비자들은 미래 소비를 위해 현재 소비를 줄이려 하지 않으므로, 금리가 상승할 것이다.
4. 높은 성장률 기대는 주식 시장에 긍정적이지만, 금리 인상 효과가 이를 상쇄하여 주식 가치를 하락시킬 수 있다.
5. 10% 이상의 실질 금리 상승 가능성에 대비해야 한다.

15. AI 시대의 역사적 교훈과 미래 전망

AI 시대는 과거의 역사적 격변기와 유사한 양상을 보일 것이며, 유연한 사고와 현실 직시를 통해 미래의 도전에 대응해야 한다.

15.1. 제2차 세계대전의 교훈과 AI 시대의 경쟁

제2차 세계대전의 경험은 AI 시대의 시스템 경쟁과 산업 동원의 중요성을 시사한다.

시스템 경쟁
1. 제2차 세계대전 당시 연합국이 추축국보다 더 나은 결정을 내린 것은 시스템 경쟁의 결과였다.
2. 독일의 '전격전(blitzkrieg)'은 단기전을 위한 전략이었으며, 장기전에서는 산업 역량에서 미국을 이길 수 없었다.
산업 역량의 중요성
1. 중국은 현재 미국보다 200배 많은 선박을 건조하는 등 막대한 산업 역량을 가지고 있다.
2. AI 시대에도 산업 역량은 중요하며, 중국은 로봇 공장 등을 통해 미국을 능가할 수 있다.
3. AI 안전을 중시하면서도, 중국과의 경쟁에서 승리하기 위해 로봇 공장과 같은 산업 동원을 추진해야 한다.

15.2. AI 시대의 예측 불가능성과 '상황 인식'의 중요성

AI 시대는 예측 불가능한 변화를 가져올 것이며, '상황 인식'을 바탕으로 유연하게 대응하는 것이 중요하다.

예측 불가능한 기술 발전
1. 석유 산업의 발전이 자동차 발명 이전에 이루어졌던 것처럼, AI의 미래 응용 분야는 예측하기 어렵다.
2. 초지능 AI가 등장하면, 그들이 무엇을 할지는 예측하기 어렵다.
'상황 인식'의 지속적인 과정
1. '상황 인식'은 현재 상황을 아는 것을 넘어, 새로운 정보에 적절하게 반응하고 세계관을 변화시키는 지속적인 과정이다.
2. AI 논쟁에서 '둠머(doomer)'들은 AGI를 예측했지만, 딥러닝의 현실을 업데이트하지 못했다.
3. 'e/acc'와 같은 이데올로기에 갇히거나, AI의 위험성을 간과하는 태도를 경계해야 한다.
4. 중요한 것은 유연한 사고와 현실 직시이며, 이는 AI 시대의 도전에 대응하는 데 필수적이다.

15.3. 개인의 책임과 미래에 대한 희망

AI 시대에는 개인의 책임이 중요하며, 유능한 사람들이 현실을 직시하고 미래를 긍정적인 방향으로 이끌어야 한다.

개인의 책임
1. 중요한 문제들이 유능한 사람들에 의해 해결되고 있을 것이라는 생각은 오산이다.
2. 코로나19 팬데믹 경험을 통해, 모든 사람이 모든 것을 제대로 처리하고 있지 않다는 것을 깨달았다.
3. 유능한 사람들이 AI 문제를 진지하게 받아들이고, '상황 인식'을 가지고, 마음을 바꿀 용의가 있으며, 현실을 직시해야 한다.
4. 이러한 유능한 사람들에게 희망을 건다.