이 기사는 Lex Fridman Podcast의 토론 내용을 기반으로 합니다. 여기서 에피소드를 들어보세요.

이 대화에서 Lex Fridman은 Dylan Patel과 Nathan Lambert와 함께 DeepSeek, 중국의 AI 야망, 글로벌 AI 경쟁에서 NVIDIA의 역할, AI 메가클러스터의 미래에 초점을 맞춘 AI의 최신 개발에 대해 이야기합니다. 토론은 AI 효율성 혁신, 반도체 지배를 위한 지정학적 전투, 인공 지능의 미래를 형성하는 주요 참여자에 대해 다룹니다.

인공지능은 엄청난 속도로 발전하고 있지만, 대부분의 사람들이 기대하는 방식은 아닙니다. 

헤드라인은 더 큰 모델, 더 많은 매개변수, 그리고 놀라운 새로운 기능에 대해 외치고 있습니다. 하지만 모든 과장된 광고 아래에서 더 조용한 혁명이 일어나고 있습니다. AI를 더 효율적이고, 비용 효율적이며, 지정학적으로 전략적으로 만드는 것입니다. 

주의 깊게 살펴보면, 엄청난 사실이 눈에 띄실 겁니다. 중국의 AI 분야가 아무도 예상치 못한 속도로 발전하고 있다는 것입니다.

더욱 스마트한 AI 모델: 전문가 혼합 접근 방식

대규모 언어 모델(LLM)이 엄청난 양의 컴퓨팅 파워를 필요로 한다는 것은 비밀이 아닙니다. 처음부터 하나를 훈련하는 데는 수억 달러가 들 수 있으며, 그것을 실행하는 것은? 그것은 또 다른 끝없는 비용의 구덩이입니다. AI의 미래는 누가 최고의 알고리즘을 가지고 있는지에 따라 결정되는 것이 아니라 강력한 AI 모델을 구축하는 방법을 알아내는 사람에 따라 결정될 것입니다. 없이 서버 비용으로 국가 GDP를 태워버리고 있습니다. 그리고 바로 거기서 큰 변화가 일어나고 있습니다.

엔지니어들은 모델의 크기를 끝없이 키우는 대신, 이런 시스템이 실제로 어떻게 작동하는지 점점 더 똑똑해지고 있습니다.

 입력하다 전문가들의 혼합 모델. 

전문가 패널을 구성한다고 상상해보세요. 하지만 모든 전문가가 모든 질문에 대해 작업하게 하는 대신 해당 작업에 가장 적합한 전문가만 활성화합니다. 바로 이런 방식으로 이러한 새로운 모델이 작동합니다. 거대한 신경망이 모든 요청을 전력으로 처리하는 대신, 주어진 시간에 몇몇 "전문가" 하위 모델만 활성화됩니다. 그 결과? 지능을 희생하지 않고도 계산과 에너지 소비를 모두 줄여 효율성을 크게 향상시킵니다.

이것은 단지 이론적인 것이 아닙니다.

 중국에서 나온 가장 최근의 AI 모델 중 일부는 이 방법이 실제 응용 프로그램에서 작동한다는 것을 증명하고 있습니다. 계산이 할당되는 방식을 미세 조정함으로써 최고의 서양 모델과 맞먹는 성능을 얻고 있지만 비용은 훨씬 적습니다.

저수준 최적화 혁신

이제 다음의 큰 변화에 대해 알아보겠습니다. 저수준 최적화.

 대부분의 AI 회사는 NVIDIA가 개발한 CUDA와 같은 기존 소프트웨어 프레임워크에 의존하여 모델을 훈련합니다. 하지만 이러한 프레임워크는 최고의 효율성을 위해 설계된 것이 아니라 일반적인 사용성을 위해 구축되었습니다. 지금 당장 진정한 돌파구를 마련하고 있는 회사는 다음과 같습니다. 리엔지니어링 AI가 하드웨어를 활용하는 방식. 

그들은 그저 GPU를 사용하는 것이 아니라, GPU에서 마지막 한 방울의 성능까지 짜내고 GPU 프로그래밍 규칙을 다시 작성하여 계산을 더 빠르고, 간결하고, 훨씬 저렴하게 만들었습니다.

컴퓨팅 파워 경쟁

하드웨어에 있어서는 크기가 중요합니다.

 AI에서 가장 큰 플레이어 중 일부는 방대한 컴퓨팅 클러스터를 운영하는데, 본질적으로 수만 개의 GPU로 채워진 거대한 서버 팜입니다. 맥락을 위해 Meta는 60,000~100,000개의 H100과 동등한 GPU로 구성된 훈련 클러스터를 보유하고 있습니다. 중국의 최신 AI 모델은 약 50,000개의 GPU로 구성된 클러스터에서 훈련을 받고 있습니다. 이는 세계 최고의 모델과 맞먹을 만큼 충분한 화력입니다. 

이러한 투자의 엄청난 규모는 AI가 더 이상 단순한 기술 산업의 군비 경쟁이 아니라 국가적 우선순위임을 보여줍니다.

AI의 지정학적 체스판

물론 AI 환경은 누가 가장 빠르게 모델을 훈련할 수 있는가에 관한 것만이 아닙니다. 실제로 얻는다 필요한 하드웨어. 그리고 지정학이 그림에 충돌하는 부분입니다. 

미국은 고급 AI 칩에 대한 수출 통제를 점점 더 엄격하게 시행하여 중국으로의 판매를 제한했습니다. NVIDIA는 중국 시장을 위해 GPU의 축소 버전을 만들어 대응했습니다. 

이는 중국 AI 회사가 여전히 방대한 모델을 훈련할 수 있지만 약간 덜 강력한 하드웨어로 그렇게 해야 한다는 것을 의미합니다. 하지만 흥미로운 점은 이러한 제한으로 인해 중국의 AI 회사가 동등한 더 효율적입니다. 무한한 컴퓨팅으로 정상에 오르기 위해 무차별 대입을 하는 대신, 혁신을 강요받고 있습니다. 

그들은 소프트웨어를 최적화하고, 아키텍처를 재고하고, 서양 기업들이 아직 고려하지도 않은 성능 향상을 이끌어낼 방법을 찾고 있습니다. 아이러니하게도 제약 때문에 그들은 더 강력한 경쟁자가 되고 있습니다.

우리는 AGI에 접근하고 있는가?

그리고 모든 것을 뒤덮는 큰 그림의 질문이 있습니다. 우리는 인공 일반 지능(AGI)에 얼마나 가까워졌을까요? 

어떤 사람들은 오늘날의 모델이 이미 그것의 일면을 보여주고 있다고 주장합니다. 현대 AI가 추론, 문제 해결, 창의성 등 여러 작업에 적응할 수 있는 능력은 우리가 사람들이 생각하는 것보다 AGI로 가는 길에서 더 멀리 왔을 수도 있음을 시사합니다. 

그리고 중국의 제조 능력으로, 중국은 진보를 가속화할 수 있는 독특한 위치에 있습니다. 미국과 유럽이 AI 소프트웨어를 지배하는 반면, 중국은 AI 하드웨어의 중추입니다. 중국은 세계 반도체 공급망의 거대한 덩어리를 통제하여, AI 시스템을 대규모로 훈련하고 배포하는 데 필요한 칩을 대량 생산하는 데 있어 우위를 점하고 있습니다.

대만: AI 우주의 중심

이는 전 세계 AI 경쟁의 숨은 영웅인 대만으로 우리를 이끕니다. 대만 반도체 제조 회사(TSMC)는 세계에서 가장 진보된 AI 칩을 생산합니다. OpenAI의 GPT, Google의 Gemini 또는 중국의 최신 딥 러닝 시스템이든 거의 모든 AI 모델은 TSMC에서 만든 칩에 의존합니다.

 TSMC의 공급망이 중단된다면 그 파장은 전 세계적으로 느껴질 것입니다. 모든 산업, 스마트폰에서 슈퍼컴퓨터까지. AI는 더 이상 획기적인 코딩에 관한 것이 아닙니다. 글로벌 공급망, 전략적 제휴, 지정학적 안정성에 관한 것입니다.

AI의 미래: 효율성이 승리합니다

그러면 이 모든 것이 우리에게 어떤 영향을 미칠까? 

AI는 "누가 가장 큰 모델을 가지고 있는가"라는 무차별 경쟁에서 효율성, 하드웨어 마스터리, 지정학적 위치의 훨씬 더 전략적인 게임으로 전환되고 있습니다. AI를 효율적으로 최적화, 확장 및 배포하는 방법을 알아내는 회사(및 국가)가 미래를 지배하게 될 것입니다. 그리고 이러한 변화에 주의를 기울이지 않는다면 AI가 향하는 진짜 이야기를 놓치고 있는 것입니다.

이는 화려한 데모나 기록을 깨는 벤치마크 점수만을 의미하지 않습니다.

 그것은 누구에 관한 것입니다 실제로 장기적으로 AI 경쟁에서 승리하는 사람은 강력할 뿐만 아니라 실용적이고 확장 가능하며 지속 가능한 모델을 구축하는 사람입니다. 그리고 그 경쟁은? 날이 갈수록 더욱 흥미로워지고 있습니다.