생각을 정리하는 마인드맵, 풀맵 →

원본 릴스 보기

릴스 해설

1조 토큰 시대, Transformer 다음은 푸리에

한 줄 요약: 1조 개에 달하는 변수가 얽힌 물리 데이터는 Transformer 구조로는 감당하기 어렵고, 캘텍 Anima Anandkumar 교수의 답은 데이터를 토큰으로 끊지 않고 연속 함수로 다루는 Neural Operator, 즉 푸리에 변환 기반의 새 아키텍처예요.

천재들의 학교에서 온 사람

romaan.mag가 올린 릴스예요. 천재들의 학교라 불리는 캘텍(Caltech) 컴퓨터공학 교수 Anima Anandkumar의 이야기를 10개 포인트로 정리한 구성이에요. NVIDIA에서 머신러닝 연구를 총괄했고, 그 전에는 Amazon에서 일했어요. 세상이 AGI와 월드 모델로 떠들썩할 때, 다른 관점인 AI for Science(과학 문제를 AI로 푸는 분야)를 이끌고 있는 인물이죠.

커버 문구가 이 릴스의 핵심 주장을 요약해요. “1조 토큰 시대, Transformer의 한계는 필연적이다.” 무엇이 한계인지, 그리고 그녀가 내놓은 답이 무엇인지 순서대로 풀어 보겠어요.

1조 토큰에 터지는 Transformer

먼저 문제의 출발점이에요. 언어도 이미지도 영상도 “토큰”이라는 조각으로 끊어 읽을 수 있는 데이터예요. 조각과 조각 사이는 진정으로 연속적이지 않죠. 그런데 현실 세계는 3차원 공간에 시간 축까지 더한 4차원이며, 시공간은 본질적으로 연속적이에요. 물리 데이터는 토큰화와 성질이 어긋나는 셈이에요.

크기 문제는 더 심각해요. 그녀는 3D 공간에 시간 축까지 더해 1,000개 격자만 생각해도 모델이 마주해야 할 변수가 순식간에 수천억에서 1조 개로 불어난다고 지적해요. Transformer의 어텐션(attention, 모든 조각이 서로를 바라보는 연산)은 조각 수가 늘 때마다 연산량이 제곱으로 늘어나고, 애초에 입력 크기도 고정돼 있어요. 사람으로 치면, 손님이 한 명 늘어날 때마다 기존 손님 전원과 새로 악수해야 하는 파티장과 같아요. 손님 수가 늘수록 전체 악수 횟수는 제곱으로 불어나고, 좌석 수(컨텍스트 길이)도 정해져 있죠. 컨텍스트가 길어지면 단어집(KV 캐시)도 함께 두꺼워지니, 1조 토큰 앞에서는 터질 수밖에 없다는 게 릴스의 진단이에요.

함수를 다루는 모델

그녀의 답은 Neural Operator예요. 슬라이드에는 2021년 그녀가 NVIDIA·캘텍·케임브리지 연구진과 함께 낸 논문 “Neural Operator: Learning Maps Between Function Spaces With Applications to PDEs” 표지가 실려 있어요. 연산자(operator)란 함수를 받아 함수를 내놓는 도구를 뜻해요. 텍스트를 받아 다음 토큰을 내놓는 Transformer와 달리, 파도 같은 데이터를 받아 파도 같은 답을 내놓는 구조예요.

물리 방정식을 신경망의 손실 함수에 심어 놓고 정답이 나오길 기다리는 접근법도 있는데, 이를 PINN(Physics-Informed Neural Network)이라고 불러요. PINN은 느린 것 자체가 문제가 아니에요. 유체의 흐름처럼 시간이 지날수록 예측이 불가능해지는 카오스 문제에서는, 아주 미세한 오차도 전체 결과를 뒤집어 놓기 때문이죠. 그래서 그녀는 물리 방정식에만 얽매이지 말고 세상에 존재하는 데이터를 전부 활용하자는 발상으로 Neural Operator를 만들었어요.

데이터 먼저, 물리 법칙은 가이드라인

Neural Operator의 사용 순서도 특징적이에요. 먼저 다양한 조건의 방정식 해법을 데이터로 충분히 학습해 둬요. 실전 문제를 만나면 정답을 빠르게 꺼내 쓰고, 그다음에 물리 법칙의 제약을 더해요. 법칙은 결과를 검증하는 가이드라인 역할을 하죠. 튼튼한 데이터와 가이드라인이 맞물려, 낯선 문제 앞에서도 정답을 낼 확률이 훨씬 높아진다는 논리예요.

입력과 출력의 크기를 미리 고정하지 않는 점도 물리 데이터에 맞춰진 설계예요. 언어 모델은 어휘 수가, 이미지 모델은 해상도가 정해져 있지만, 실제 세계는 거시와 미시가 섞인 다중 스케일이며, 무한한 해상도 위에서 움직인다고 봐야 해요. Neural Operator는 픽셀처럼 끊긴 값이 아니라 끊김 없이 이어지는 연속 함수로 세상을 다루기 때문에, 학습 때보다 높은 해상도로 추론을 돌리는 것도 가능하다고 그녀는 설명해요. 고해상도 추론에서 성능이 살짝 떨어져도 물리 제약을 반영해 주면 회복된다는 게 그녀의 경험담이에요.

Transformer에서 Fourier로

핵심 기술은 이름에도 나온 푸리에 변환(Fourier Transform)예요. 복잡하게 섞인 파도를 단순한 음표(주파수)들의 목록으로 바꿔 읽는 도구라고 생각하면 돼요. 이 방식을 택한 이유는 두 가지예요. 첫째, 자연 현상에는 특정 지역만 보아서는 답이 나오지 않는 비국소(non-local) 문제가 많은데, 푸리에 공간에서는 이런 전역적 관계를 가볍게 다룰 수 있어요. 둘째, Transformer로 고해상도 물리 데이터를 다루면 연산량이 기하급수적으로 폭발하지만, 푸리에 방식은 연산량 증가가 완만한 편이라 데이터가 커져도 전역 연결(Global connections)을 유지해요. 성능과 효율을 다 잡은 중간 지점이라는 평가죠.

Transformer의 어텐션과 Fourier 접근의 연결 수 비교 왼쪽은 데이터 조각들이 서로 전부 직접 연결되어 조각이 늘수록 연결 수가 제곱으로 늘어나고, 오른쪽은 조각들이 푸리에 공간을 한 번 거쳐 연결되어 증가가 완만하다. 어텐션 · 모두가 직접 악수 조각 2배 → 연결 수 4배 (제곱 폭발) Fourier · 주파수 공간 경유 푸리에 공간 조각 2배 → 연결 증가 완만 · 전역 연결 유지

극한 현상을 잡아낸 사례

이 구조가 통한 실제 사례 두 개를 소개해요. 하나는 AI 날씨 모델이에요. 첫 모델이 물리적으로 그럴듯한 결과를 냈고, 허리케인 같은 파괴적인 극단적 기상 현상도 관측 데이터가 적어 AI가 잡아내기 어려울 거라 예상했지만, 예상을 뛰어넘어 잘 잡아냈다고 해요. 핵융합 토카막의 플라스마 제어도 소개되는데, 학습에 쓴 샘플은 겨우 수천 개였지만 플라스마가 무너지는 극한 상황을 정확하게 예측했다고 해요. 속도 배수는 슬라이드에는 전통 시뮬레이션보다 100만 배라고 적혀 있고, 계정 캡션은 수만 배로 표현했어요. 사례와 비교 대상에 따라 배수는 달라지지만, 관련 논문(Nuclear Fusion, 2024)이 실제로 출간된 만큼 “압도적으로 빠르다”는 방향 자체는 맞아요.

흥미로운 해석도 덧붙이는데요. 데이터가 적은데도 성공한 건, 물리 세계가 생각보다 단순한 규칙으로 움직인다는 증거라는 거예요. 그래서 그녀의 결론은 두 가지예요. 데이터에 앞서 아키텍처와 알고리즘, 손실 함수를 훨씬 더 깊고 신중하게 설계하는 기초 작업으로 돌아갈 것. 그리고 작고 확실한 모델을 먼저 만들어 체계적으로 조합해 나가는 것이 AI로 과학을 정복하는 유일한 길이라는 것이에요.

어떻게 연결되나

릴스의 마지막 포인트는 이래요. 과학을 해결하는 AI를 언어 모델 에이전트만으로 한정해서 생각하지 말라는 거예요. 유용한 도구임은 분명하지만, 그것만으로는 물리 세계의 본질을 꿰뚫기 어렵고, AI가 직접 입체적으로 시뮬레이션하고 능동적으로 설계하는 시대가 필요하다는 얘기죠. 그녀는 최근 물리 AI 스타트업 Accelerated Understanding까지 창업했어요. 로이터 보도에 따르면 한 프롬프트에 5조 개 데이터를 처리하는 모델을 내세우고 있죠. Tri Dao의 Mamba, 얀 르쿤의 JEPA와 더불어, “Transformer 다음”을 찾는 흐름이 이미 여러 갈래로 흐르고 있는 셈이에요. 모두가 언어 모델을 외칠 때 현실 물리 세계를 향해 다른 아키텍처를 파고드는 사람이 있다는 것, 그게 이 릴스가 전하는 그림이에요.

출처