생각을 정리하는 마인드맵, 풀맵 →

원본 릴스 보기

릴스 해설

'인간이 만드는 마지막 AI' 논문이란

한 줄 요약: 중국 대학과 기업 컨소시엄이 공개한 75페이지 논문은 AI가 스스로를 개선하는 재귀적 자기 개선(RSI)을 다섯 단계 자율성 로드맵으로 정리하고, 인간 데이터로 얻을 신호가 소진되는 기존 모델의 한계를 HCI 지표로 진단해요.

edutrend_ 님 릴스에 “실리콘밸리가 ’멈추자’고 한 날, 중국이 75페이지 논문을 공개합니다”라는 제목으로 논문 ‘The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement’(인간이 만드는 마지막 AI)가 소개됐어요. 이 논문은 실재해요. 2026년 9월 10일 arXiv에 등록됐고, 상하이교통대를 비롯해 칭화대, 바이트댄스, 모델베스트, 샤오홍슈, 상하이AI연구소 등 9개 기관·연구실 소속 저자 33명의 이름이 올라 있어요. 새 모델을 공개한 논문이 아니라 AI 연구의 다음 방향을 정리한 총론 성격의 글이에요.

타임라인 팩트 체크

릴스 제목의 배경부터 확인하면 이래요.

  • 9월 10일(목): 논문 arXiv 공개
  • 주말(9월 12~13일): 앤트로픽 CEO 다리오 아모데이가 개발 속도 조절을 촉구하는 3,800자 에세이를 게시했고 뉴욕타임스가 보도했어요
  • 9월 13~14일: 오픈AI의 샘 앨터먼과 일론 머스크가 동참 의사를 밝힘
  • 9월 14일: 사우스차이나모닝포스트(SCMP)가 이 논문을 보도

즉 개발 속도를 늦추자는 목소리와 자기 개선 AI 로드맵이 같은 며칠 안에 겹친 건 사실이지만, 순서는 논문 공개가 먼저고 아모데이의 촉구가 그 주말에 이어졌어요. “바로 그날”은 릴스식 압축이에요. 배경에는 프론티어 랩의 연구자 사임과 AI 에이전트 관련 보안 사고들이 이어지면서, 업계 스스로 속도를 조절해야 한다는 분위기가 먼저 형성된 흐름이 있어요.

RSI란 무엇인가

재귀적 자기 개선(Recursive Self-Improvement, RSI)은 AI가 경험과 피드백을 지속되는 변화로 바꿔서, 능력과 함께 앞으로의 개선 과정 자체까지 좋아지게 만드는 것을 말해요. 논문은 이 개선 고리를 식 S(t+1) = Improve(S(t), E(t))로 표현하는데, 개선할 시스템의 상태, 개선자, 전략, 검증자, 상속 메커니즘 다섯 요소로 이루어져요. 핵심 구분은 하나예요. 과제 점수가 올랐다는 것과 개선하는 법이 좋아졌다는 것은 다른 문제예요. 점수가 올라도 그 향상이 다음 세대로 이어지지 않으면 논문 기준으로는 진짜 RSI가 아니에요.

다섯 단계 자율성 사다리

논문의 핵심 기여는 자기 개선 고리에서 AI가 얼마나 많은 결정을 스스로 내리는지를 다섯 단계로 나눈 것이에요.

  • L1 개선 실행: 인간이 정의한 개선 절차를 그대로 수행한다. 예는 자동 데이터 정제 파이프라인.
  • L2 개선 전략: 자기 약점을 진단하고 어떤 개선 방법을 쓸지 스스로 고른다.
  • L3 경험 획득: 어떤 데이터와 상호작용을 얻어올지 스스로 결정한다. 셀프플레이가 예시.
  • L4 환경 적응: 배포 현장에서 어떤 경험을 장기 기억으로 남길지 결정한다.
  • L5 재귀적 메타 개선: 개선자, 탐색 알고리즘, 평가자 같은 개선 메커니즘 자체를 수정한다. 사다리의 정상이에요.

한 사람의 자기 계발로 그려보면 차이가 선명해져요. L1은 지시받은 훈련만 하는 수련생이고, L2는 자기 약점을 진단해 훈련법을 고르는 사람이에요. L3는 스스로 배움터를 찾아다니는 사람, L4는 현장 경험을 오래 남는 노트로 정리하는 사람, L5는 자기 학습법 자체를 뜯어고치는 사람이에요. 층마다 권한의 범위가 달라진다는 점이 핵심이에요.

논문이 밝힌 냉정한 결론

열정적인 로드맵만은 아니에요. 보도된 내용을 정리하면 세 가지 냉정한 결론이 나와요. 첫째, 지금의 시스템은 개선 과정의 조각들만 자동화했을 뿐, 세대를 이어 완성되는 자기 개선 고리를 보여준 사례는 아직 없어요. 둘째, 벤치마크 점수 상승은 RSI가 아니에요. 개선이 상속되고 다음 개선을 좋아지게 해야 해요. 셋째, 자율성이 커진다고 시스템이 나아지는 것도 아니라는 점. 이 마지막 결론이 특히 흥미로운 부분이에요.

가장 먼저 열릴 분야

논문은 분야마다 속도가 다르다고 봐요. 소프트웨어 엔지니어링이 가장 유리한데, 코드는 실행해 볼 수 있고 단위 테스트라는 객관적 검증자가 있기 때문이에요. 과학 연구는 피드백이 드물고 비싸고, 로봇 같은 구체화된 지능은 시뮬레이션과 현실의 격차, 의료는 규제와 긴 결과 대기 시간이 걸림돌이에요. 산업 사례도 인용돼요. 모델베스트의 포지(Forge) 엔지니어링 에이전트는 커널 최적화에서 인간 기준선 대비 1.15~1.9배 속도를 냈고, 휴먼라야의 이중 루프 품질 시스템은 데이터 결함률을 네 번의 사이클에 걸쳐 9.0%에서 3.7%로 낮췄다고 해요.

HCI는 어떤 지표인가

HCI(Headroom-Closed Index)는 기존 LLM의 한계를 드러내는 데 쓴 지표예요. 보도를 종합하면 논문은 이 지표로 ’인간이 만든 텍스트에서 뽑을 수 있는 유용한 신호는 유한하고 상당 부분 소진됐다’는 주장을 수치로 보여줬어요. 요컨대 인간이 쓴 데이터를 계속 먹이는 스케일링 방식으로는 무한히 똑똑해질 수 없다는 진단이에요. 이 진단이 나오면 다음 연료는 자연스럽게 ‘AI가 스스로 만드는 경험’ 쪽으로 옮겨가고, 그래서 RSI가 다음 단계의 핵심 과제가 된다는 논리예요.

안전장치는 무엇인가

논문은 진짜 RSI에 도달하려면 무엇이 갖춰져야 하는지도 정리해요. 보상 해킹에 굴하지 않는 보호된 검증, 롤백할 수 있는 상속 메커니즘, 자율성 기여를 측정하는 지표, 여러 개선 세대에 걸친 장기 평가예요. 같은 주에 아모데이가 제3자 평가와 속도 조절을 제안한 것도 결국 같은 문제, 즉 누가 어떤 속도로 개선을 검증할 것인가에 대한 답을 찾는 과정이라고 볼 수 있어요.

어떻게 연결되나

’인간이 만드는 마지막 AI’라는 제목의 의미를 정리하면 이래요. 개선을 개선하는 AI가 실제로 완성되면, 인간 엔지니어가 직접 만드는 마지막 세대의 모델이 후계자를 만드는 셈이에요. 논문의 요약문은 “인류의 진화처럼 AI의 진화도 방대한 역사로 펼쳐질 것이며, 지금까지 AI가 이룬 모든 것은 바다의 물방울 하나일 뿐”이라고 맺어요. 속도를 늦추자는 목소리와 자기 개선 로드맵이 같은 주에 나온 건 우연이 아니라, 같은 문제를 향한 두 가지 답이에요.

이 글의 출처