생각을 정리하는 마인드맵, 풀맵 →

원본 릴스 보기

릴스 해설

33ms에 답하는 로컬 의사결정 모델 Laya

한 줄 요약: 오픈소스 Laya는 글을 쓰지 않고 단일 순전파 한 번으로 유형화된 답을 내놓는 421M 파라미터 의사결정 모델로, 클라우드 API를 왕복하던 System 1 결정을 로컬에서 33ms로 처리해요.

@marc.kaz의 릴스예요. 화면을 좌우로 나눠 스네이크 게임을 띄우고, 왼쪽엔 로컬 모델 LAYA, 오른쪽엔 클라우드 모델 JEV를 붙였어요. 캡션 수치를 보면 Laya는 초당 86.5회 결정에 중간 응답 9ms, Jev는 초당 3.2회에 API 왕복 317ms예요. 게임 점수는 46 대 1. 조심할 부분은 이 화면이 공식 벤치마크가 아니라 릴스 제작자의 데모 실측이라는 점이에요. 대신 Laya라는 프로젝트 자체는 실재했고, Convai Innovations가 2026년 9월 18일에 공개한 저장소는 Apache-2.0 라이선스로 발행 시점 기준 별 7천 개를 넘겼어요. 이 모델이 뭘 어떻게 줄였는지, 어디까지 정직한 주장인지 저장소 문서 기준으로 풀어 보겠어요.

System 1은 직관, System 2는 숙고

System 1은 사람이 숨쉬듯 즉답하는 직관이고, System 2는 문장을 지으며 천천히 숙고하는 작업이에요. 우리가 흔히 쓰는 LLM은 후자에 가깝게 동작해요. 답을 토큰 하나씩 이어 붙이는 자기회귀 생성 방식이라, 간단한 분류 하나를 물어도 “정답은 ○○입니다”라는 글을 다 써야 해요. 그래서 아무리 작은 모델이라도 답변 길이만큼 시간이 걸리고, 결과물이 문장이라 다시 파싱해야 하고, 틀린 말을 그럴듯하게 지어내는 환각도 따라와요.

Laya는 이 System 2 방식을 아예 쓰지 않는 선택을 했어요. 저장소 소개대로 비자기회귀(non-autoregressive) 엔진이어서, 글자를 생성하지 않고 상태(문장, 이메일, 티켓, JSON 문서)를 읽고 유형화된 질문에 대한 답을 한 번의 순전파로 꺼내요. 보자마자 OX를 누르는 사람에 가까운 거죠. 생성이 아니라 판단이라 파싱 오류도 없고, 텍스트를 지어내는 환각도 구조적으로 나올 수 없어요.

글을 쓰지 않고 답을 표시한다

Laya가 받는 질문은 세 가지 유형이에요. choice는 주어진 보기 중 하나를 고르고, score는 서열 척도에서 수준을 매기고, noul은 참일 확률을 0.0부터 1.0까지 계산해요. 예를 들어 고객 이메일 하나에 “어느 부서가 처리할까(billing·technical·sales·other)”, “얼마나 급하다”, “해지하겠다고 협박했나” 같은 질문 여러 개를 한 번에 던지면, 모델은 한 번의 계산으로 전부 답해요. 정확도 수치가 아니라 신뢰도까지 함께 나오니, “신뢰도 0.85 이상이면 자동 처리, 아니면 사람에게 넘긴다”는 식의 규칙을 코드로 쓸 수 있어요.

속도가 이 설계의 보상이에요. 저장소 공식 측정은 T4 GPU 기준으로 질문 하나 32.8~39.5ms, 여러 질문을 묶으면 문제당 7.2ms까지 내려가요. 파라미터도 421M, 인코더는 ModernBERT-large라 릴스가 소개하듯 추론 메모리가 1GB 안팎이면 충분해요. 421M을 16비트로 담으면 약 842MB이니 계산이 맞는 얘기예요. 참고로 릴스 데모의 초당 86.5회, 중간값 9ms는 제작자의 애플 실리콘 환경(MLX 백엔드) 실측이고, 저장소 수치는 T4 기준이라 환경이 달라요.

신뢰도가 숫자로 믿을 만해야

이 모델의 진짜 내기는 확률의 품질이에요. Laya는 강화학습 RLCD로 학습했는데, 쉽게 말해 모델이 뽑은 확률이 실제 정답 비율에서 어긋날 때마다 벌점을 주는 방식이에요. 이렇게 훈련하면 “0.86이라고 했으면 실제로 86%쯤 맞는 수준”이 되죠. 저장소는 이 신뢰도 덕분에 코드가 신뢰도 임계값만으로 자동 분기와 사람 개입을 나눌 수 있다고 설명해요.

다만 출고 상태의 신뢰도는 과신형이에요. 문제 유형과 선택지 수마다 온도를 데이터에 맞춰 재보정하면 보정 오차(ECE, 신뢰도가 실제 정확도에서 어긋난 정도)가 0.466에서 0.081로 떨어지는데, 이 보정을 거쳐야 신뢰도를 숫자로 믿을 수 있어요. 실제로 영어 체크포인트가 캄보디아어를 읽지 못하면서도 95.2% 확신을 내놓는 실측이 저장소에 남아 있어요. 틀린데 확신하는 순간, 모델의 자신감으로는 걸러낼 방법이 없다는 뜻이죠.

세 개의 두뇌를 고르는 라우터

그래서 Laya는 체크포인트 셋을 라우터와 함께 배포해요. 영어 전용(421M, 문맥 512), 100개 이상 언어를 다루는 다국어(322M, 문맥 1,024, 2배 빠름), 유형화된 결정 워크플로에 특화된 미세조정형, 이 세 개 중에서 요청 언어와 문자를 0.5ms 안에 감지해 알맞은 것으로 보내요. 앞서 본 캄보디아어 사례가 이 설계의 이유예요. 모델이 틀린 걸 알려 주지 않으니, 계산 전에 미리 갈아타게 만드는 거예요.

Jev와 붙어본 결과

릴스의 상대였던 Jev는 TypeSafe의 System 1 결정 모델이에요. 저장소의 비교표를 정리하면 이래요. 유형화된 결정 2,000건 기준 Laya(라우팅) 0.766 대 Jev 1.13.0 공개 수치 0.727, 감정 분류는 0.595 대 0.480, 질문 하나 응답 시간은 32.8ms 대 236~276ms(독립 제3자 측정)로 약 7.8배 빨라요. 신뢰도 보정은 보정 후 기준 3배 더 좋아요. 반대로 Jev가 앞서는 곳도 정직하게 기록돼요. 선택지가 77개인 뱅킹 의도 분류에서는 Jev 0.870 대 Laya 0.425로 선택지가 많은 질문에 약하고, 정답 확률 분포를 만들어 준 큰 모델(선생님)의 답안과 얼마나 비슷하게 복원하는지 재는 지표에서도 Jev가 앞서요. 절충하면 이래요. Laya는 빠르고 자기주도적이고, Jev는 선택지가 많은 문제와 확률 분포의 질감에서 아직 앞서요.

주의할 문장이 저장소에 하나 더 있어요. “Laya는 제로샷 의사결정 엔진이 아니라 특화를 빨리 해내는 베이스다”라는 거예요. 기본 체크포인트의 제로샷 성적은 랜덤(0.318)과 무조건 제일 흔한 답을 찍는 기준(0.461) 사이인데, 0.766이라는 수치는 그 벤치마크의 학습 데이터로 미세조정한 체크포인트가 낸 거예요. 좋은 소식은 미세조정이 어렵지 않다는 점이에요. Kaggle 무료 T4 두 장으로 4~5시간이면 자기 도메인 데이터로 돌릴 수 있게 노트북을 공개해 뒀어요.

어떻게 써볼 수 있나

설치는 pip install laya 한 줄이에요. 라우터를 미리 적재해 두면 요청마다 35ms 안쪽으로 답하고, API 호출이 없으니 네트워크 왕복 비용도 없어요. 라우팅·프롬프트 방어(탈옥·주입 탐지), 콘텐츠 검열, 고객 문의 분류 같은 워크플로 프리셋도 같이 실려요. 자체 호스팅이라 비용도 0원이에요. 릴스가 말한 “cloud가 기다리는 동안 local이 결정한다”는 문장은, 자주 묻는 결정은 로컬로 몰고 모호한 것만 큰 모델로 보내는 설계를 가리켜요.

마치며

재미있는 연결고리가 하나 있어요. 이 블로그의 발행 전 검수 도구도 TypeSafe의 Jev(jev-1.13.0)를 써요. 두괄식 여부, 과장, 모순을 매회 판정해 주는 그 도구 말이에요. Laya 같은 로컬 엔진이 그 자리를 대신할 수 있을지가 앞으로의 실전 과제가 될 거예요. 정리하면 이 릴스의 진짜 주장은 “작은 모델이 큰 모델을 이겼다”가 아니라, “답을 쓰지 않고 표시만 하는 전용 모델은 시스템 1 역할에서 7배 이상 빠르고, 오픈 가중치라 기기 안에 둘 수 있다”는 것이에요. 시스템 1은 로컬에서 밀리초로, 숙고가 필요한 문제만 프론티어 모델로 보내는 협업이 앞으로의 표준 그림이 될 가능성이 있어요. 다음에 AI가 어떤 판단을 내렸다는 소식을 보면, 그 답이 쓰여진 글인지, 찍어 놓은 표시인지 한번 물어 보세요.

출처