[릴스 해설] "여기"를 알아듣는 그림판 AI
한 줄 요약: “여기에 노란 원 그려줘”라고 말하고 손가락만 짚었더니, AI 판단 모델 Jev가 말뜻·손가락 좌표·캔버스 상태를 437ms 만에 하나의 명령으로 묶어 그림판에 원을 그린 데모예요. 프롬프트도, 마우스도 없이요.
최피티(choi.gpt.ai) 님 릴스예요. 화이트보드 캔버스 앞에서 “try yellow circle here”(여기에 노란 원을 그려 봐)라고 말하고 손가락을 핀치, 즉 꾹 짚자 화면에 노란 원이 생겨요. 화면 하단에는 입력 판단 결과가 세 칸으로 표시돼요. 무엇이 들어갔고, 무엇이 결정됐고, 어떤 명령이 실행됐는지요. 이 흐름을 하나씩 풀어 보겠어요.
“여기”가 어려운 이유
“여기에 그려줘”의 ’여기’는 좌표가 없는 말이에요. 이런 말을 지시어라고 불러요. ‘이것’, ‘저기’, ’그거’처럼, 뜻이 문장 안에 없고 상황 밖에 있어야 완성되는 단어죠. 채팅창에만 의존하는 프로그램에게 ’여기’는 풀 수 없는 문제예요. 화면 어디를 가리켰는지 정보가 아예 없으니까요.
이 데모는 그 빈칸을 손가락으로 채워요. 화면에는 손가락 입력이 “pinch, steady · 433px”로 표시돼요. 꾹 짚었고(pin), 떨리지 않았고(steady), 짚은 지점이 433px라는 뜻이에요. ’여기’라는 말이 손가락 좌표를 만나는 순간, 모호한 말이 정확한 위치가 돼요.
입력은 세 가지: 말·손가락·캔버스
판단 결과 왼쪽 칸(INPUTS)을 보면 입력이 세 줄로 정리돼 있어요. 첫째, 말의 전사(음성을 글자로 바꾼 것)인 “try yellow circle here”. 둘째, 방금 본 손가락 핀치 좌표. 셋째, “canvas: 1 shape as text”, 즉 캔버스에 지금 있는 모양을 텍스트로 요약해 함께 넣었다는 표시예요.
세 번째 입력이 은근히 중요해요. ’새로 만들어’인지 ’있는 걸 옮겨’인지는 화면에 뭐가 있는지 알아야 판단할 수 있으니까요. 사람으로 치면, 대화 내용과 손짓만 보고 일을 시키는 게 아니라 작업대 위에 뭐가 놓여 있는지도 한눈에 보고 시작하는 셈이에요.
Jev는 답을 ‘쓰지 않고’ 고른다
가운데 칸(JEV)이 이 데모의 두뇌예요. Jev는 TypeSafe의 판단 모델로, 글을 쓰는 대신 정해진 질문에 확률이 붙은 답을 내놓는 데 특화된 모델이에요. 이번 요청에서는 질문 일곱 개를 한 번에 던졌다고 표시돼 있고(1 pointing word · 7 questions), 437ms 만에 답이 돌아왔어요.
눈에 보이는 답은 세 개예요. action: create(99%)는 그린다는 판단, where: point(96%)는 손가락 지점에 한다는 판단, target: none(100%)은 건드릴 기존 대상이 없다는 판단이에요. 질문이 ’무엇을 할까’와 ’어디에 할까’로 쪼개져 있어서, 각 판단이 서로 간섭 없이 확률로 나오는 거예요. 생성형 모델이라면 문장으로 대답했다가 좌표를 지어내는 수가 있지만, 이 방식은 선택지와 확률이 먼저라 그럴 일이 적어요.
마지막 조각: editor.createShape
오른쪽 칸(CANVAS)은 실행 결과예요. did: created yellow ellipse, 좌표 (756, 177), api: editor.createShape. 판단이 끝나면 자연어가 남지 않고, 캔버스 앱의 실제 함수 하나가 호출돼요. ’노란 원을 여기에 그려줘’라는 말이 노란 타원을 (756, 177)에 그리는 명령으로 바뀐 거죠.
재미있는 건 기록이 ’원(circle)’이 아니라 ’타원(ellipse)’이라는 점이에요. 원도 타원의 한 종류로 묶어 처리한 셈인데, 이런 정리도 전부 판단 결과에 기록돼요. 이 패턴의 이름을 붙이자면 함수 호출이에요. 자연어 요청을 미리 정의된 함수와 인자로 바꾸는 방식이고, TypeSafe 문서도 이걸 공식 레시피로 안내해요. 확률이 애매하게 나오면 실행을 멈추고 사람에게 물어보는 규칙을 붙일 수도 있어서, 잘못 그리는 일을 줄일 수 있죠.
어떻게 연결되는가
이 데모가 가리키는 건 인터페이스의 축이에요. 지금까지는 키보드·마우스든 챗봇이든, 사람이 기계의 문법으로 말을 해야 했어요. 말의 뜻과 손의 위치를 같은 판단으로 묶는 순간, ’여기’처럼 상황이 필요한 말을 컴퓨터가 이해하는 게 시작돼요. 마우스와 키보드 없이 기기를 다루는 건 특히 몸을 쓰기 어려운 사용자에게 의미가 크고요. 요즘 유행하는 말로 하면, 화면을 두드리는 게 아니라 화면이 사용자를 알아보는 쪽으로 가는 거예요.
출처: