우리가 생각할 때​ 자가 회기 방식처럼 천천히 생각하는가? 몸을 움직일 때(ex. 피아노를 연주할 때) 생각 후에 행동하는가? 즉석에서 붕어빵 틀로 찍어내듯, 찰흙 덩어리를 테이블에 탁 내려놓고 세부적으로 다듬 듯, 한 번에 대략적인 작업 목표를 세우고 실행 이후 추론하면서 전체적인 틀에서 세부적인 사고로 보완해나가며 작업을 이어나간다. 이처럼 사람의 사고와 작업 진행의 유기적인 조화에 초점을 맞춰, 전체적인 답변의 골격을 먼저 생성한 후 다듬어가는 방식을 제안한다.

1. 잠재 공간 계획: 텍스트를 한 자 한 자 생성하기 전에, 저차원의 잠재 공간에서 답변의 전체적인 구조를 디퓨전 모델을 통해 생성한다.​

2. 반복적 정제:

노이즈 상태의 '거친 생각'에서 시작해, 반복적으로 노이즈를 제거하며 작업을 시작, 이 후 작업 중간 중간마다 해당 소규모 작업에서 디퓨전 모델을 통해 만든 저차원적인 답을 자가 회기 방식을 통해 고차원적인 답변으로 구체화한다. 이를 통해 연산량은 줄이면서 정확도를 확보한다.

3. 기대 효과 및 차별점

​비결정적 유연성: 한 단계씩 고정된 답을 내는 게 아니라, 전체적인 분포에서 최적의 길을 찾으므로 훨씬 인간의 사고와 유사한 유연성을 가진다.

연산 효율화: 생각의 뼈대를 잡을 때는 가벼운 디퓨전 모델을 쓰고, 마지막 디테일만 LLM이 다듬게 하여 전체적인 컴퓨팅 자원(KV 캐시 점유 등)을 획기적으로 낮출 수 있다.

실시간 수정 가능: 생성 과정 중간에 사용자의 피드백이나 추가 정보를 주입하기가 기존 방식보다 훨씬 용이하다.​​

후담으로 필자는 인간의 사고가 시각과도 매우 밀접하다고 주장하고싶다. 이는 논리적인 작업이 아니라, 신체를 움직여 활동하는 작업, 더 나아가 우리가 이 세계를 이해하는 데에 있어서 보통의 인간이라면 '중력'이라는 단어를 떠올릴 때 텍스트적인 개념의 이해('질량을 가진 물체에 대해 더 큰 질량을 가진 물체가 있을 경우 질량이 상대적으로 적은 물체는 자신보다 질량이 더 큰 물체로 다가간다.')가 아닌, 사과가 땅으로 떨어지는 이미지적인 사고로 스스로의 움직임과 섭리를 이해할 것이다. 또한 인간은 추상적인 개념을 다루는 것보다 시각적으로 직관적인 개념을 더 잘 받아들인다. 따라서 시각과 언어모델을 동시 학습한 vlm 또는 경제적인 llm 위에 vision 기능을 추가한 복합 모델보다, vision적인 학습을 먼저한 후 텍스트학습과 vision 학습을 병행하는 것이 종국에는 가장 고차원적이며 고지능적인, 동시에 컴퓨팅 자원을 덜 소모하는 완성형 인공지능에 다가가는 핵심 키가 될 것이다.