Os dois métodos partem do mesmo documento longo. A diferença está na ordem das etapas: no early chunking (à esquerda) o texto é dividido em chunks e só depois cada pedaço é embedado. No late chunking (à direita) o documento inteiro é embedado primeiro e os chunks são formados depois.
No early chunking, cada chunk é processado sozinho, sem ver o resto do texto. Referências como a quem um pronome se refere, ou de qual assunto o trecho faz parte, podem se perder. Ainda assim, é uma abordagem mais simples e continua válida.
No late chunking, um modelo de embedding de contexto longo processa o documento todo e gera um embedding por token, já influenciado pelo texto inteiro. Só então os limites de chunk são aplicados, e o pooling (por exemplo, a média) reduz os tokens de cada chunk a um único vetor. O resultado tem o mesmo formato de índice do RAG tradicional: um vetor por chunk.
O ganho aparece principalmente em documentos longos, com muitas referências cruzadas, e exige um modelo capaz de processar o documento de uma só vez.
- Early chunking: dividir → embedar.
- Late chunking: embedar → agrupar por chunk.