Melhores práticas para DeepRAG e Transformação em lote: JIT versus estratégias baseadas em índices

Escolha da sua abordagem de acesso a dados: JIT versus estratégias baseadas em índices

Ao configurar como seu agente acessa e raciocina sobre os dados, escolha a abordagem que melhor corresponda à estrutura dos seus dados, ao ciclo de vida e aos requisitos de desempenho.

Há dois padrões principais:

• Ferramentas just-in-time (JIT) que processam arquivos passados no runtime.
• Contextualização baseada em índice que consulta um índice pré-criado e persistente.

O DeepRAG (JIT) e o DeepRAG (estratégia de busca por índice) usam a mesma capacidade de síntese subjacente. A diferença está em como os documentos alcançam o mecanismo:

• JIT: os arquivos são fornecidos no runtime.
• Baseada em índice: os documentos são pré-ingeridos em um índice persistente.

A Transformação em lote é diferente. Ela realiza transformações estruturadas no nível da linha em dados tabulares.Não realiza recuperação do documento ou síntese de formato longo.

Referência rápida

Recursos	DeepRAG (ferramenta JIT)	Transformação em lote (ferramenta JIT)	Pesquisa semântica (índice)	DeepRAG (estratégia de busca por índice)
Configuração necessária	Nenhum	Nenhum	Índice + ingestão	Índice + ingestão
Input format	PDF ou TXT	CSV	Documentos pré-indexados	Documentos pré-indexados (PDF/TXT)
Alterações de dados por execução	Sim (ideal)	Sim (ideal)	Não (corpus estável)	Não (corpus estável)
Tipo de saída	Síntese abrangente com citações 1	Arquivo CSV enriquecido	Fragmentos relevantes	Síntese abrangente com citações
Velocidade	Minutos (mais de 30 para cerca de 1.000 páginas)	Minutos	Instantâneo	Minutos (mais de 30 para cerca de 1.000 páginas)
Melhor para	Análise de documentos por execução	Processamento de dados estruturados por execução	Pesquisa rápida de fatos	Pesquisa profunda em grandes corpora

¹ Entradas TXT atualmente não são compatíveis com citações.

Ferramentas JIT: o padrão recomendo

Para a maioria das implementações de agentes, as ferramentas JIT são o ponto de partida certo.

Elas não exigem configuração de índice, fluxo de trabalho de ingestão ou configuração de armazenamento. Os arquivos são passados diretamente para o agente quando ele é executado, e a ferramenta lida com o processamento automaticamente. Isso torna o JIT especialmente adequado para casos de uso em que o conjunto de documentos é alterado em cada invocação.

Duas ferramentas JIT estão disponíveis: DeepRAG (JIT) e Transformação em lote.

DeepRAG (ferramenta JIT)

Use o DeepRAG (JIT) quando seu agente precisar ler e raciocinar sobre arquivos PDF ou TXT fornecidos em runtime e produzir uma resposta sintetizada e fundamentada.

O algoritmo DeepRAG realiza um processo de pesquisa estruturado e em várias etapas. Ele planeja subtarefas, itera pelos documentos fornecidos e sintetiza as descobertas em uma saída abrangente. Para entradas de PDF, as respostas incluem citações. (Entradas TXT atualmente não são compatíveis com citações.)

Essa abordagem funciona melhor quando cada execução processa um conjunto de documentos diferente, como arquivos de clientes, contratos, registros de casos ou relatórios que variam de acordo com a invocação. Ela prioriza a integridade e a rastreabilidade em relação à velocidade e normalmente é concluída em minutos, dependendo do tamanho do documento.

Transformação em lote (ferramenta JIT)

A Transformação em lote é destinada para o processamento de dados estruturados. Ela opera em arquivos CSV fornecidos em runtime e aplica lógica consistente a cada linha.

Em vez de sintetizar documentos, a Transformação em lote enriquece os dados. Ela processes registros de forma independente e gera um arquivo CSV atualizado que pode incluir novas colunas, classificações, pontuações ou outros valores derivados.

Isso a torna apropriada para rotulagem, atribuição de pontuação, enriquecimento e transformações baseadas em regras em conjuntos de dados estruturados.

Contextualização baseada em índices

A Contextualização baseada em índice requer que os documentos sejam ingeridos em um índice de contextualização antes que o agente seja executado. Embora essa configuração necessite de ajustes adicionais, ela se torna valiosa ao trabalhar com um corpus grande e estável que é reutilizado em muitas execuções de agentes.

Os exemplos típicos incluem bibliotecas de políticas, bases de conhecimento, repositórios regulatórios ou coleções de documentações de longa duração compartilhadas por vários usuários ou processos.

Ao configurar um agente baseado em índice, você seleciona uma estratégia de pesquisa.

Pesquisa semântica

Pesquisa semântica é a estratégia de índice padrão. Ela realiza recuperação rápida e leve e retorna os trechos de documentos mais relevantes.

Essa estratégia é apropriada quando o agente precisa procurar fatos específicos ou extrair informações direcionadas rapidamente. Funciona bem para padrões de pergunta e reposta e consultas repetidas em um repositório compartilhado em que a velocidade é importante.

DeepRAG (estratégia de busca por índice)

O DeepRAG também pode operar sobre um índice. Nesse modo, ele analisa e conecta informações em vários documentos e produz uma resposta abrangente e baseada em citações.

Em comparação com a Pesquisa semântica, essa abordagem é mais lenta e consome mais AI Units, mas é compatível com tarefas de pesquisa mais profundas. É adequada para cenários que exigem análises minuciosas em centenas de páginas, como revisão de contratos, avaliação regulatória ou síntese de registro médico dentro de um corpus estável.

Como decidir

Use as orientações a seguir para selecionar a abordagem correta:

• Use o DeepRAG (JIT) quando os documentos mudarem a cada execução e você precisar de síntese com citações de arquivos em runtime.
• Use a Transformação em lote (JIT) ao processar dados CSV estruturados linha por linha.
• Use a Pesquisa semântica (índice) ao consultar um corpus compartilhado e estável para recuperação rápida e direcionada.
• Use o DeepRAG (estratégia de índice) ao realizar pesquisas profundas em um grande corpus indexado e quando respostas abrangentes e baseadas em citações forem necessárias.

Quando estiver em dúvida, comece com as ferramentas JIT. Passe para as estratégias baseadas em índices apenas quando precisar de documentos compartilhados e persistentes em várias execuções de agente.