Práticas recomendadas para DeepRAG e Batch Transform: JIT versus estratégias baseadas em índices

Escolhendo sua abordagem de acesso aos dados: JIT versus estratégias baseadas em índice

Ao configurar como seu agente acessa e raciocina sobre dados, escolha a abordagem que melhor corresponda à sua forma de dados, ciclo de vida e requisitos de desempenho.

Há dois padrões principais:

• Ferramentas just-in-time (JIT) que processam arquivos passados no runtime.
• A Contextualização baseada em índice, que consulta um índice pré-construído e persistente.

DeepRAG (JIT) e DeepRAG (estratégia de pesquisa de índice) usam a mesma capacidade de Síntese subjacente. A diferença é como os documentos chegam ao mecanismo:

• JIT: os arquivos são fornecidos no runtime.
• Baseado em índice: os documentos são pré-ingeridos em um índice persistente.

Batch Transform é diferente. Ele realiza transformações estruturadas no nível da linha em dados tabulares. Ele não executa a recuperação de documentos ou a Síntese de formulário longo.

Referência rápida

Recursos	DeepRAG (ferramenta JIT)	Transformação em lote (ferramenta JIT)	Pesquisa semântica (Índice)	DeepRAG (estratégia de pesquisa de índice)
Configuração necessária	Nenhum	Nenhum	Índice + ingestão	Índice + ingestão
Input format	PDF ou TXT	CSV	Documentos pré-indexados	Documentos pré-indexados (PDF/TXT)
Alterações de dados por execução	Sim (ideal)	Sim (ideal)	Não (corpus estável)	Não (corpus estável)
Tipo de saída	Síntese abrangente com citações1	Arquivo CSV enriquecido	Fragmentos relevantes	Síntese abrangente com citações
Velocidade	Minutos (+30 para ~1.000 páginas)	Minutos	Instantâneo	Minutos (+30 para ~1.000 páginas)
Melhor para	Análise de documentos por execução	Processamento de dados estruturados por execução	Pesquisa rápida de dados	Pesquisa aprofundada em grandes corpora

¹ As entradas TXT não são compatíveis com citações no momento.

Ferramentas JIT: o padrão recomendado

Para a maioria das implementações de agentes, as ferramentas JIT são o ponto de partida certo.

Eles não exigem nenhuma configuração de índice, nenhum fluxo de trabalho de ingestão e nenhuma configuração de armazenamento. Os arquivos são passados diretamente para o agente quando ele é executado e a ferramenta lida com o processamento automaticamente. Isso torna o JIT especialmente adequado para casos de uso em que o conjunto de documentos muda a cada invocação.

Duas ferramentas JIT estão disponíveis: DeepRAG (JIT) e Batch Transform.

DeepRAG (ferramenta JIT)

Use o DeepRAG (JIT) quando seu agente precisar ler e raciocinar sobre arquivos PDF ou TXT fornecidos no runtime e produzir uma resposta sincronizada e embasada.

O algoritmo DeepRAG realiza um processo de pesquisa estruturado em várias etapas. Ele planeja subtarefas, itera nos documentos fornecidos e sincroniza as descobertas em uma saída abrangente. Para entradas de PDF, as respostas incluem citações. (As entradas TXT não são compatíveis com citações.)

Essa abordagem funciona melhor quando cada execução processa um conjunto de documentos diferente, como arquivos de clientes, contratos, registros de casos ou relatórios que variam por invocação. Ele prioriza a integridade e a rastreabilidade em vez da velocidade e normalmente é concluído em minutos, dependendo do tamanho do documento.

Transformação em lote (ferramenta JIT)

A Batch Transform é destinada ao processamento de dados estruturados. Ele opera em arquivos CSV fornecidos no runtime e aplica uma lógica consistente a cada linha.

Em vez de sintetizar documentos, a Transformação em lote enriquece os dados. Ele processa os registros de forma independente e gera um arquivo CSV atualizado que pode incluir novas colunas, classificações, pontuações ou outros valores derivados.

Isso o torna apropriado para rotulagem, pontuação, enriquecimento e transformações baseadas em regras em conjuntos de dados estruturados.

Contextualização baseada em índice

A Contextualização requer que os documentos sejam ingeridos em um índice de Contextualização antes que o agente seja executado. Embora essa configuração introduza uma configuração adicional, ela se torna valiosa ao trabalhar com um corpus grande e estável que é reutilizado em muitas execuções de agentes.

Os exemplos típicos incluem bibliotecas de políticas, bases de conhecimento, repositórios regulatórios ou coleções de documentação de longa duração compartilhadas por vários usuários ou processos.

Ao configurar um agente baseado em índice, você seleciona uma estratégia de pesquisa.

Pesquisa semântica

Pesquisa semântica é a estratégia de índice padrão. Ele realiza uma recuperação rápida e leve e retorna as partes de documento mais relevantes.

Essa estratégia é apropriada quando o agente precisa pesquisar fatores específicos ou extrair informações direcionadas rapidamente. Ela funciona bem para padrões de resposta a perguntas e consultas repetidas em um repositório compartilhado onde a velocidade é importante.

DeepRAG (estratégia de pesquisa de índice)

O DeepRAG também pode operar sobre um índice. Nesse modo, ele analisa e conecta informações em muitos documentos e produz uma resposta abrangente e baseada em citações.

Em comparação com a pesquisa semântica, essa abordagem é mais lenta e consome mais AI Units, mas suporta tarefas de pesquisa mais profunda. É adequado para cenários que exigem uma análise abrangente em centenas de páginas, como revisão de contrato, avaliação regulatória ou resumo de prontuário médico dentro de um corpus estável.

Como decidir

Use a seguinte orientação para selecionar a abordagem correta:

• Use DeepRAG (JIT) quando os documentos forem alterados a cada execução e você precisar de Síntese com citações de arquivos de runtime.
• Use Batch Transform (JIT) ao processar dados CSV estruturados linha por linha.
• Use a Pesquisa semântica (indexação) ao consultar um corpus compartilhado e estável para uma recuperação rápida e direcionada.
• Use DeepRAG (estraté de índice) ao realizar uma pesquisa profunda sobre um grande corpus indexado e são necessárias respostas abrangentes com citações.

Em caso de dúvida, comece pelas ferramentas JIT. Mude para estratégias baseadas em índices apenas quando você precisar de uma base de documentos compartilhada e persistente entre várias execuções de agentes.