Configuração de simulações para ferramentas de agente

Observação:

Essa funcionalidade está disponível em pré-visualização.

As simulações de ferramentas habilitam os agentes a testar o comportamento usando entrada e saída sintéticas em vez de chamadas de API reais, oferecendo suporte a um desenvolvimento seguro, rápido e reprodutível. Definidas no momento do design, as simulações usam entradas JSON e saídas JSON de exemplo para imitar interações realistas, preservando barreiras e restrições de execução.

Para configurar simulações de ferramentas

Ao adicionar uma ferramenta ao seu agente, você pode escolher como o agente interage com ela:

• Simular a chamada de ferramenta – O agente usa entrada/saída sintética gerada pelo mecanismo de simulação (sem chamadas de API reais).
• Chame a ferramenta real – O agente faz solicitações de API ativas conforme configurado.

Essa configuração é definida no momento de design e persiste automaticamente em execuções de tempo de avaliação.

Para ajustar configurações de simulação para uma ferramenta:

1. Adicione a ferramenta à sua definição do agente.
2. Selecione o nó da ferramenta na tela do agente.
3. No painel de propriedades, localize a seção Configurações de simulação.
4. Insira valores de entrada e saída de exemplo no formato JSON. Esses exemplos ajudam o LLM de simulação a imitar interações realistas de ferramentas, de acordo com o esquema e a lógica esperados de sua ferramenta.
5. (Opcional) Adicione vários exemplos para melhorar a variedade de simulação. Fornecer exemplos ajuda a melhorar a precisão e a relevância das saídas simuladas durante execuções de teste.

Você também pode configurar simulações ao configurar avaliações. Para obter detalhes, consulte Configuração de simulações em avaliações.

Figura 1. Adicionando uma entrada de exemplo para uma simulação de ferramenta

Barreiras e comportamento de execução no modo de simulação

As execuções de ferramentas simuladas continuam existindo com as barreiras de ferramentas e restrições de execução existentes, assim como execuções reais. Isso garante:

• O comportamento simulado reflete as condições de segurança do mundo real.
• Os agentes não podem ignorar a aplicação de políticas ou restrições de invocação durante o teste.

As execuções de simulação são rotuladas de forma transparente e fáceis de inspecionar, com os seguintes comportamentos incorporados:

• Rotulagem de trace: cada simulação é claramente marcada na visualização de execução de streaming e nos logs de trace persistentes.
• Metadados exclusivos: cada trace simulado inclui metadados que o identificam como simulado, permitindo:
  • Depuração fácil
  • Filtragem confiável
  • Classificação de execução precisa

Isso garante que você possa diferenciar o comportamento simulado versus real, rastrear a lógica do agente e reproduzir resultados de forma consistente.

Você pode adicionar facilmente execuções simuladas a conjuntos de avaliação, ajudando a expandir a cobertura de testes sem chamar endpoints reais. As principais características dessa funcionalidade incluem:

• As execuções simuladas são marcadas claramente como Simuladas dentro de conjuntos de avaliação.
• Seus traces correspondentes retêm a etiqueta de simulação.
• Os conjuntos de avaliação podem conter uma mistura de execuções reais e simuladas, oferecendo suporte a testes comparativos e validação de cenários mais amplos.

Configuração de teste com simulações

Você também pode configurar simulações ao iniciar execuções de teste usando o painel de configuração de teste.

Para habilitar simulações na configuração de teste:

1. Finalize sua definição do agente e configuração de avaliação.
2. Selecione o menu suspenso de Teste na nuvem.
3. Selecione Testar configuração.
4. No painel de Testar configuração, selecione a aba Argumentos do Projeto. Aqui você pode:
   • Gerar dados de entrada para sua execução de teste.
   • Habilitar o modo de simulação para ferramentas e/ou escalonamentos selecionados.
   • Forneça exemplos de entrada/saída ou instruções de simulação que definam como as ferramentas devem se comportar.
5. Inicie o teste para simular a trajetória do agente utilizando a configuração fornecida.

Figura 2. Configuração de simulações de ferramentas na janela de configuração de teste

Independentemente de onde as simulações são iniciadas (avaliações ou configurações de teste), todos os simulados são executados:

• São claramente rotulados nos logs de trace de streaming e persistentes.
• Retenha os metadados para distingui-los de execuções reais.
• Mantenha as mesmas barreiras de ferramenta e lógica de validação que as execuções de ferramentas reais.
• São totalmente rastreáveis, ajudando você a depurar com confiança e evitar confusão de teste.