Escolha do melhor modelo para seu agente

A seleção do modelo certo define como seu agente se comporta em cenários reais. O modelo influencia a precisão, estabilidade, velocidade e custo.

A escolha de um modelo para um agente é um processo iterativo, não uma decisão única. Você escolhe um modelo inicial durante o design para poder criar e testar o agente e, posteriormente, refinar essa escolha quando as avaliações mostrarem como modelos diferentes se comportam com suas solicitações, ferramentas, dados e cenários de falha. As avaliações geralmente mostram que um modelo de menor custo atende aos mesmos requisitos de qualidade que uma opção mais cara, ou que um modelo diferente tem um desempenho mais confiável em casos extremos específicos.

Esta seção ajuda você a entender as configurações do modelo, aplicar práticas recomendadas e executar as etapas necessárias para escolher o modelo mais eficaz e econômico para seu caso de uso.

Compreender as configurações do modelo

As configurações do modelo controlam como o modelo de IA subjacente produz resultados. Duas configurações têm o maior impacto no desempenho do agente: modelo e temperatura.

A escolha do modelo afeta capacidade, latência, custo e pontos fortes especializados. Modelos diferentes se destacam em tarefas como raciocínio, codificação ou resumo. Para entender qual se encaixa na carga de trabalho de seu agente, execute avaliações que comparem como os modelos se desempenham com suas solicitações e cenários reais, conforme descrito nas seções a seguir.

A temperatura controla a aleatoriedade e a criatividade das respostas do modelo. Os intervalos típicos incluem:

• Baixa temperatura (0,0 - 0,3): respostas mais determinísticas e focadas, melhores para tarefas factuais.
• Temperatura média (0,4 - 0,7): criatividade e consistência equilibradas, bom para a maioria dos agentes de conversa.
• Alta temperatura (0,8 - 2,0): respostas mais criativas e diversificadas, melhores para escrita criativa.

Comece com um modelo inicial durante o design

Durante o projeto, selecione um modelo que se adapte amplamente à carga de trabalho do seu agente. Esse modelo inicial serve como a linha de base que você usa para criar solicitações, integrar ferramentas e testar fluxos. Como prática recomendada, sugerimos que você comece com um modelo de uso geral ou de menor custo e espere para revisar essa escolha após as avaliações.

Para obter a lista completa de modelos compatíveis com o UiPath Automation Cloud e sua disponibilidade regional, consulte Disponibilidade e roteamento do modelo.

Observação:

A disponibilidade do modelo depende do tipo de sua organização. As organizações Enterprise e Enterprise Trial podem selecionar entre vários modelos compatíveis e configurar integrações de modelo do próprio usuário.As organizações comunitárias têm acesso a um único modelo oferecido gratuitamente.

Defina a temperatura com cuidado

A temperatura controla o quão deterministas ou variáveis são as respostas de um modelo. Na maioria dos agentes empresariais, a consistência é mais importante do que a criatividade.

• Baixa temperatura produz saídas repetíveis e estáveis
• Uma temperatura mais alta aumenta a variação e a criatividade

Dica:

Prática recomendada: use temperatura 0.0 para a maioria dos Agents orientados para a produção. Se problemas de qualidade aparecerem, altere o modelo ou a solicitação antes de aumentar a temperatura.

A temperatura deve ser ajustada com moderação e sempre validada por meio de avaliações.

Use avaliações para validar e revisar a escolha do modelo

As avaliações são onde a seleção de modelos torna-se baseada em evidências.

Primeiro, comece com um agente de trabalho. Execute no modo de depuração com entradas diferentes em seus principais cenários para confirmar que o fluxo completo comporta-se conforme o esperado. Após o agente funcionar de ponta a ponta, crie seu conjunto de avaliação a partir de execuções reais, usando Adicionar ao conjunto de avaliação diretamente de uma execução de depuração ou baixando execuções de Runtime e importando-as para seu conjunto de avaliação.

Crie conjuntos de avaliação usando:

• Entradas típicas do usuário
• Casos extremos
• Casos de falha conhecidos

Evite confiar apenas em casos sintéticos ou gerados automaticamente, que podem superestimar o desempenho real.

Configurar diferentes modelos

Execute o mesmo conjunto de avaliações em vários modelos e configurações. Nesta fase, você pode decidir se as diferenças de qualidade justificam diferenças de custo, latência ou estabilidade.A execução dos mesmos cenários em todas as configurações torna essas compensações visíveis. É comum e esperado alterar o modelo selecionado após revisar os resultados da avaliação.

Para configurar e comparar diferentes configurações de modelo dentro de um conjunto de avaliações:

1. A partir do painel Explorer do Agent Builder, selecione Conjuntos de avaliação.

2. Selecione um conjunto de avaliação.

3. Selecione o ícone de engrenagem para abrir as Configurações de avaliação.

4. No painel de Propriedades do conjunto de avaliação, adicione várias combinações de temperatura e modelo. Por exemplo:

   • Temperatura 0,2, Modelo A
   • Temperatura 0,5, Modelo A
   • Temperatura 0,7, Modelo A
   • Temperatura 0,5, Modelo B

   Cada combinação cria uma execução de avaliação separada, permitindo que você compare como pequenas alterações de configuração afetam o comportamento.

   

   

5. Selecione Conjunto de avaliação para executar todas as configurações. Após as execuções serem concluídas, abra a guia Resultados para compará-las.

   

Comparar modelos e analisar resultados

Para fazer comparações justas:

• Mantenha as solicitações, ferramentas e contexto idênticos.
• Adicione vários modelos e configurações de temperatura no painel de Propriedades do conjunto de avaliação.
• Execute o mesmo conjunto de avaliação para cada configuração.

Cada modelo adicionado ao seu conjunto de avaliações dispara uma nova execução e você pode revisar os resultados para cada execução na tabela Resultados. Ao revisar resultados, você não está apenas procurando a pontuação mais alta, está decidindo quais compensações são mais importantes para o seu agente.

Revise os resultados da avaliação para entender como cada configuração se comporta. Procure:

• Pontuações do avaliador: identifique quais configurações produzem saídas precisas e de alta qualidade.
• Desempenho no período: compare tempos de resposta entre configurações.

Não selecione um modelo com base apenas em uma pontuação média. Ao revisar os resultados da avaliação, considere:

• Onde e como as falhas ocorrem
• Consistência em todos os cenários
• Latência e período de execução
• Custo relativo aos ganhos de qualidade

Um modelo de pontuação ligeiramente mais baixa pode ser preferível se for significativamente mais barato e mais estável.

Fluxo de trabalho recomendado

As etapas abaixo resumem o principal processo descrito nesta seção.Use-as como referência rápida ao selecionar e refinar um modelo para seu agente:

1. Comece com um modelo inicial durante o design do agente.
2. Use uma temperatura baixa para priorizar a consistência.
3. Crie um agente de trabalho e valide o comportamento de ponta a ponta.
4. Crie conjuntos de avaliações a partir de execuções de agentes reais.
5. Compare vários modelos usando o mesmo conjunto de avaliação.
6. Selecione o modelo de menor custo que atenda de forma consistente ao seu nível de qualidade.
7. Execute novamente as avaliações à medida que o agente evolui ou novos modelos tornam-se disponíveis.