Melhores práticas e limitações

Orientação e limitações do Autopilot para Testers na avaliação de requisitos, geração de testes, conversão de texto em código, dados de teste e análise de resultados.

O Autopilot ajuda a automatizar e aprimorar tarefas em todo o ciclo de vida dos seus testes. As práticas recomendadas e limitações a seguir ajudam você a melhorar a precisão e a usabilidade do Autopilot para Testers, organizados por recursos.

Observação:

Avaliação de requisitos, Geração de testes manuais e Análise de resultados de testes aplicam-se ao Test Manager — para obter o detalhamento completo do modelo de entrega, consulte a página Disponibilidade da funcionalidade do Test Manager. A conversão de texto em código, a automação de testes manuais e a geração de dados de teste aplicam-se ao Studio, sujeito aos seus próprios requisitos de versão abaixo.

Avaliação de requisitos

O Autopilot avalia a qualidade de um requisito e sugere aprimoramentos. As seguintes diretrizes melhoram a relevância e a precisão dessas avaliações:

• Requisitos claros e completos com critérios de aceitação mensuráveis produzem avaliações mais precisas.
• Avaliações focadas, como verificações de segurança ou desempenho, retornam sugestões mais relevantes.
• Supporting files, such as guidelines or specifications, give Autopilot additional context.

Instruções adicionais

Você pode orientar a avaliação fornecendo instruções adicionais na tela Fornecer Orientação Adicional .

A Biblioteca de Prompts fornece prompts prontos para uso que analisam requisitos para aspectos relacionados ao desempenho, para aspectos relacionados à segurança e a partir de perspectivas como consistência, clareza e integridade. Você também pode adicionar suas próprias solicitações personalizadas à Biblioteca de Prompts para atributos de qualidade de software que você avalia com frequência, o que padroniza as avaliações em sua equipe.

To control how many enhancement suggestions Autopilot returns, include the count in your instruction, for example: "Generate the top 20 enhancement suggestions for this requirement and rank them by priority."

Documentos de suporte

Os documentos de suporte complementam a descrição do requisito com informações adicionais. O Autopilot considera a descrição do requisito e seus documentos de suporte quando molda e avalia o requisito e também sugere aprimoramentos para os próprios documentos.

• Diretrizes de segurança — Diretrizes de segurança, documentos de políticas ou descobertas de auditoria de segurança. O Autopilot verifica-os quanto a inconsistências dentro dos documentos ou contra os aspectos de segurança na descrição do requisito.
• Diretrizes de acessibilidade — Diretrizes de acessibilidade, relatórios de auditoria ou especificações de acessibilidade do usuário. O Autopilot faz uma verificação cruzada deles em relação aos critérios de acessibilidade na descrição do requisito.
• Listas de verificação de conformidade — Listas de verificação de conformidade, resumos regulatórios ou requisitos de conformidade do setor. O Autopilot verifica-os em relação aos critérios de conformidade na descrição do requisito para identificar lacunas na adesão regulatória.

Limitações funcionais

Tipos de arquivos compatíveis

Você pode carregar arquivos nos seguintes formatos:

• Processa apenas conteúdo de texto – TXT, BPMN, CSV
• Processa conteúdo de texto e imagem – DOCX, XLSX, PNG, JPG, PDF

Capacidade de token de entrada

A capacidade do token de entrada do Autopilot é de 128.000 tokens, que são aproximadamente 96.000 palavras ou 512.000 caracteres. Mantenha sua descrição de requisitos e documentos de suporte dentro desse limite. Esse é um limite no nível do produto, separado dos limites de janela de contexto e token de saída do modelo subjacente — para eles, consulte Modelos e limites suportados.

Dica:

Como uma aproximação, 100 tokens correspondem a cerca de 75 palavras ou 400 caracteres.

Para estimar a contagem de tokens de um documento, salve-o como um arquivo TXT e cole o conteúdo na ferramenta OpenAI Tokenizer. O resultado é aproximado e a contagem real pode ser maior.

Geração de sugestões

O Autopilot gera um máximo de 50 sugestões de cada vez. Se você não especificar um número, o Autopilot gera as 15 principais sugestões.

Geração de testes manuais

O Autopilot gera casos de teste manuais e etapas de teste a partir de requisitos e documentos de suporte. A qualidade do teste depende muito da qualidade do requisito que você fornece.

Descrição do requisito

Um requisito bem-formado descreve sua finalidade, a lógica do aplicativo e os critérios de aceitação claros. Os requisitos geralmente estão relacionados a aspectos de qualidade, como funcionalidade, desempenho, usabilidade e segurança.

Requirement purpose

O Autopilot depende da especificidade. Descrições amplas ou vagas, podem levar a casos de teste irrelevantes ou incorretos. Comece com uma declaração concisa e focada no usuário do propósito do requisito que enfatiza o benefício para o usuário.

Exemplo: "Como potencial segurado, quero calcular meus prêmios de seguro para que eu possa entender meus possíveis custos".

Lógica do aplicativo

A precisão das etapas de teste geradas depende de quão bem o Autopilot entende a jornada do usuário e a sequência de aplicativos. Descreva as interações específicas que o usuário tem com o aplicativo e as respostas do aplicativo, desde o início do fluxo até a ação de teste final.

Exemplo: "O usuário começa na tela principal e navega até a tela "Obter uma cotação" por meio do menu principal". Eles inserem seus dados pessoais, incluindo idade e gênero, e depois selecionam a cobertura de seguro desejada e o termo da política. Quando eles selecionam "Calcular Prêmio", o aplicativo calcula e exibe o prêmio na próxima tela.

Critérios de aceitação

Os critérios de aceitação claros e mensuráveis orientam o Autopilot para verificar resultados específicos. Cubra cenários positivos e negativos, incluindo estados de entrada e erro inválidos e fatores não funcionais, como segurança, usabilidade e escalabilidade. Sem os critérios de aceitação, o Autopilot pode gerar casos de teste inadequados.

Exemplos:

• O sistema calcula o prêmio com base na idade do usuário. Para cada ano acima de 25, adiciona US$ 5 ao prêmio base de US$ 100.
• "The system increases the premium by $50 for smokers because of the higher associated health risk."
• "Se o usuário inserir uma idade inferior a 18, o sistema exibirá uma mensagem de erro."
• "O cálculo do prêmio é concluído em três segundos quando o número de usuários simultâneos é de 1.000 ou menos".

Instruções adicionais

Você pode concentrar a geração fornecendo instruções adicionais na tela Fornecer orientação adicional .

A Biblioteca de Prompts fornece prompts prontos para uso que geram casos de teste de ponta a ponta a partir de diagramas de fluxo, geram testes para cenários de ponta a ponta válidos e geram testes que trazem problemas elusivos. Você também pode adicionar seus próprios prompts personalizados para cenários que você gera com frequência.

By default, Autopilot generates test cases with the following behavior:

• Os resultados esperados são gerados apenas para a etapa de teste final em cada caso de teste. Para gerar os resultados esperados para cada etapa, inclua uma instrução como "Gerar resultados esperados para cada etapa de teste".
• Pré-condições e pós-condições são geradas apenas mediante solicitação; especifique o que incluir, já que nenhum dos dois é gerado por padrão.
• O número de casos de teste não é fixo. Para controlá-lo, inclua a contagem em suas instruções, por exemplo: "Gerar os 20 principais casos de teste para esse requisito".

Documentos de suporte

Os documentos de suporte complementam a descrição do requisito e ajudam o Autopilot a gerar casos de teste mais precisos.

• Diagramas de processos — Use diagramas de casos, fluxogramas e diagramas de processos como imagens ou arquivos BPMN. Eles ajudam o Autopilot a seguir o fluxo sequencial e lógico de atividades do usuário.
• Simulações e wireframes — Diagramas visuais de seus requisitos de UI/UX. Eles esclarecem o layout, as interações do usuário e os elementos a serem testados, o que é útil ao testar novas funcionalidades de front-end.
• Documentos de conformidade — Documentos de conformidade e regulatórios para setores regulamentados, como saúde, finanças ou telecomunicações. O Autopilot integra esses padrões a todos os casos de teste gerados, não apenas aqueles vinculados a critérios de conformidade específicos.
• Transcrições de debates — Transcrições de debates sobre requisitos entre desenvolvedores, proprietários de produtos e testadores. Eles transmitem como a equipe interpreta ou planeja implementar um requisito.

Limitações funcionais

Tipos de arquivos compatíveis

Você pode carregar arquivos nos seguintes formatos:

• Processa apenas conteúdo de texto – TXT, BPMN, CSV
• Processa conteúdo de texto e imagem – DOCX, XLSX, PNG, JPG, PDF

Capacidade de token de entrada

A capacidade do token de entrada do Autopilot é de 128.000 tokens, que são aproximadamente 96.000 palavras ou 512.000 caracteres. Mantenha sua descrição de requisitos e documentos de suporte dentro desse limite. Esse é um limite no nível do produto, separado dos limites de janela de contexto e token de saída do modelo subjacente — para esses, consulte Modelos e limites compatíveis. Para estimar contagens de tokens, use a orientação do tokenizer descrita em Avaliação de requisitos.

Geração de caso de teste

O Autopilot gera um máximo de 50 casos de teste de cada vez. Se você não especificar um número, o Autopilot gera 10 casos de teste.

Conversão de texto em código

O Autopilot converte solicitações de linguagem natural em código dentro de automações codificadas do Studio. Use a ação Gerar Código no menu de contexto de uma automação codificada para converter um prompt em código. O Autopilot pode gerar código C#, refatorar código existente e gerar uma automação da UiPath. Para os métodos disponíveis, consulte Gerar código.

Observação:

Para converter texto em código, use a versão do Studio 2024.10.1 ou superior.

For better results:

• Especifique a linguagem e o objetivo, por exemplo, "Refatorar este método C#".
• Mantenha os prompts curtos e diretos.

Exemplos de prompts

• "Refatore o método abaixo e torne-o mais eficaz."
• "Crie um método para comparar duas strings quanto à semelhança, com os parâmetros de entrada 'string1' e 'string2'".
• "Selecione em 'Produtos'."
• "Executar trabalho 'myDemoJob' no Orchestrator."

Automação de testes manuais

Depois de vincular o Studio ao Test Manager, o Test Explorer no Studio Desktop mostra todos os casos de teste em seu projeto do Test Manager, tanto automatizados quanto manuais. O Autopilot converte casos de teste manuais em casos automatizados. Para saber como, consulte Criação de um caso de teste codificado a partir de um caso de teste manual e Criação de um caso de teste de pouco código a partir de um caso de teste manual.

Observação:

Para automatizar testes manuais, use o Studio Desktop versão 2024.10.1 ou superior.

Preparar um repositório de objetos consistente

O Autopilot usa a Automação de Interface Gráfica para converter etapas de testes manuais em etapas automatizadas. Para fazer referência aos elementos de interface gráfica em teste, o Autopilot precisa de uma referência de repositório de objetos para cada um deles. Use nomes de controles idênticos em suas etapas de testes manuais e em seu repositório de objetos.

Por exemplo, para a etapa manual "Selecionar em 'Enviar aplicativo de empréstimo'", o Autopilot gera uma atividade Selecionar e procura um elemento de repositório de objetos chamado Enviar aplicativo de empréstimo. Os nomes de controles consistentes tornam a conversão mais suave.

Use nomes de atividades comuns

Uma etapa de teste manual típica, como "Digitar '[e-mail] ' into o campo 'Email'", contém uma ação ("Type", reconhecida como a atividade Type Into ), dados ('[e-mail] ') e um destino ('Email', reconhecido como o repositório de objetos elemento).

A tabela a seguir lista os verbos de etapa manual a serem usados e as atividades do Studio e APIs de automação codificadas para as quais eles mapeiam.

Etapa de teste manual	Atividade da UiPath	API de automação codificada da UiPath
"'Selecionar' em 'Meu botão'"	Selecionar	Selecionar
"'Digite' 'hello world' em 'Meu campo de texto'"	Type Into	Type Into
"'Obter texto' de 'Meu rótulo'"	Get Text	GetText
"'Marcar' 'Minha caixa de seleção'"	Marcar	Marcar
"'Selecionar item' '3 anos' de 'Termo de empréstimo'"	Select Item	Select Item

Automatizar preenchimento de formulário

Para um formulário que requer entrada de dados, use a palavra-chave "Preencher formulário" para que o Autopilot o automatize.

Observação:

Essa funcionalidade está disponível apenas ao gerar um caso de teste codificado.

Por exemplo, para a etapa "Preencha o formulário na tela chamada 'myFormScreen' com os seguintes valores: e-mail: '[e-mail] ', Valor do empréstimo: '10000', Termo de empréstimo: '3'", o Autopilot executa o comando "Preencher formulário" em sua automação codificada e preenche os valores nos controles identificados no formulário.

Gerando dados de teste

O Autopilot gera dados de testes sintéticos para seus casos de teste. Como o gerenciamento de dados de teste pode consumir até 50% do esforço de teste, isso pode economizar tempo significativo.

Observação:

Para gerar dados de teste sintéticos, use o Studio Desktop versão 2024.10.1 ou superior.

Crie argumentos para seus campos de dados

Ao gerar dados de testes, o Autopilot considera os argumentos existentes em seu fluxo de trabalho juntamente com as instruções no seu prompt e visa uma alta cobertura dentro do caso de teste. Use argumentos sempre que possível, em vez de variáveis locais ou valores de string fixas, para que os dados gerados se alinhem aos requisitos dinâmicos do seu fluxo de trabalho.

Escolha um método de combinação de dados

Por padrão, o Autopilot gera aproximadamente 10 registros de dados, visando alta cobertura de código ou atividades. Se sua estratégia de testes exigir um algoritmo específico, como pares ou todas as combinações, inclua-o no seu prompt, por exemplo: "Gerar dados de teste para cada argumento e combinar os campos de dados em pares".

Personalize seu conjunto de dados

Você pode instruir o Autopilot para realizar outras tarefas, como gerar um número específico de registros ou incluir campos adicionais. Por exemplo:

• "Gerar um mínimo de 25 registros de dados."
• "Incluir o campo 'País' no conjunto de dados, atribuindo um valor distinto de país a cada registro."

Análise de resultados de teste

O Autopilot fornece insights sobre casos de teste com falha e recomendações para reduzir a taxa de falha em seu portfólio de testes. Quanto mais resultados de testes você incluir ao gerar o relatório, especialmente casos de teste com falha, mais eficazes serão os insights. O objetivo é entender os principais motivos pelos quais seus testes estão falhando.

Cada seção do relatório abrange uma área dos resultados do seu teste:

• Erros comuns — Agrupa mensagens de erro semelhantes semanticamente para realçar os problemas mais frequentes.
• Padrões de erro — Categoriza casos de teste com falha em temas mais amplos para revelar problemas recorrentes e sistêmicos.
• Recomendações — Fornece recomendações acionáveis para orientar suas próximas etapas na estabilização da execução de testes.