Gerar conclusão de chat

UiPath.MicrosoftAzureOpenAI.IntegrationService.Activities.GenerateChatCompletion

Description

Dado um prompt de usuário, uma instrução opcional e outras entradas opcionais, como o ID do modelo, etc., gera uma resposta de preenchimento do chat. Essa funcionalidade imita os recursos populares do ChatGPT. Essa atividade permite que os usuários interajam com os modelos GPT-3.5 e GPT-4 e simulem uma experiência de diálogo com o modelo por meio do contexto e das funções do usuário.

Compatibilidade do Projeto

Windows | Multiplataforma

Configuração

Conexão — a conexão estabelecida no Integration Service. Acesse o menu suspenso para escolher, adicionar ou gerenciar conexões. Este campo suporta apenas strings ou variáveis String .
Solicitação — a solicitação que você deseja usar para gerar a conclusão do chat. Leia mais sobre prompts aqui.

Avançado

Opções

Instrução — instruções sobre como você deseja que a IA gere a resposta de conclusão do chat. Isso é o equivalente à "função de sistema" abordada nos documentos do OpenAI. A função 'Assistant' não está disponível nesta atividade. Para obter mais informações, consulte esta página.
Nome do modelo - O Modelo de Linguagem Abrangente (LLM) a ser utilizado para a conclusão do chat. Você pode escolher entre gpt-35-turbo e gpt-4. Consulte mais informações sobre as diferenças entre esses modelos aqui. Por padrão, gpt-4 é selecionado.
Observação: essa atividade permite aos usuários selecionar qualquer modelo GPT-3.5 ou GPT-4 que tenha sido implantado na sua instância Azure. Se você não vir um modelo no menu suspenso, entre em contato com seu administrador do Azure e certifique-se de que ele implantou o modelo na produção.
Máx. de tokens — o número máximo de tokens permitidos para o aviso e a resposta gerada. Quanto menos tokens, mais barato fica. A maioria dos modelos suporta um máximo de 4096 tokens, no entanto, alguns modelos suportam apenas 2048. O valor padrão é 1920. Você pode ler mais informações sobre Tokens aqui.
N — O número de opções de conclusão que você deseja que a AI retorne. O valor mínimo desse campo é 1. O valor padrão é 1.
Ambiente - Um número entre 0 e 2. Valores mais altos como 0.8 tornam a saída mais aleatória, enquanto valores mais baixos como 0.2 a tornam mais focada e de determinado tipo. O valor padrão é 1.
P superior — um número entre 0 e 1. Quanto menor for o número, menos tokens são considerados. O padrão é 1.
Fluxo — especifica se o fluxo de volta para o progresso parcial deve ser feito. Se definido, os tokens são enviados como eventos enviados pelo servidor somente de dados à medida que ficam disponíveis, com o fluxo encerrado por uma mensagem data:[DONE] . O padrão é false.
Penalidade de presença - Um número entre -2.0 e 2.0. Os valores positivos penalidadem novos tokens com base em se eles aparecem no texto até o momento, aumentando a probabilidade de o modelo falar sobre novos tópicos. O padrão é 0.
Penalidade de frequência - Número entre -2.0 e 2.0. Valores positivos penalidader novos tokens com base em sua frequência existente no texto até agora, diminuindo a probabilidade do modelo repetir a mesma linha textual. O padrão é 0.

Saída

Resposta - O objeto GenerateChatCompletion completo, que inclui:
- Escolhas - ou respostas do modelo. Você pode definir o número total de respostas que deseja voltar do modelo usando o campo 'N' nas opções adicionais da atividade que é padronizado como 1. Isso retornará como uma matriz com o primeiro objeto começando em 0. Ex.: Referenciando um único objeto em uma array dentro de um controle "For Each": Response.Choices(0).Text
  
  Para obter informações sobre outras partes do objeto de resposta Conclusão do chat, consulte esta página.
Texto gerado superiormente — a string de conclusão do chat gerado superior. Se você estiver interessado em retornar apenas uma única resposta (ou seja, N=1, que é o padrão), essa será a saída que você provavelmente precisará usar. É um tipo de dados "Texto" fácil de atribuir uma variável e usar diretamente em outras atividades/entradas de texto.