Gerar conclusão de chat

Description

Dado um prompt de usuário, uma instrução opcional e outras entradas opcionais, como o ID do modelo, etc., gera uma resposta de preenchimento do chat. Essa funcionalidade imita os recursos populares do ChatGPT. Essa atividade permite que os usuários interajam com os modelos GPT-3.5 e GPT-4 e simulem uma experiência de diálogo com o modelo por meio do contexto e das funções do usuário.

Compatibilidade do projeto

Windows | Multiplataforma

Configuração

• ID da conexão — a conexão estabelecida no Integration Service. Acesse o menu suspenso para escolher, adicionar ou gerenciar conexões.

• Modelo — O Modelo de Linguagem Abrangente (LLM) a ser utilizado para a conclusão do chat. Você pode escolher entre gpt-35-turbo e gpt-4. Você pode ler mais sobre as diferenças entre esses modelos na documentação da Microsoft.
  Observação: essa atividade permite aos usuários selecionar qualquer modelo GPT-3.5 ou GPT-4 que tenha sido implantado na sua instância Azure. Se você não vir um modelo no menu suspenso, entre em contato com seu administrador do Azure e certifique-se de que ele implantou o modelo na produção.
• Solicitação — a entrada a ser usada para a solicitação de conclusão do chat. Leia mais sobre Engenharia de solicitação. Este campo é compatível com entrada do tipo String .
• Base de conhecimento — indica se a conclusão do chat será executada com o contexto exclusivo armazenado em um banco de dados de vetores. Se selecionado, outros campos serão obrigatórios. Valor booleano. O valor padrão é False.
• Banco de dados de vetores - O banco de dados de vetor a ser usado como base de conhecimento interna. Selecione uma opção do menu suspenso. Por enquanto, apenas o Pinecone está disponível. Esse campo é exibido se você definir Base de conhecimento como Verdadeiro.
• Chave de API doPinecone — Se estiver usando sua própria instância de um banco de dados de vetores da Pinecone para concluir o chat com a geração de recuperação aumentada, é necessário fornecer a chave de API. Isso pode ser armazenado como um ativo se a segurança for uma preocupação. Este campo é compatível com String entrada do tipo. Esse campo é exibido se você selecionar Pinecone para o campo Banco de dados de vetor.
• Ambiente do Pinecone - Ambiente no qual o banco de dados da Pinecone está hospedado. Consulte sua instância. Este é um campo obrigatório se a geração de recuperação aumentada for desejada. Selecione uma opção na lista suspensa disponível.
• Índice do Pinecone — o índice do Pinecone para pesquisar a extração de conteúdo relevante. Selecione uma opção na lista suspensa disponível. Este campo é opcional.
• NamespacePinecone — o namespace específico do Pinecone para pesquisar a extração no contexto relevante. Selecione uma opção na lista suspensa disponível. Este campo é opcional.

Gerenciar propriedades

Use o assistente Gerenciar Propriedades para configurar ou usar qualquer um dos campos padrão ou personalizados do objeto. Você pode selecionar campos para adicioná-los à tela da atividade. Os campos padrão ou personalizados adicionados ficam disponíveis no painel Propriedades (no Studio Desktop) ou em Mostrar propriedades adicionais (no Studio Web).

Propriedades adicionais

• Versão da API — a versão da API a ser usada para essa operação. ele segue o formato AAAA-MM-DD. Este campo é compatível com String entrada do tipo.
• Instrução — Instruções que orientam a IA a responder de uma maneira que corresponda à sua intenção. O padrão é nulo. Este campo é compatível com String entrada do tipo.
• Máx. de tokens — o número máximo de tokens permitidos para o aviso e a resposta gerada. Quanto menos tokens, mais barato fica. A maioria dos modelos suporta um máximo de 4096 tokens, no entanto, alguns modelos suportam apenas 2048. O valor padrão é 3840. Leia mais informações sobre tokens.
• Temperatura — um número entre 0 e 2. Valores mais altos, como 0.8 , tornam a saída mais aleatória, enquanto valores mais baixos, como 0,2, a tornam mais concentrada e determinista. O valor padrão é 1.
• N — o número de opções de conclusão que você deseja que a IA retorne. O valor mínimo deste campo é 1. O valor padrão é 1.
• P superior - Um número entre 0 e 1. Quanto menor for o número, menos tokens serão considerados. O padrão é 1.
• Stream - Especifica se o progresso parcial deve ser transmitido de volta. Se definido, os tokens são enviados como eventos server-sent somente de dados à medida que ficam disponíveis, com o fluxo encerrado por uma mensagem data:[DONE] . O padrão é Falso.
• Penalidade de presença - Um número entre -2.0 e 2.0. Os valores positivos penalizam novos tokens com base na possibilidade de eles aparecerem no texto até o momento, aumentando a probabilidade de o modelo falar sobre novos tópicos. O padrão é 0.
• Penalidade de frequência - Número entre -2.0 e 2.0. Valores positivos penalizam novos tokens com base em sua frequência existente no texto até o momento, diminuindo a probabilidade de o modelo repetir a mesma linha textual. O padrão é 0.

Saída

• Texto gerado superior - A string de conclusão do chat gerada superior. Se você estiver interessado em retornar apenas uma única resposta (ou seja, N=1, que é o padrão), esta será a saída que você provavelmente desejará usar. É um tipo de dados Text fácil de atribuir uma variável e usar diretamente em outras atividades/entradas de texto.
• Conclusão do chat - O objeto ChatCompletion completo, que inclui:
  • Escolhas — ou respostas do modelo. Você pode definir o número total de respostas que deseja voltar do modelo usando o campo "N" nas opções adicionais da atividade, que tem o valor padrão de 1. Isso retornará como uma matriz com o primeiro objeto começando em 0. Ex. Referenciando um único objeto em uma matriz dentro de um controle "For Each": Response.Choices(0).Text. Para mais informações, consulte a documentação do objeto Conclusão de chat.