Gerar conclusão de chat

Description

Gere uma resposta de chat para a solicitação fornecida usando modelos de conclusão de chat.

Compatibilidade do projeto

Windows | Multiplataforma

Configuração

• ID da conexão — a conexão estabelecida no Integration Service. Acesse o menu suspenso para escolher, adicionar ou gerenciar conexões.

• Nome do modelo - O nome ou ID do modelo ou implantação a ser usada para a conclusão do chat. Selecione uma opção na lista suspensa disponível, com vários modelos do Azure OpenAI e Google Vertex.
• Solicitação - O aviso do usuário para a solicitação de conclusão do chat. Este campo é compatível com String entrada do tipo.
• Detecção de PII - Onde detectar PII a partir do prompt de entrada. Valor booleano. o valor padrão é False.
  • Filtragem PII — se definido como Verdadeiro, qualquer PII/PHI detectado é mascarado antes de ser enviado para o LLM. Se essa opção estiver definida como False, o PII detectado será incluído no prompt. Em ambos os casos, o PII detectado está disponível na saída. Se definido como Verdadeiro, a qualidade da saída poderá ser afetada. Esse campo é exibido se a detecção de PII estiver definida como True.
  • Idioma do PII — o idioma da entrada e da saída do prompt para verificar o PII. Esse campo é exibido se a detecção de PII estiver definida como True.
  • Categoria PII/PHI - A categoria ou categorias opcionais de PII/PHI a serem analisadas. Caso não esteja definida, todas as categorias serão revisadas. Esse campo é exibido se a detecção de PII estiver definida como True.
• Prompt do sistema — o prompt do sistema ou a instrução de contexto da solicitação de conclusão do chat. Este campo é compatível com String entrada do tipo. Esse campo é exibido se a detecção de PII estiver definida como True.
• Alocação de contexto - Insira o contexto no prompt a partir de um índice existente (bucket do Orchestrator) ou de um arquivo. Selecione uma das opções disponíveis no menu suspenso: Nenhum, Índice existente, Recurso de arquivo.
  • Índice — nome do índice a ser referenciado. Esse campo é exibido se A Ancoragem de contexto estiver definida como Índice existente.
  • Arquivo - Clique para usar a variável. Esse campo é compatível com entrada do tipo IResource. Esse campo é exibido se a propriedade de Contexto for definida como Recurso de arquivo.
  • Número de resultados — indica o número de resultados a serem retornados.

Gerenciar propriedades

Use o assistente Gerenciar Propriedades para configurar ou usar qualquer um dos campos padrão ou personalizados do objeto. Você pode selecionar campos para adicioná-los à tela da atividade. Os campos padrão ou personalizados adicionados ficam disponíveis no painel Propriedades (no Studio Desktop) ou em Mostrar opções adicionais (no Studio Web).

Opções adicionais

• Contagem máxima de tokens — o número máximo de tokens a serem gerados na conclusão. A contagem de tokens da sua solicitação, mais as do resultado/conclusão, não podem exceder o valor fornecido para este campo. É melhor definir esse valor menor do que a contagem máxima do modelo, a fim de ter algum espaço para a contagem de token de solicitação. O valor padrão é 1024. Este campo é compatível com Int64 entrada do tipo.
• Temperatura — o valor do fator de criatividade ou a taxa de amostra a ser usada. Valores mais altos significa que o modelo assumirá mais riscos. Tente 0,9 para respostas ou conclusões mais criativas, ou 0 (também chamado de amostra de argmax) para aquelas com uma resposta bem definida ou mais exata. A recomendação geral é alterar, do valor padrão, este ou o valor de Amostra de Nucleus, mas não ambos. O valor padrão é 1.
• Contagem de opções de conclusão - O número de opções de conclusão a serem geradas para a solicitação. Quanto maior o valor desse campo, maior o número de tokens que serão usados. Isso resulta em um custo mais alto; portanto, o usuário precisa estar ciente disso ao definir o valor deste campo. O padrão é 1.
• Sequência parada - Até quatro sequências em que a API deixará de gerar mais tokens. O texto retornado não contém a sequência de parada. O valor padrão é nulo.
• Penalidade de presença - Número entre -2.0 e 2.0. Os valores positivos penalizam novos tokens com base na possibilidade de eles aparecerem no texto até o momento, aumentando a probabilidade de o modelo falar sobre novos tópicos. O valor padrão é 0.
• Penalidade de frequência - Número entre -2.0 e 2.0. Valores positivos penalizam novos tokens com base em sua frequência existente no texto até o momento, diminuindo a probabilidade de o modelo repetir a mesma linha textual. O valor padrão é 0.

Saída

• Texto gerado superior - O texto gerado. Variável de saída gerada automaticamente.
• Gerar conclusão do chat - Variável de saída gerada automaticamente.