Content Generation

Description

Gere uma resposta de chat para a solicitação fornecida usando modelos de resposta de chat.

Compatibilidade do projeto

Windows | Multiplataforma

Configuração

• ID da conexão — a conexão estabelecida no Integration Service. Acesse o menu suspenso para escolher, adicionar ou gerenciar conexões.

• Nome do modelo – O nome ou ID do modelo ou implantação a ser usado. Essa atividade tem como padrão o modelo com a saída de maior qualidade observada. No entanto, você pode selecionar um modelo diferente com base nas saídas e testes desejados. A mudança de modelos pode afetar a saída.
• Prompt – O prompt do usuário para a solicitação de conclusão do chat. Esse campo é compatível com entrada do tipo String.
  Observação: para anexar uma imagem a um prompt personalizado, use a atividade Image Analysis.
• Detecção de Informações Pessoais Identificáveis (PII) – Se deve detectar PII a partir do prompt de entrada. Valor booleano. O valor padrão é False.
  • Filtragem de PII – Se definido como True, qualquer PII/PHI detectado é mascarado antes de enviar para o LLM. A qualidade da saída pode ser afetada. Se definido como False, as PII detectadas são incluídas na solicitação. Em ambos os casos, as Informações Pessoais Identificáveis (PII) detectadas estão disponíveis na saída. Esse campo é exibido se a detecção de PII estiver definida como True.
  • Idioma PII – O idioma da entrada e saída do prompt a ser verificada para PII.Selecione um idioma na lista suspensa disponível. Esse campo é exibido se a detecção de PII estiver definida como True.
  • Categoria PII/PHI – A categoria ou categorias opcionais de PII/PHI para analisar. Se não definido, todas as categorias são revisadas. Esse campo é exibido se a detecção de PII estiver definida como True.
• Prompt do sistema – O prompt do sistema ou instrução de contexto para a solicitação de conclusão do chat. Esse campo é compatível com entrada do tipo String.
• Contextualização – Baseie o prompt no contexto para aumentar a qualidade e a precisão da saída. Este recurso permite que você insira lógica de negócios e conhecimento proprietários no prompt. Você pode referenciar um repositório do Orchestrator no qual os documentos foram carregados ou carregar um arquivo diretamente para uso único. Selecione uma das opções disponíveis no menu suspenso: Nenhuma, Índice existente, Recurso de arquivo.
  • Opção de índice existente:
    • Pasta do Orchestrator – A pasta do Orchestrator que contém o índice para contextualização.Isso deve ser uma pasta compartilhada. Pesquise por nome ou selecione na lista suspensa de pastas do Orchestrator com permissão nesse tenant. Use o botão Forçar Atualização para recuperar as pastas mais recentes.
    • Índice – O nome ou ID do índice para basear o prompt. Selecione um índice na lista suspensa disponível.
  • Opção de recurso de arquivo:
    • Arquivo – Clique para usar a variável. Esse campo é compatível com entrada do tipo IResource.
      Observação: esse campo tem um limite de tamanho de arquivo de 30 MB. Para arquivos maiores, carregue dados no Orchestrator e crie um índice usando a AI Trust Layer. Formatos compatíveis: PDF, JSON, CSV, DOCS, TXT.
• Número de resultados – Indica o número de resultados a serem retornados. Esse campo é compatível com entrada do tipo Int64.

Gerenciar propriedades

Use o assistente Gerenciar Propriedades para configurar ou usar qualquer um dos campos padrão ou personalizados do objeto. Você pode selecionar campos para adicioná-los à tela da atividade. Os campos padrão ou personalizados adicionados ficam disponíveis no painel Propriedades (no Studio Desktop) ou em Mostrar propriedades adicionais (no Studio Web).

Propriedades adicionais

• Pontuação de confiança de PII – A pontuação de confiança mínima necessária para se qualificar como PII e ser redigida. Esse campo é exibido se a detecção de PII estiver definida como True.
• Número máximo de tokens – O número máximo de tokens a serem gerados na conclusão.A contagem de tokens da sua solicitação mais as do resultado/conclusão não podem exceder o valor fornecido para este campo. É melhor definir esse valor para que seja menor do que a contagem máxima do modelo para ter algum espaço para a contagem de tokens do prompt. O valor padrão é 1024. Se não definida, a atividade tem como padrão os tokens necessários para acomodar a solicitação ou o máximo de tokens permitidos pelo modelo. Esse campo é compatível com entrada do tipo Int64.
• Temperatura – O valor do fator de criatividade ou temperatura de amostragem a ser usado. Valores mais altos significam que o modelo assumirá mais riscos. Tente 0,9 para respostas ou conclusões mais criativas ou 0 (também chamado de amostragem argmax) para aqueles com uma resposta bem definida ou mais exata. A recomendação geral é alterar, do valor padrão, esse ou o valor da Amostra de Nucleus, mas não ambos os valores. O valor padrão é 0.
• Penalidade de frequência – Número entre -2.0 e 2.0. Os valores positivos penalizam novos tokens com base em sua frequência existente no texto, diminuindo a probabilidade do modelo repetir a mesma linha literalmente. O valor padrão é 0.
• Penalidade de presença – Número entre -2.0 e 2.0. Os valores positivos penalizam novos tokens com base na possibilidade de eles aparecerem no texto até o momento, aumentando a probabilidade de o modelo falar sobre novos tópicos. O valor padrão é 0.
• Número de opções de conclusão – O número de opções de conclusão a serem geradas para a solicitação. Quanto maior o valor desse campo, maior o número de tokens que serão usados. Isso resulta em um custo maior, então você precisa estar ciente disso ao definir o valor desse campo. O valor padrão é 1.
• Sequência de interrupção – Até quatro sequências em que a API interromperá a geração de mais tokens. O texto retornado não contém a sequência de parada. O valor padrão é nulo.

Saída

• Texto gerado principal – O texto gerado.
• Teste mascarado – O prompt de entrada no qual quaisquer Informações Pessoais Identificáveis (PII) em potencial foram substituídos por placeholders mascarados.
• Geração de conteúdo – Essa saída contém o objeto de resposta aninhado completo, incluindo detalhes adicionais sobre a conclusão, o modelo usado e os resultados de detecção de PII.
• String de citações – A string de citações da Contextualização.

Como usar a Geração de Conteúdo

A atividade Geração de Conteúdo oferece flexibilidade na interação e inserção de respostas geradas por LLM a prompts personalizados no Studio, Studio Web ou Apps. Ao inserir argumentos e variáveis no prompt, você pode criar um modelo de prompt dinâmico que extrai dados de aplicativos de negócios populares por meio de conectores, itens de fila do Orchestrator etc. Isso ajuda você a criar automações significativas e escaláveis que se encaixam em casos de uso exclusivos.

Importante: você pode selecionar o modelo a ser usado para geração de conteúdo, criar o prompt, identificar e ocultar dados pessoais (PII/PHI) e trabalhar com opções de modelo avançadas que oferecem saídas mais ou menos determinísticas. É importante ressaltar que os Modelos de Linguagem de Grande Escala (LLMs) não são determinísticos. Você precisa iterar por meio de prompts e monitorar saídas por meio de log, tarefas de validação externas (Action Center) e testes. A geração de conteúdo é altamente configurável, mas requer testes e monitoramento antes de ser implantada para produção.

The Context grounding parameter enables Context Grounding. You can select one of two options:

• Índice existente: faz referência ao nome do índice criado. Isso realiza RAG no conjunto de dados dentro desse índice. Este é o caso de uso típico: consulta sobre vários documentos ou arquivos.
• File resource: Use a file uploaded just-in-time to the activity and Context Grounding enables a just-in-time or in-memory RAG to query that specific document. You can only upload one document here, good for summarization-based use cases.

The Number of Results parameter represents the number of top results that are searched and retrieved by Context Grounding based on a semantic similarity score. These results represent chunks of the data (pages) that then are passed into the context window of the prompt as evidence to ground the prompt and associated generation. You may increase this number to the limit of the model context window. This may be necessary if the output is not producing expected/ high quality results.

To learn more about using Context Grounding, refer to About Context grounding.