Content Generation

Description

Gere uma resposta de chat para a solicitação fornecida usando modelos de conclusão de chat.

Compatibilidade do projeto

Windows | Multiplataforma

Configuração

• ID da conexão — a conexão estabelecida no Integration Service. Acesse o menu suspenso para escolher, adicionar ou gerenciar conexões.

• Model name - The name or ID of the model or deployment to use. This activity defaults to the model with the highest quality observed output. However, you can select a different model based on desired outputs and testing. Switching models can impact the output.
• Solicitação - O aviso do usuário para a solicitação de conclusão do chat. Este campo é compatível com String entrada do tipo.
  Observação: para anexar uma imagem a um prompt personalizado, use a atividade Análise de imagens .
• Detecção de PII — Se o PII deve ser detectado a partir do prompt de entrada. Valor booleano. O valor padrão é False.
  • Filtragem PII — se definido como Verdadeiro, qualquer PII/PHI detectado é mascarado antes de ser enviado para o LLM. A qualidade da saída pode ser afetada. Se definido como False, o PII detectado é incluído no prompt. Em ambos os casos, o PII detectado está disponível na saída. Esse campo é exibido se a detecção de PII estiver definida como True.
  • Idioma do PII — o idioma da entrada e da saída do prompt para verificar o PII. Selecione um idioma da lista suspensa disponível. Esse campo é exibido se a detecção de PII estiver definida como True.
  • Categoria PII/PHI - A categoria ou categorias opcionais de PII/PHI a serem analisadas. Caso não esteja definida, todas as categorias serão revisadas. Esse campo é exibido se a detecção de PII estiver definida como True.
• Prompt do sistema — o prompt do sistema ou a instrução de contexto para a solicitação de conclusão do chat. Este campo é compatível com String entrada do tipo.
• Context grounding - Ground the prompt in context to increase quality and accuracy of the output. This features allows you to insert proprietary business logic and knowledge into the prompt. You can reference an Orchestrator bucket where documents have been uploaded or upload a file directly for one time use. Select one of the available options from the dropdown menu: None, Existing index, File resource.
  • Existing index option:
    • Orchestrator folder - The Orchestrator folder containing the index to to context ground with. This must be a Shared folder. Search by name or select from the dropdown list of permissioned Orchestrator folders in that tenant. Use the Force refresh button to retrieve the latest folders.
    • Index - The name or ID of the index to ground the prompt in. Select an index from the available dropdown list.
  • File resource option:
    • File - Click to use variable. This field supports IResource type input.
      Note: This field has a 30MB file size limit. For larger files, upload data to Orchestrator and create an index using AI Trust Layer. Supported formats: PDF, JSON, CSV, DOCS, JSON, TXT.
• Number of results - Indicates the number of results to be returned. This field supports Int64 type input.

Gerenciar propriedades

Use o assistente Gerenciar Propriedades para configurar ou usar qualquer um dos campos padrão ou personalizados do objeto. Você pode selecionar campos para adicioná-los à tela da atividade. Os campos padrão ou personalizados adicionados ficam disponíveis no painel Propriedades (no Studio Desktop) ou em Mostrar propriedades adicionais (no Studio Web).

Propriedades adicionais

• Pontuação de confiança PII — a pontuação mínima de confiança necessária para se qualificar como PII e ser redigida. Esse campo é exibido se a detecção de PII estiver definida como True.
• Contagem máxima de tokens — o número máximo de tokens a serem gerados na conclusão. A contagem de tokens da sua solicitação mais as do resultado/conclusão não podem exceder o valor fornecido para este campo. É melhor definir esse valor como menor do que a contagem máxima do modelo para ter espaço para a contagem de tokens da solicitação. O valor padrão é 1024. Caso não seja definido, a atividade usará os tokens necessários para acomodar a solicitação ou o máximo de tokens permitido pelo modelo. Esse campo é compatível com entrada do tipo Int64 .
• Temperatura - O valor do fator criatividade ou temperatura de amostra a ser usada. Valores mais altos significam que o modelo assumirá mais riscos. Experimente 0,9 para respostas mais criativas ou conclusões ou 0 (também chamado de amostra de argmax) para aquelas com uma resposta bem definida ou mais exata. A recomendação geral é alterar, do valor padrão, este ou o valor de Exemplo de núcleo, mas não ambos os valores. O valor padrão é 0.
• Penalidade de frequência - Número entre -2.0 e 2.0. Valores positivos penalizam novos tokens com base em sua frequência existente no texto, diminuindo a probabilidade de o modelo repetir a mesma linha textual. O valor padrão é 0.
• Penalidade de presença - Número entre -2.0 e 2.0. Os valores positivos penalizam novos tokens com base na possibilidade de eles aparecerem no texto até o momento, aumentando a probabilidade de o modelo falar sobre novos tópicos. O valor padrão é 0.
• Contagem de opções de conclusão - O número de opções de conclusão a serem geradas para a solicitação. Quanto maior o valor desse campo, maior o número de tokens que serão usados. Isso resulta em um custo mais alto, portanto, você precisa estar ciente disso ao definir o valor deste campo. O valor padrão é 1.
• Sequência parada - Até quatro sequências em que a API deixará de gerar mais tokens. O texto retornado não contém a sequência de parada. O valor padrão é nulo.

Saída

• Texto gerado principal - O texto gerado.
• Teste mascarado - O prompt de entrada onde quaisquer dados de PII em potencial foram substituídos por espaços reservados mascarados.
• Geração de conteúdo – Essa saída contém o objeto de resposta aninhado completo, incluindo detalhes adicionais sobre a conclusão, modelo usado e resultados de detecção de PII.
• Citations string - The Context grounding citations string.

Como usar a geração de conteúdo

A atividade Geração de Conteúdo oferece flexibilidade na forma como você interage e insere respostas geradas por LLM para prompts personalizados no Studio, Studio Web ou Apps. Ao inserir argumentos e variáveis no prompt, você pode realizar um modelo de prompt dinâmico que extrai dados de aplicativos de negócios populares por meio de conectores, itens de fila do Orchestrator etc. Isso ajuda você a criar automações significativas e escaláveis que atendem a casos de uso exclusivos.

Importante: você pode selecionar o modelo para usar para a geração de conteúdo, criar o prompt, identificar e ocultar dados de PII/PHI e trabalhar com opções de modelo avançadas que oferecem mais ou menos saídas deterministas. É importante notar que os LLMs não são deterministas. Você precisa iterar por meio de prompts e monitorar as saídas por meio de registros em log, tarefas de validação externas (Action Center) e testes. A geração de conteúdo é altamente configurável, mas requer testes e monitoramento antes de ser implantada na produção.

The Context grounding parameter enables Context grounding. You can select one of two options:

• Existing index: Reference the Index name of a created index. This performs RAG on the dataset within that index. This is the typical use case: querying over multiple documents or files.
• Recurso de arquivo: use um arquivo carregado just-in-time para a atividade e a ancoragem de contexto permite que um RAG just-in-time ou na memória consulte esse documento específico. Você só pode carregar um documento aqui, o que é bom para casos de uso baseados em resumo.

O parâmetro Número de resultados representa o número dos principais resultados que são pesquisados e recuperados pela Embasamento de contexto com base em uma pontuação de similaridade semântica. Esses resultados representam pedaços de dados (páginas) que são passados para a janela de contexto do prompt como evidências para embasar o prompt e a geração associada. Você pode aumentar esse número para o limite da janela de contexto do modelo. Isso pode ser necessário se a saída não estiver produzindo resultados esperados/de alta qualidade.

To learn more about using Context grounding, refer to About Context grounding.