Content Generation

Description

Gere uma resposta de chat para a solicitação fornecida usando modelos de conclusão de chat.

Compatibilidade do projeto

Windows | Multiplataforma

Configuração

• ID da conexão — a conexão estabelecida no Integration Service. Acesse o menu suspenso para escolher, adicionar ou gerenciar conexões.

• Nome do modelo - O modelo ou ID de IA generativa a ser usado. O padrão dessa atividade é o modelo com a saída observada de mais alta qualidade. No entanto, você pode selecionar um modelo diferente com base nas saídas e testes desejados. A troca de modelos pode afetar os resultados.
• Solicitação - O aviso do usuário para a solicitação de conclusão do chat. Este campo é compatível com String entrada do tipo.
  Observação: para anexar uma imagem a um prompt personalizado, use a atividade Análise de imagens .
• Detecção de PII — Se o PII deve ser detectado a partir do prompt de entrada. Valor booleano. O valor padrão é False.
  • Filtragem PII — se definido como Verdadeiro, qualquer PII/PHI detectado é mascarado antes de ser enviado para o LLM. A qualidade da saída pode ser afetada. Se definido como False, o PII detectado é incluído no prompt. Em ambos os casos, o PII detectado está disponível na saída. Esse campo é exibido se a detecção de PII estiver definida como True.
  • Idioma do PII — o idioma da entrada e da saída do prompt para verificar o PII. Selecione um idioma da lista suspensa disponível. Esse campo é exibido se a detecção de PII estiver definida como True.
  • Categoria PII/PHI - A categoria ou categorias opcionais de PII/PHI a serem analisadas. Caso não esteja definida, todas as categorias serão revisadas. Esse campo é exibido se a detecção de PII estiver definida como True.
• Prompt do sistema — o prompt do sistema ou a instrução de contexto para a solicitação de conclusão do chat. Este campo é compatível com String entrada do tipo.
• Embasamento de contexto (Visualização pública) - Insira contexto no prompt a partir de um índice existente (bucket do Orchestrator) ou de um arquivo. Selecione uma das opções disponíveis no menu suspenso: Nenhum, Índice existente, Recurso de arquivo.
  • Índice (Visualização Pública) — o nome do índice a ser referenciado. Esse campo é exibido se Embasamento de contexto estiver definido como Índice existente. Esse campo é compatível com entrada do tipo String .
  • Arquivo - Clique para usar a variável. Esse campo é compatível com entrada do tipo IResource . Esse campo é exibido se Embasamento de contexto estiver definido como Recurso de arquivo.
    Observação: este campo tem um limite de tamanho de arquivo de 30 MB. Para arquivos maiores, carregue dados no Orchestrator e crie um índice usando a atividade Indexar e Ingerir (Visualização pública) .

    Formatos compatíveis atualmente: PDF, JSON, CSV.

  • Número de resultados (visualização pública) - indica o número de resultados a serem retornados. Esse campo é compatível com entrada do tipo Int64 .

Gerenciar propriedades

Use o assistente Gerenciar Propriedades para configurar ou usar qualquer um dos campos padrão ou personalizados do objeto. Você pode selecionar campos para adicioná-los à tela da atividade. Os campos padrão ou personalizados adicionados ficam disponíveis no painel Propriedades (no Studio Desktop) ou em Mostrar propriedades adicionais (no Studio Web).

Propriedades adicionais

• Pontuação de confiança PII — a pontuação mínima de confiança necessária para se qualificar como PII e ser redigida. Esse campo é exibido se a detecção de PII estiver definida como True.
• Contagem máxima de tokens — o número máximo de tokens a serem gerados na conclusão. A contagem de tokens da sua solicitação mais as do resultado/conclusão não podem exceder o valor fornecido para este campo. É melhor definir esse valor como menor do que a contagem máxima do modelo para ter espaço para a contagem de tokens da solicitação. O valor padrão é 1024. Caso não seja definido, a atividade usará os tokens necessários para acomodar a solicitação ou o máximo de tokens permitido pelo modelo. Esse campo é compatível com entrada do tipo Int64 .
• Temperatura - O valor do fator criatividade ou temperatura de amostra a ser usada. Valores mais altos significam que o modelo assumirá mais riscos. Experimente 0,9 para respostas mais criativas ou conclusões ou 0 (também chamado de amostra de argmax) para aquelas com uma resposta bem definida ou mais exata. A recomendação geral é alterar, do valor padrão, este ou o valor de Exemplo de núcleo, mas não ambos os valores. O valor padrão é 0.
• Penalidade de frequência - Número entre -2.0 e 2.0. Valores positivos penalizam novos tokens com base em sua frequência existente no texto, diminuindo a probabilidade de o modelo repetir a mesma linha textual. O valor padrão é 0.
• Penalidade de presença - Número entre -2.0 e 2.0. Os valores positivos penalizam novos tokens com base na possibilidade de eles aparecerem no texto até o momento, aumentando a probabilidade de o modelo falar sobre novos tópicos. O valor padrão é 0.
• Contagem de opções de conclusão - O número de opções de conclusão a serem geradas para a solicitação. Quanto maior o valor desse campo, maior o número de tokens que serão usados. Isso resulta em um custo mais alto, portanto, você precisa estar ciente disso ao definir o valor deste campo. O valor padrão é 1.
• Sequência parada - Até quatro sequências em que a API deixará de gerar mais tokens. O texto retornado não contém a sequência de parada. O valor padrão é nulo.

Saída

• Texto gerado principal - O texto gerado.
• Teste mascarado - O prompt de entrada onde quaisquer dados de PII em potencial foram substituídos por espaços reservados mascarados.
• Geração de conteúdo – Essa saída contém o objeto de resposta aninhado completo, incluindo detalhes adicionais sobre a conclusão, modelo usado e resultados de detecção de PII.
• String de Citações (Visualização Pública) - A string de Citações que Embasa o Contexto.

Como usar a geração de conteúdo

A atividade Geração de Conteúdo oferece flexibilidade na forma como você interage e insere respostas geradas por LLM para prompts personalizados no Studio, Studio Web ou Apps. Ao inserir argumentos e variáveis no prompt, você pode realizar um modelo de prompt dinâmico que extrai dados de aplicativos de negócios populares por meio de conectores, itens de fila do Orchestrator etc. Isso ajuda você a criar automações significativas e escaláveis que atendem a casos de uso exclusivos.

Importante: você pode selecionar o modelo para usar para a geração de conteúdo, criar o prompt, identificar e ocultar dados de PII/PHI e trabalhar com opções de modelo avançadas que oferecem mais ou menos saídas deterministas. É importante notar que os LLMs não são deterministas. Você precisa iterar por meio de prompts e monitorar as saídas por meio de registros em log, tarefas de validação externas (Action Center) e testes. A geração de conteúdo é altamente configurável, mas requer testes e monitoramento antes de ser implantada na produção.

The Context grounding (Preview) parameter enables Context grounding. You can select one of two options:

• Índice existente: faça referência ao nome do Índice de um índice criado usando a atividade Indexar e Ingerir (Visualização pública) . Isso executa RAG no conjunto de dados dentro desse índice. Este é o caso de uso típico: consulta de vários documentos ou arquivos.
• File resource: Use a file uploaded just-in-time to the activity and Context grounding enables a just-in-time or in-memory RAG to query that specific document. You can only upload one document here, good for summarization-based use cases.

The Number of Results parameter represents the number of top results that are searched and retrieved by Context grounding based on a semantic similarity score. These results represent chunks of the data (pages) that then are passed into the context window of the prompt as evidence to ground the prompt and associated generation. You may increase this number to the limit of the model context window. This may be necessary if the output is not producing expected/ high quality results.

To learn more about using Context grounding, refer to About Context grounding.