Gerar conclusão de chat

Description

A partir de um prompt do usuário, essa atividade gera uma resposta de conclusão do chat. O prompt pode incluir instruções do sistema e instruções do usuário, bem como parâmetros específicos da tarefa, dependendo da configuração do modelo na API NVIDIA NIM.

Como usar a atividade em um processo com agente

Para usar essa atividade em um processo com agente do Maestro, siga estas etapas:

1. Abra um processo com agente novo ou existente.
2. Adicione um elemento de tarefa de serviço à tela e abra o painel de Propriedades da tarefa.
3. Nomeie a tarefa de serviço Nvidia NIM Hello World.
4. Na seção Implementação , na lista suspensa Ação , selecione Atividade executar conector.
5. Selecione o conector NVIDIA NIM .
6. Selecione uma conexão existente ou crie uma nova. Para obter mais informações, consulte Autenticação NVIDIA NIM.
7. Em Atividade, selecione Gerar conclusão de chat.
8. Para a versão do modelo, escolha um modelo na lista de modelos disponíveis no ponto de extremidade da API fornecido em URL quando o conector foi criado. A versão do modelo pode ser alterada durante a compilação e a depuração, e será corrigida para uma versão do processo quando a automação for publicada.
9. Para Texto de prompt, use o editor de expressão para compor um prompt que inclua instruções do sistema e as variáveis do seu processo que são necessárias para a tarefa do modelo. Para uma breve verificação de conectividade, um prompt simples como "What can you do" é um bom começo.
10. Conecte o evento de início à tarefa de serviço, e a tarefa de serviço a um nó de evento final na tela.
11. Selecione Depurar para executar esse processo. Após uma execução bem-sucedida, revise as variáveis Globais e procure a resposta {:} da origem: NVIDIA NIM Hello World. Tome nota da estrutura da resposta.

A saída do agente deve ser atribuída a uma variável de processo para que possa influenciar o progresso do processo do Maestro, por exemplo, para tomar uma decisão com base em uma avaliação booleana ou para usar a resposta de uma tarefa de classificação.

1. No modo de Design, selecione o agente na tela de design.
2. Selecione Propriedades.
3. Em Saída. Selecione + Adicionar novo
4. Em Saída, selecione Adicionar novo e adicione uma variável do tipo String com o nome agent_reponse.
5. Para Valor: selecione Variável e examine as variáveis de saída disponíveis do agente NIM. Esta é provavelmente uma variável de string contendo a resposta completa do modelo.

Avaliando a saída

A saída destinada a humanos, por exemplo, os motivos de um escalonamento, pode ser facilmente passada como texto natural para o humano. A saída esperada para uma ação de API/robô deve ser estritamente composta. Aqui está um exemplo de prompt do sistema/usuário que produz uma saída específica de um agente. Use o Editor de expressão dentro do Studio para adicionar variáveis conforme a necessidade.

"What is the quantity on inventory of Order ID " + vars.orderId_1 + "respond only with a JSON object with the quantity in the key Order_Quantity. No explanations, only JSON"

O agente responderá com:

{"Order_Quantity":"100"}

Preste atenção especial aos tipos em sua solicitação ao agente e na resposta real. Mesmo que a resposta tenha aparência do tipo JSON, na verdade ela pode ser do tipo string.