Generación de contenido

Descripción

Genera una respuesta de chat para la solicitud proporcionada utilizando modelos de finalización de chat.

Compatibilidad de proyectos

Windows | Multiplataforma

Configuración

• ID de conexión : la conexión establecida en Integration Service. Accede al menú desplegable para elegir, añadir o gestionar conexiones.

• Model name - The name or ID of the model or deployment to use. This activity defaults to the model with the highest quality observed output. However, you can select a different model based on desired outputs and testing. Switching models can impact the output.
• Solicitud : la solicitud del usuario para la solicitud de finalización del chat. Este campo admite entrada de tipo String .
  Nota: para adjuntar una imagen a una solicitud personalizada, utiliza la actividad Análisis de imagen .
• Detección de PII : si se detecta PII desde la solicitud de entrada. Valor booleano. El valor predeterminado es Falso.
  • Filtrado de PII : si se establece en Verdadero, cualquier PII/PHI detectado se enmascara antes de enviarlo al LLM. La calidad de la salida puede verse afectada. Si se establece en Falso, la PII detectada se incluye en la solicitud. En ambos casos, la PII detectada está disponible en la salida. Este campo se muestra si la detección de PII se establece en Verdadero.
  • Idioma de PII : el idioma de la entrada y salida de solicitud para buscar PII. Selecciona un idioma de la lista desplegable disponible. Este campo se muestra si la detección de PII se establece en Verdadero.
  • Categoría PII/PHI: la categoría o categorías opcionales de PII/PHI para analizar. Si no se establece, se revisan todas las categorías. Este campo se muestra si la detección de PII se establece en Verdadero.
• Aviso del sistema : el aviso del sistema o la instrucción de contexto para la solicitud de finalización del chat. Este campo admite entrada de tipo String .
• Context grounding - Ground the prompt in context to increase quality and accuracy of the output. This features allows you to insert proprietary business logic and knowledge into the prompt. You can reference an Orchestrator bucket where documents have been uploaded or upload a file directly for one time use. Select one of the available options from the dropdown menu: None, Existing index, File resource.
  • Existing index option:
    • Orchestrator folder - The Orchestrator folder containing the index to to context ground with. This must be a Shared folder. Search by name or select from the dropdown list of permissioned Orchestrator folders in that tenant. Use the Force refresh button to retrieve the latest folders.
    • Index - The name or ID of the index to ground the prompt in. Select an index from the available dropdown list.
  • File resource option:
    • File - Click to use variable. This field supports IResource type input.
      Note: This field has a 30MB file size limit. For larger files, upload data to Orchestrator and create an index using AI Trust Layer. Supported formats: PDF, JSON, CSV, DOCS, JSON, TXT.
• Number of results - Indicates the number of results to be returned. This field supports Int64 type input.

Administrar propiedades

Utiliza el asistente Administrar propiedades para configurar o utilizar cualquiera de los campos estándar o personalizados del objeto. Puedes seleccionar campos para añadirlos al lienzo de actividad. Los campos estándar o personalizados añadidos están disponibles en el panel Propiedades (en Studio Desktop) o en Mostrar propiedades adicionales (en Studio Web).

Propiedades adicionales

• Puntuación de confianza de PII: la puntuación de confianza mínima necesaria para calificar como PII y ser redactada. Este campo se muestra si la detección de PII se establece en Verdadero.
• Recuento máximo de tokens : el número máximo de tokens que se generarán en la finalización. El recuento de tokens de tu solicitud más los del resultado/finalización no pueden superar el valor proporcionado para este campo. Es mejor establecer este valor para que sea menor que el recuento máximo del modelo para tener algo de espacio para el recuento de tokens de solicitud. El valor predeterminado es 1024. Si no se establece, la actividad utiliza de forma predeterminada los tokens necesarios para acomodar la solicitud o el máximo de tokens permitidos por el modelo. Este campo admite entrada de tipo Int64 .
• Temperatura : el valor del factor de creatividad o la temperatura de muestreo que se va a utilizar. Los valores más altos significan que el modelo asumirá más riesgos. Prueba 0.9 para respuestas o finalizaciones más creativas, o 0 (también llamado muestreo argmax) para las que tienen una respuesta bien definida o más exacta. La recomendación general es modificar, desde el valor predeterminado, este o el valor de Muestra de núcleo, pero no ambos valores. El valor predeterminado es 0.
• Penalización de frecuencia : número entre -2.0 y 2.0. Los valores positivos penalizan los nuevos tokens en función de su frecuencia existente en el texto, lo que reduce la probabilidad del modelo de repetir la misma línea palabra por palabra. El valor predeterminado es 0.
• Penalización de presencia : número entre -2.0 y 2.0. Los valores positivos penalizan los nuevos tokens en función de si aparecen en el texto hasta el momento, lo que aumenta la probabilidad del modelo de hablar sobre nuevos temas. El valor predeterminado es 0.
• Recuento de opciones de finalización : el número de opciones de finalización que se generarán para la solicitud. Cuanto mayor sea el valor de este campo, mayor será el número de tokens que se utilizarán. Esto da como resultado un coste mayor, por lo que debes tenerlo en cuenta al establecer el valor de este campo. El valor predeterminado es 1.
• Detener secuencia : hasta cuatro secuencias en las que la API dejará de generar más tokens. El texto devuelto no contiene la secuencia de detención. El valor predeterminado es nulo.

Salida

• Texto generado superior: el texto generado.
• Prueba enmascarada : la solicitud de entrada en la que cualquier dato PII potencial se ha reemplazado por marcadores de posición enmascarados.
• Generación de contenido : esta salida contiene el objeto de respuesta anidado completo, incluidos detalles adicionales sobre la finalización, el modelo utilizado y los resultados de detección de PII.
• Citations string - The Context grounding citations string.

Cómo utilizar la generación de contenido

La actividad Generación de contenido ofrece flexibilidad en la forma de interactuar e insertar respuestas generadas por LLM en solicitudes personalizadas en Studio, Studio Web o Apps. Al insertar argumentos y variables en la solicitud, puedes crear una plantilla de solicitud dinámica que extraiga datos de aplicaciones empresariales populares a través de conectores, elementos de cola de Orchestrator, etc. Esto te ayuda a crear automatizaciones significativas y escalables que se adaptan a casos de uso únicos.

Importante: Puedes seleccionar el modelo a utilizar para la generación de contenido, crear la solicitud, identificar y ocultar datos PII/PHI, y trabajar con opciones de modelo avanzadas que ofrecen salidas más o menos deterministas. Es importante destacar que los LLM no son deterministas. Debes iterar a través de las solicitudes y supervisar las salidas a través del registro, las tareas de validación externa (Action Center) y las pruebas. La generación de contenido es altamente configurable, pero requiere pruebas y supervisión antes de implementarse en producción.

The Context grounding parameter enables Context grounding. You can select one of two options:

• Existing index: Reference the Index name of a created index. This performs RAG on the dataset within that index. This is the typical use case: querying over multiple documents or files.
• Recurso de archivo: utiliza un archivo cargado justo a tiempo para la actividad y la puesta a tierra del contexto habilita un RAG justo a tiempo o en memoria para consultar ese documento específico. Solo puedes cargar un documento aquí, bueno para casos de uso basados en resúmenes.

El parámetro Número de resultados representa el número de resultados principales buscados y recuperados por Contexto en función de una puntuación de similitud semántica. Estos resultados representan fragmentos de los datos (páginas) que luego se pasan a la ventana de contexto de la solicitud como evidencia para fundamentar la solicitud y la generación asociada. Puedes aumentar este número hasta el límite de la ventana de contexto del modelo. Esto puede ser necesario si la salida no produce los resultados esperados o de alta calidad.

To learn more about using Context grounding, refer to About Context grounding.