Generar finalización de chat

Descripción

Con una solicitud de usuario, una instrucción opcional y otras entradas opcionales como el ID de modelo, etc., se genera una respuesta de finalización del chat. Esta funcionalidad imita las populares capacidades de ChatGPT. Esta actividad permite a los usuarios interactuar con los modelos GPT-3.5 y GPT-4 y simular una experiencia de diálogo con el modelo a través del contexto y los roles de usuario.

Compatibilidad de proyectos

Windows | Multiplataforma

Configuración

• ID de conexión : la conexión establecida en Integration Service. Accede al menú desplegable para elegir, añadir o gestionar conexiones.

• Modelo : el modelo de lenguaje grande (LLM) que se utilizará para completar el chat. Puedes elegir entre gpt-35-turbo y gpt-4. Puedes obtener más información sobre las diferencias entre estos modelos en la documentación de Microsoft.
  Nota: Esta actividad permite a los usuarios seleccionar cualquier modelo GPT-3.5 o GPT-4 que se haya implementado en tu instancia de Azure. Si ves un modelo en el menú desplegable, ponte en contacto con tu Administrador de Azure y asegúrate de que han implementado el modelo en producción.
• Solicitud : la entrada que se utilizará para la solicitud de finalización del chat. Más información sobre la ingeniería de Prompt. Este campo admite entrada de tipo String .
• Base de conocimientos : indica si la finalización del chat se ejecutará o no con un contexto único almacenado en una base de datos vectorial. Si se selecciona, se requerirán otros campos. Valor booleano. El valor predeterminado es Falso.
• Base de datos vectorial : la base de datos vectorial que se utilizará como base de conocimientos interna. Selecciona una opción del menú desplegable. Por ahora, solo Pinecone está disponible. Este campo se muestra si estableces Base de conocimientos como Verdadero.
• Clave API de Pinecone : si utilizas tu propia instancia de una base de datos vectorial de Pinecone para completar un chat con generación de recuperación aumentada, debes proporcionar la clave API. Esto se puede almacenar como un activo si la seguridad es una preocupación. Este campo admite entrada de tipo String . Este campo se muestra si seleccionas Pinecone para el campo Base de datos vectorial.
• Entorno de Pinecone : entorno donde se aloja la base de datos de Pinecone. Consulte su instancia. Este es un campo obligatorio si se desea la generación de recuperación aumentada. Selecciona una opción de la lista desplegable disponible.
• Índice de Pinecone : el índice de Pinecone para buscar contenido relevante. Selecciona una opción de la lista desplegable disponible. Este campo es opcional.
• Espacio de nombres de Pinecone : el espacio de nombres de Pinecone específico para buscar en el contexto relevante. Selecciona una opción de la lista desplegable disponible. Este campo es opcional.

Administrar propiedades

Utiliza el asistente Administrar propiedades para configurar o utilizar cualquiera de los campos estándar o personalizados del objeto. Puedes seleccionar campos para añadirlos al lienzo de actividad. Los campos estándar o personalizados añadidos están disponibles en el panel Propiedades (en Studio Desktop) o en Mostrar propiedades adicionales (en Studio Web).

Propiedades adicionales

• Versión de API : la versión de API que se utilizará para esta operación. sigue el formato AAAA-MM-DD. Este campo admite entrada de tipo String .
• Instrucción : instrucciones que guían a la IA para que responda de una manera que coincida con tu intención. El valor predeterminado es nulo. Este campo admite entrada de tipo String .
• Máximo de tokens : el número máximo de tokens permitidos para la solicitud y la respuesta generada. Menos tokens son menos costosos. La mayoría de los modelos admiten un máximo de 4096 tokens, sin embargo, algunos modelos solo admiten 2048. El valor predeterminado es 3840. Consulta más información sobre los tokens.
• Temperatura : un número entre 0 y 2. Los valores más altos, como 0.8 , hacen que la salida sea más aleatoria, mientras que los valores más bajos, como 0,2, la hacen más centrada y determinista. El valor predeterminado es 1.
• N : el número de opciones de finalización que quieres que devuelva la IA. El valor mínimo de este campo es 1. El valor predeterminado es 1.
• P superior : un número entre 0 y 1. Cuanto menor sea el número, menos tokens se tendrán en cuenta. El valor predeterminado es 1.
• Transmisión : especifica si se debe transmitir el progreso parcial. Si se establece, los tokens se envían como eventos enviados por el servidor solo de datos a medida que están disponibles, y el flujo finaliza con un mensaje data:[DONE] . El valor predeterminado es Falso.
• Penalización de presencia : un número entre -2,0 y 2,0. Los valores positivos penalizan los nuevos tokens en función de si aparecen en el texto hasta el momento, lo que aumenta la probabilidad del modelo de hablar sobre nuevos temas. El valor predeterminado es 0.
• Penalización de frecuencia : número entre -2.0 y 2.0. Los valores positivos penalizan los nuevos tokens en función de su frecuencia existente en el texto hasta el momento, lo que reduce la probabilidad del modelo de repetir la misma línea palabra por palabra. El valor predeterminado es 0.

Salida

• Texto más generado: la cadena de finalización de chat más generada. Si te interesa devolver solo una única respuesta (es decir, N=1, que es la predeterminada), esta será la salida que más probablemente querrás utilizar. Es un tipo de datos Text al que es fácil asignar una variable y utilizarlo directamente en otras actividades/entradas de texto.
• Finalización del chat : el objeto ChatCompletion completo que incluye:
  • Opciones: o respuestas del modelo. Puedes establecer el número total de respuestas que quieres obtener del modelo utilizando el campo 'N' en las opciones adicionales de la actividad que por defecto es 1. Esto devolverá como una matriz con el primer objeto a partir de 0. Ej. Referenciar un solo objeto en una matriz dentro de un control 'Para cada': Response.Choices(0).Text. Para obtener más información, consulta la documentación del objeto Finalización de chat.