Generar finalización de texto

Descripción

Dada una solicitud y otras entradas como la ID del modelo, etc., genera una respuesta de finalización de texto.

Compatibilidad de proyectos

Windows | Multiplataforma

Configuración

• ID de conexión : la conexión establecida en Integration Service. Accede al menú desplegable para elegir, añadir o gestionar conexiones.

• Modelo : el modelo de lenguaje grande (LLM) que se utilizará para completar el texto.
  Nota: esta actividad permite a los usuarios seleccionar cualquier modelo GPT-3 que se haya implementado en tu instancia de Azure. Si ves un modelo en el menú desplegable, ponte en contacto con tu Administrador de Azure y asegúrate de que han implementado el modelo en producción.
• Solicitud : la solicitud que quieres utilizar para la generación de la finalización del texto. Este campo admite entrada de tipo String .

Administrar propiedades

Utiliza el asistente Administrar propiedades para configurar o utilizar cualquiera de los campos estándar o personalizados del objeto. Puedes seleccionar campos para añadirlos al lienzo de actividad. Los campos estándar o personalizados añadidos están disponibles en el panel Propiedades (en Studio Desktop) o en Mostrar propiedades adicionales (en Studio Web).

Propiedades adicionales

• Versión de API : la versión de API que se utilizará para esta operación. sigue el formato AAAA-MM-DD. Este campo admite entrada de tipo String .
• Máximo de tokens : el número máximo de tokens que se generarán en la finalización. El recuento de tokens de tu solicitud más max_tokens no puede superar la longitud del contexto del modelo. La mayoría de los modelos tienen una longitud de contexto de 2048 tokens (excepto los modelos más nuevos, que admiten 4096). Consulta más información sobre los tokens.
• N : el número de opciones de finalización que quieres que devuelva la IA. El valor mínimo de este campo es 1. El valor predeterminado es 1.
• Temperatura : el valor de la temperatura de muestreo que se utilizará. Los valores más altos significan que el modelo asume más riesgos. Prueba 0.9 para obtener respuestas o finalizaciones más creativas, y 0 (también llamado muestreo argmax) para las que tengan una respuesta bien definida o más exacta. La recomendación general es modificar, desde el valor predeterminado, este o el valor de muestra de núcleo, pero no ambos valores. El valor predeterminado es 1.
• P superior : un número entre 0 y 1. Cuanto menor sea el número, menos tokens se tendrán en cuenta. El valor predeterminado es 1.
• Transmisión : especifica si se debe transmitir el progreso parcial. Si se establece, los tokens se envían como eventos enviados por el servidor solo de datos a medida que están disponibles, y el flujo finaliza con un mensaje data:[DONE] . El valor predeterminado es falso.
• Probabilidades de registro : incluye las probabilidades de registro en los tokens más probables logprob, así como los tokens elegidos. Por ejemplo, si logprobs es 5, la API devuelve una lista de los 5 tokens más probables. La API siempre devuelve el logprob del token muestreado, por lo que puede haber hasta logprobs+1 elementos en la respuesta. El valor máximo para logprobs es 5. El valor predeterminado es nulo.
• Copiar : además de la finalización, si el campo se establece en true, se repite la solicitud. El valor predeterminado es false.
• Detener : hasta 4 secuencias en las que la API deja de generar más tokens. El texto devuelto no contiene la secuencia de detención. El valor predeterminado es nulo.
• Penalización de presencia : un número entre -2,0 y 2,0. Los valores positivos penalizan los nuevos tokens en función de si aparecen en el texto hasta el momento, lo que aumenta la probabilidad del modelo de hablar sobre nuevos temas. El valor predeterminado es 0.
• Penalización de frecuencia : número entre -2.0 y 2.0. Los valores positivos penalizan los nuevos tokens en función de su frecuencia existente en el texto hasta el momento, lo que reduce la probabilidad del modelo de repetir la misma línea palabra por palabra. El valor predeterminado es 0.
• Mejor de : genera best_of finalizaciones en el lado del servidor y devuelve el best (el que tiene la mayor probabilidad de registro por token). Los resultados no se pueden transmitir. Cuando se utiliza con N, best_of controla el número de finalizaciones candidatas y N especifica cuántas devolver; best_of debe ser mayor que N. El valor predeterminado es 1.

Salida

• Texto generado superior: la cadena de finalización de texto generado. Si está interesado en devolver una única respuesta (por ejemplo, N = 1, que es el valor predeterminado), esta será la salida que probablemente desee usar. Es un tipo de datos 'Texto' al que es fácil asignar una variable y usar directamente en otras actividades / entradas de texto.
• Generar finalización de texto : el objeto TextCompletion completo que incluye:
  • Opciones o respuestas del modelo. Puedes establecer el número total de respuestas que deseas obtener del modelo utilizando el campo N en las opciones adicionales de la actividad, cuyo valor predeterminado es 1. Esto devolverá como una matriz con el primer objeto a partir de 0. Ej. Hacer referencia a un solo objeto en una matriz dentro de un control Para cada: Response.Choices(0).Text. Más información sobre el objeto de respuesta de finalización de texto.