SuperGLUE: un punto de referencia exhaustivo para la evaluación avanzada de la PNL

TL; DR

SuperGLUE (Super General Language Understanding Evaluation) es una referencia diseñada para evaluar el rendimiento de los modelos de comprensión del lenguaje natural (NLU). Basado en su predecesor, GLUE, introduce tareas más exigentes para evaluar la capacidad de un modelo para manejar razonamientos lingüísticos complejos, como la respuesta a preguntas, la resolución de coreferencias y la inferencia. SuperGLUE incluye un conjunto diverso de conjuntos de datos y métricas, y pone a prueba habilidades como la comprensión contextual, la recuperación de conocimientos y el aprendizaje multitarea. Desarrollado para ampliar los límites del NLU, refleja tareas más cercanas al razonamiento humano. Alcanzar puntuaciones altas en SuperGLUE indica la solidez y eficacia de un modelo a la hora de enfrentarse a retos lingüísticos del mundo real.

Introducción

El Procesamiento del Lenguaje Natural (NLP) ha transformado la forma en que las máquinas interactúan con los humanos, desde los chatbots hasta los sistemas de recomendación. Modelos como ELMo, BERT y GPT han redefinido el umbral de la comprensión del lenguaje, mejorando el modelado y la comprensión del lenguaje humano. Estas transformaciones allanaron el camino para el benchmark GLUE un medio sistemático de evaluación que valora la competencia de los modelos lingüísticos en diversas tareas.

Sin embargo, a medida que los modelos de PNL se hacen más inteligentes, resulta evidente que nos enfrentamos a un reto más difícil. Aquí es donde entra en juego ****SuperGLUE: con objetivos más ambiciosos y exigentes, plantea una nueva serie de tareas basadas en el razonamiento, la comprensión del sentido común y la interpretación contextual matizada. SuperGLUE pone a prueba la capacidad de cualquier modelo para resolver problemas lingüísticos difíciles del mundo real, lo que supone una prueba mucho más dura para los modelos de PNL.

En este artículo, exploraremos las características únicas de SuperGLUE, las tareas que incluye y cómo está impulsando el desarrollo de modelos de PNL aún más sofisticados y fiables.

¿Qué es SuperGLUE?

SuperGLUE**, abreviatura de Super General Language Understanding Evaluation, es una prueba de referencia creada para comprobar la capacidad de los modelos de PLN para realizar una amplia gama de tareas complejas de comprensión del lenguaje. Se trata básicamente de una versión mejorada de GLUE, diseñada para subir el listón. Mientras que GLUE se centra en tareas más sencillas, SuperGLUE incluye retos más sofisticados que exigen un razonamiento más profundo, conocimientos de sentido común y comprensión del contexto. Por ejemplo, mientras que una tarea GLUE puede evaluar si dos frases son semánticamente similares, una tarea SuperGLUE como el Winograd Schema Challenge (WSC) requiere resolver pronombres ambiguos utilizando el razonamiento de sentido común.

SuperGLUE mantiene dos de las tareas más complejas de GLUE (RTE y WNLI) e introduce seis tareas completamente nuevas diseñadas para llevar los modelos más allá de la simple concordancia de patrones y adentrarse en el conocimiento semántico y pragmático.

¿Cuáles son los objetivos de SuperGLUE?

Comprobar el razonamiento avanzado:** SuperGLUE va más allá del procesamiento básico del lenguaje: está diseñado para comprobar si los modelos pueden razonar, hacer inferencias y utilizar el conocimiento de sentido común en situaciones complejas.
Al introducir tareas más complejas, SuperGLUE motiva a los investigadores a desarrollar técnicas de aprendizaje automático más avanzadas y capaces.
A diferencia de GLUE, que se centra en retos más sencillos, SuperGLUE proporciona una forma más realista y completa de probar el rendimiento de los modelos con datos complejos del mundo real.
SuperGLUE se creó pensando en el futuro: es lo suficientemente exigente como para que incluso los mejores modelos actuales tengan mucho margen de mejora, lo que lo convierte en una valiosa herramienta para seguir el progreso de la PNL.

Cómo funciona SuperGLUE

SuperGLUE evalúa los modelos de PNL poniendo a prueba sus habilidades lingüísticas. Estas tareas exigen que los modelos hagan algo más que clasificar frases o predecir palabras sueltas: deben enfrentarse a complejidades del mundo real. Esto incluye la resolución de coreferencias (averiguar qué palabras o frases se refieren a lo mismo), el razonamiento (extraer conclusiones lógicas del texto) y la comprensión de las relaciones entre entidades en contexto. Cada tarea mide la capacidad de los modelos para hacer frente a las sofisticadas exigencias del lenguaje humano.

Descripción detallada de las tareas

SuperGLUE es un superconjunto de muchas tareas, que trataremos en esta sección. Antes, veremos diferentes métricas de evaluación necesarias para puntuar el modelo en función de su rendimiento.

Métricas de evaluación

SuperGLUE emplea varias métricas de evaluación dependiendo de la tarea:

Exact Match (EM): Se utiliza para tareas que evalúan si la respuesta predicha coincide exactamente con la respuesta esperada.
Puntuación F1: Mide la precisión y la recuperación cuando son posibles varias respuestas correctas.
Exactitud:** Proporción de ejemplos predichos correctamente utilizados en tareas de clasificación más sencillas como BoolQ.
F1 macromediado:** Promedio de las puntuaciones F1 de todas las clases, lo que garantiza una evaluación equilibrada incluso con desequilibrio de clases.

Figura- SuperGLUE Benchmark- Tabla resumen de las tareas SuperGLUE, incluyendo tamaños de corpus, métricas y fuentes de texto para cada tarea..png](https://assets.zilliz.com/Figure_Super_GLUE_Benchmark_Summary_table_of_Super_GLUE_tasks_including_corpus_sizes_metrics_and_text_sources_for_each_task_3ba1fdfde9.png)

Figura: SuperGLUE Benchmark: Tabla resumen de las tareas SuperGLUE, incluidos los tamaños de los corpus, las métricas y las fuentes de texto para cada tarea.

Exploremos el resumen detallado de las tareas de SuperGLUE para comprender la profundidad y variedad de sus retos.

BoolQ (Preguntas booleanas)

BoolQ es una tarea de respuesta a preguntas binarias en la que el modelo determina si una pregunta sí/no es verdadera basándose en un pasaje dado. Aquí están la entrada, la salida y la métrica de la tarea:

| Entrada, Salida, Métrica. | -------------------------------------------------- | --------------------------------------------- | ---------- | | Un pasaje y una pregunta sí/no sobre el pasaje. | Un valor booleano (verdadero para sí, falso para no). | Precisión

He aquí un ejemplo:

Pasaje: "Barq's es un refresco que contiene cafeína y está embotellado por Coca-Cola".

Pregunta: "¿La cerveza de raíz Barq's contiene cafeína?".

Salida: Verdadero

CB (CommitmentBank)

CB consiste en evaluar si una cláusula incluida en un texto es probablemente verdadera (vinculación), falsa (contradicción) o indeterminada (neutra).

| Entrada: Entrada: Salida: Métrica. | --------------------------- | ------------------------------------------------ | ------------------------------- | | Una premisa y una hipótesis. | Una etiqueta (vinculación, neutral o contradicción). | Precisión y F1 macromediado. |

He aquí un ejemplo:

Premisa: "Ella dijo que podría asistir a la reunión".

**Hipótesis: "Es seguro que asistirá a la reunión".

**Salida: Contradicción

COPA (Elección de alternativas plausibles)

COPA es una tarea de razonamiento causal en la que el modelo determina la causa o efecto más plausible de una premisa dada entre dos alternativas.

Input	Output	Metric
Una premisa y dos alternativas (causa/efecto).	La alternativa más plausible (1 o 2).	Precisión

Veamos un ejemplo:

Premisa: "La hierba está mojada".

Alternativa 1: "Anoche llovió".

Alternativa 2: "El sol brillaba intensamente".

Salida: 1

MultiRC (Comprensión de lectura de varias frases)

MultiRC consiste en responder a preguntas basadas en un pasaje, donde cada pregunta puede tener varias respuestas correctas.

| Entrada, salida, métrica. | ----------------------------------------------------- | ----------------------------------------------- | ------------------- | | Un pasaje, una pregunta y un conjunto de posibles respuestas. | Una etiqueta binaria (Verdadero o Falso) para cada respuesta. | F1 y coincidencia exacta. |

He aquí un ejemplo sencillo:

Pasaje: "Susan invitó a sus amigas a una fiesta. Una de sus amigas estaba enferma pero después asistió".

Pregunta: "¿Asistió el amigo enfermo a la fiesta?".

Respuestas: "Sí", "No"

Salida: Sí

**ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset)

ReCoRD es una tarea de comprensión lectora al estilo Cloze que requiere razonamiento de sentido común para predecir entidades enmascaradas en un pasaje.

| Datos de entrada, salida y métrica. | ------------------------------------------- | --------------------------------------------- | ---------- | | Un pasaje con entidades enmascaradas y una pregunta. | La entidad correcta de una lista de candidatos. | F1 y EM. |

He aquí un ejemplo sencillo:

Pasaje: "Tesla fue fundada por ".

Pregunta: "¿Quién fundó Tesla?"

Candidatos: "Elon Musk", "Nikola Tesla", "Thomas Edison"

Salida: Elon Musk

RTE (Reconocimiento de la información textual)

RTE determina si una hipótesis es verdadera, falsa o indeterminada a partir de una premisa dada.

Input	Output	Metric
Una premisa y una hipótesis.	Una etiqueta (vinculación, neutral o contradicción).	Precisión

He aquí un ejemplo:

Premisa: "Dana Reeve, la viuda de Christopher Reeve, falleció a los 44 años".

**Hipótesis: "Dana Reeve tenía 44 años cuando murió".

Salida: Entailment

WiC (Palabra en contexto)

WiC comprueba la desambiguación del sentido de las palabras determinando si una palabra se utiliza con el mismo significado en dos contextos diferentes.

Entrada	Salida	Métrica
Dos frases que contienen la misma palabra.	Una etiqueta binaria (Verdadero para el mismo sentido, Falso para sentido diferente).	Precisión

Veamos un ejemplo:

Sentencia 1: "Clavó las tablas en la pared".

Frase 2: "El tablero de ajedrez estaba bellamente elaborado".

Palabra objetivo: "tablero"

Salida: Falso

WSC (Winograd Schema Challenge)

WSC es una tarea de resolución de coreferencia en la que el modelo identifica el referente correcto de un pronombre ambiguo utilizando razonamiento de sentido común.

| Entrada | Salida | Métrica | **Métodos | ------------------------------------------- | --------------------- | ---------- | | Una frase que contiene un pronombre ambiguo. | El referente correcto. | Precisión

He aquí un ejemplo:

Sentencia: "Mark le regaló un libro a Ted, pero no le gustó".

Pronombre: "él"

Salida: Ted

Las tareas anteriores de SuperGLUE desafían a los modelos de PNL más allá de la mera comprensión del lenguaje, para lo cual se supone que cualquier sistema debe construir razonamientos matizados y resolver problemas del mundo real. Así pues, SuperGLUE evalúa el modelo basándose en la comprensión, el razonamiento y la aplicación eficaz de conocimientos de sentido común. Proporciona un marco de evaluación exhaustivo que capta tanto la precisión como la recuperación de los modelos en diversos retos de comprensión del lenguaje.

Ejemplo de aplicación

A continuación se muestra un ejemplo de carga e interacción con la tarea ReCoRD de SuperGLUE utilizando la biblioteca Hugging Face:

from datasets import load_dataset

# Cargar la tarea ReCoRD desde SuperGLUE
dataset = load_dataset("super_glue", "record", trust_remote_code = True
)

# Acceder a los datos de entrenamiento
train_data = dataset['train']

# Punto de datos de ejemplo
ejemplo = datos_entrenamiento[0]
print(f "Pasaje: {ejemplo['pasaje']}")
print(f "Consulta con entidad enmascarada: {ejemplo['consulta']}")

La función cargar_conjunto_datos carga la tarea ReCoRD. La entrada incluye un pasaje y una consulta con una entidad enmascarada que debe resolverse. El objetivo del modelo es predecir correctamente la entidad enmascarada, demostrando así su capacidad para comprender el pasaje y aplicar el razonamiento de sentido común.

Figura - Resultado del ejemplo implementado.png](https://assets.zilliz.com/Figure_Output_of_Implemented_Example_2aeec3adee.png)

Figura: Resultado del ejemplo implementado

SuperGLUE vs. GLUE: Principales diferencias

SuperGLUE mejora GLUE introduciendo tareas mucho más exigentes que reflejan la comprensión lingüística del mundo real.

Características	GLUE	SuperGLUE
Complejidad de las tareas	Tareas lingüísticas básicas (por ejemplo, análisis de sentimientos)	Tareas complejas que requieren razonamiento y sentido común	Saturación del conjunto de datos
Saturación del conjunto de datos Rendimiento cercano al nivel humano Amplio margen de mejora del modelo
Requisitos de razonamiento: razonamiento mínimo, necesidad de razonamiento e inferencia de alto nivel.
Diversidad de tareas: Principalmente clasificación de frases y tareas de similitud. Incluye control de calidad, coreferencia y comprensión lectora.
Aplicación en el mundo real	Reflexión limitada sobre el mundo real	Tareas diseñadas para emular retos lingüísticos del mundo real	Aplicación en el mundo real

Ventajas y retos de SuperGLUE

SuperGLUE sustituye la forma en que se han evaluado los modelos de PNL al centrarse en su capacidad para resolver con matices tareas del mundo real que exigen razonamiento y contexto avanzado. Analicemos algunas ventajas concretas que SuperGLUE confiere a la PNL y los retos a los que se enfrentan los investigadores a la hora de aprovechar todo su potencial.

Ventajas

SuperGLUE incluye tareas que requieren que los modelos utilicen conocimientos de sentido común. Por ejemplo, el Winograd Schema Challenge (WSC) pone a prueba la resolución de pronombres utilizando el sentido común, mientras que la tarea COPA evalúa el razonamiento causal eligiendo la causa o el efecto más plausible en un escenario dado. Estas tareas les hacen más capaces en escenarios del mundo real.
Al incluir tareas más complejas, SuperGLUE supera la saturación de GLUE, en la que los modelos alcanzaban un rendimiento cercano al humano en tareas más sencillas, lo que lo hacía menos eficaz para distinguir los avances.
Las tareas complejas de SuperGLUE fomentan el desarrollo de modelos que funcionan bien y proporcionan resultados más interpretables, ayudando a los investigadores a entender cómo y por qué los modelos hacen predicciones específicas.
Refleja problemas del mundo real:** Las tareas de SuperGLUE están diseñadas para reflejar los problemas que encuentran los modelos en aplicaciones como la comprensión lectora y los sistemas de diálogo. Por ejemplo, la tarea ReCoRD pone a prueba el razonamiento basado en el sentido común para deducir información que falta, mientras que WSC evalúa la resolución de pronombres ambiguos, una capacidad clave para los asistentes virtuales y la IA conversacional.
SuperGLUE permite a los investigadores examinar cómo y dónde fallan los modelos, proporcionando tareas diversas y desafiantes que ponen de relieve puntos débiles específicos. Este detallado análisis de errores ayuda a identificar las áreas en las que los modelos tienen dificultades, como el razonamiento, la comprensión del sentido común o la comprensión contextual, lo que permite realizar mejoras específicas para que los modelos sean más sólidos y fiables.

Desafíos

Costes computacionales elevados:** El entrenamiento de modelos en SuperGLUE puede ser costoso desde el punto de vista computacional debido a la complejidad de las tareas. Utilizar arquitecturas optimizadas e infraestructuras basadas en la nube puede ayudar a gestionar eficazmente la demanda de recursos.
Ajuste fino complejo:** Cada tarea en SuperGLUE puede requerir diferentes estrategias de ajuste fino. Los enfoques de aprendizaje multitarea y aprendizaje por transferencia pueden ayudar a agilizar este proceso. El aprendizaje multitarea entrena un modelo en tareas relacionadas para mejorar la generalización, mientras que el aprendizaje por transferencia aplica el conocimiento de una tarea para mejorar el rendimiento en otra, minimizando la necesidad de datos y entrenamiento extensivos.
Algunas tareas SuperGLUE vienen con datos limitados, lo que aumenta el riesgo de que los modelos se ajusten en exceso durante el entrenamiento. Este problema puede resolverse empleando técnicas como el aumento de datos para crear muestras de entrenamiento más diversas y la regularización para mejorar la generalización del modelo.
Aunque las clasificaciones muestran el rendimiento de los modelos, centrarse únicamente en estas puntuaciones puede restar valor práctico a los modelos. Desviar la atención hacia las aplicaciones del mundo real ayuda a garantizar que los modelos sean competitivos y tengan impacto en escenarios prácticos.
Dificultad para comparar resultados:** La variabilidad en las implementaciones, el hardware y los hiperparámetros puede dificultar la comparación equitativa de resultados entre grupos de investigación. La estandarización de los protocolos de evaluación, la puesta en común de bases de código y el uso de puntos de referencia comunes permiten realizar comparaciones más coherentes y justas.

Casos de uso de SuperGLUE

SuperGLUE es un punto de referencia importante que ayuda a mejorar la PNL desafiando a los modelos con tareas basadas en complejidades del mundo real. Los ejemplos de estos usos pueden ir desde la mejora de la IA conversacional y los sistemas de razonamiento hasta la búsqueda semántica.

SuperGLUE tiene numerosas aplicaciones en PNL y en otros campos:

IA conversacional:** SuperGLUE mejora el desarrollo de asistentes virtuales al proporcionar puntos de referencia que ponen a prueba la capacidad de los modelos para comprender consultas matizadas con mejor razonamiento y sentido común.
Sistemas de razonamiento avanzado:** SuperGLUE impulsa la creación de herramientas de apoyo a la toma de decisiones evaluando y mejorando la capacidad de inferencia lógica de los modelos.
Comprensión de lectura:** SuperGLUE permite a los modelos de PLN analizar y resumir documentos extensos con precisión, planteándoles tareas que requieren una comprensión avanzada y contextual, lo que ayuda a la investigación y la educación.
Representación e inferencia del conocimiento: SuperGLUE ayuda a construir grafos de conocimiento más sólidos poniendo a prueba la capacidad de los modelos para comprender relaciones y aplicar razonamientos de sentido común, dando soporte a motores de búsqueda y sistemas de recomendación.
Búsqueda semántica y bases de datos vectoriales:** SuperGLUE mejora la precisión de la búsqueda semántica al permitir que los modelos gestionen eficazmente tareas complejas de recuperación de información a gran escala.

Herramientas compatibles con SuperGLUE

Las tareas avanzadas y los puntos de referencia de SuperGLUE condujeron al desarrollo de otras herramientas y plataformas diseñadas para facilitar su implementación y evaluación. Estas herramientas ayudan a los investigadores y desarrolladores a tomar mejores decisiones sobre el acceso a los datos, el entrenamiento de los modelos y el análisis de los resultados.

Veamos las herramientas que apoyan y mejoran la adopción e interacción con SuperGLUE.

Herramientas

Hugging Face Datasets: Proporciona una forma sencilla de cargar e interactuar con las tareas de SuperGLUE, agilizando el desarrollo y las pruebas de los modelos.
Conjuntos de datos TensorFlow:** Ofrece versiones preformateadas de tareas SuperGLUE, integrándose bien con modelos basados en TensorFlow.
AllenNLP: Proporciona módulos y componentes para tareas NLP, simplificando la experimentación con SuperGLUE.

Evaluación de modelos de IA con SuperGLUE y mejora de los mismos con RAG

Las pruebas como SuperGLUE son esenciales para evaluar las capacidades de los grandes modelos lingüísticos (LLMs). Proporcionan un marco estandarizado para medir el rendimiento de un modelo en diversas tareas y facilitan las comparaciones directas entre modelos. Al poner de relieve los puntos fuertes, como el razonamiento, y exponer los puntos débiles, como los problemas con el razonamiento complejo o las tareas específicas del dominio, SuperGLUE ayuda a los investigadores a identificar áreas de mejora. Esta información permite afinar el modelo y mejorar su capacidad de comprensión y generación de contenidos.

Sin embargo, aunque SuperGLUE es valioso para mejorar los LLM, no es una panacea. Los LLM tienen limitaciones intrínsecas, independientemente de su rendimiento en las pruebas de referencia. Se entrenan con conjuntos de datos estáticos y fuera de línea y no tienen acceso a información en tiempo real o específica del dominio. Esto puede dar lugar a alucinaciones, donde los modelos generan respuestas inexactas o inventadas. Estas deficiencias se vuelven aún más problemáticas cuando se abordan consultas propias o muy especializadas.

Presentación de RAG: una solución para mejorar las respuestas LLM

Para hacer frente a estos retos, Retrieval-Augmented Generation (RAG) ofrece una potente solución. RAG mejora los grandes modelos lingüísticos (LLM) combinando sus capacidades generativas con la capacidad de recuperar información específica del dominio a partir de bases de conocimiento externas almacenadas en una base de datos vectorial como Milvus o Zilliz Cloud. Cuando un usuario formula una pregunta, el sistema RAG busca en la base de datos la información pertinente y la utiliza para generar una respuesta más precisa. Veamos cómo funciona el proceso GAR.

Figura- Flujo de trabajo RAG.png](https://assets.zilliz.com/Figure_RAG_workflow_5bfbcccddf.png)

Un sistema GAR suele constar de tres componentes clave: un modelo de incrustación, una base de datos vectorial y un LLM.

El modelo de incrustación convierte los documentos en incrustaciones vectoriales, que se almacenan en una base de datos vectorial como Milvus.
Cuando un usuario formula una pregunta, el sistema transforma la consulta en un vector utilizando el mismo modelo de incrustación.
A continuación, la base de datos vectorial realiza una búsqueda por similitud para recuperar la información más relevante. Esta información recuperada se combina con la pregunta original para formar una "pregunta con contexto", que luego se envía al LLM.
El LLM procesa esta información enriquecida para generar una respuesta más precisa y contextualmente relevante.

Este enfoque tiende un puente entre los LLM estáticos y las necesidades específicas del dominio en tiempo real.

Preguntas frecuentes sobre SuperGLUE

**SuperGLUE se basa en GLUE introduciendo tareas de razonamiento y sentido común que van mucho más allá de las tareas que se encuentran en GLUE.
**Los modelos basados en transformadores sobresalen en SuperGLUE gracias a su mecanismo de autoatención, que captura el contexto y las dependencias de largo alcance, su amplio preentrenamiento en grandes conjuntos de datos, su escalabilidad y su adaptabilidad mediante el aprendizaje por transferencia.
**El entrenamiento de modelos en SuperGLUE requiere importantes recursos informáticos debido a la complejidad de las tareas, que exigen una gran capacidad de procesamiento para el ajuste fino, el razonamiento y el manejo eficaz de grandes conjuntos de datos.
**Aunque se centra en la generalización, es posible personalizarlo para dominios específicos mediante un ajuste adicional con datos específicos del dominio.
**Establece un estándar para la evaluación de modelos en aplicaciones del mundo real como la búsqueda semántica y la IA conversacional.

Recursos relacionados

Guía para principiantes sobre el procesamiento del lenguaje natural](https://zilliz.com/learn/A-Beginner-Guide-to-Natural-Language-Processing)
Evaluación comparativa SuperGLUE](https://super.gluebenchmark.com/)
Clasificación SuperGLUE](https://super.gluebenchmark.com/leaderboard)
Conjunto de datos SuperGLUE de caras abrazadas](https://huggingface.co/datasets/aps/super_glue)
Conjuntos de datos SuperGLUE](https://paperswithcode.com/dataset/superglue)
20 conjuntos de datos abiertos útiles para el procesamiento del lenguaje natural](https://zilliz.com/learn/popular-datasets-for-natural-language-processing)
Qué es RAG](https://zilliz.com/learn/Retrieval-Augmented-Generation)
¿Qué son las bases de datos vectoriales y cómo funcionan? ](https://zilliz.com/learn/what-is-vector-database)

Contenido

Comienza Gratis, Escala Fácilmente

Prueba la base de datos vectorial completamente gestionada construida para tus aplicaciones GenAI.

Prueba Zilliz Cloud Gratis

Comparte este artículo

Recursos relacionados

Cómo obtener las incrustaciones vectoriales adecuadas

Una introducción completa a las incrustaciones vectoriales y cómo generarlas con modelos populares de código abierto.

Búsqueda por similitud vectorial con Milvus

Aprenda a crear un motor de búsqueda de similitud semántica

¿Qué es una base de datos vectorial?

Una base de datos vectorial es una solución sencilla y totalmente gestionada para almacenar, indexar y buscar en un conjunto masivo de datos no estructurados que aprovecha la potencia de las incrustaciones de los modelos de aprendizaje automático.