Cómo UNIwise creó una plataforma escalable de detección de plagio con Milvus
Eficiente en costos
a cualquier escala
Más de 10.000 documentos
Procesamiento fluido en un solo lote, con una vía hacia decenas de miles de millones de vectores
Detección de plagio más inteligente
en lenguas europeas con búsqueda de similitud semántica
Innovación más rápida
con más tiempo de ingeniería para crear nuevas funciones
Milvus transformed our ability to detect semantic plagiarism at scale. We can now process variable workloads ranging from 10 to 10,000+ documents daily while maintaining cost-effectiveness, which would have been impossible with traditional solutions.
Teis Petersen
Acerca de UNIwise
UNIwise es un proveedor europeo líder de soluciones de exámenes en línea, en el que las universidades confían desde hace más de 12 años. Con sede en Dinamarca, la empresa presta apoyo a instituciones de toda Escandinavia, el Reino Unido y otros lugares. Su plataforma insignia, WISEflow, cubre todo el ciclo de vida de la evaluación: desde la creación y la entrega de exámenes hasta la calificación, la retroalimentación y la integración con los Sistemas de Gestión del Aprendizaje (LMS) universitarios.
Sobre esta base, UNIwise lanzó WISEflow Originality, un sistema de detección de plagio semántico impulsado por Milvus. Al seleccionar Milvus frente a soluciones de bases de datos vectoriales competidoras, UNIwise creó una plataforma rentable que puede escalar hasta miles de millones de documentos. Con una arquitectura moderna y estrategias de escalado inteligentes, WISEflow Originality ofrece rendimiento y fiabilidad de nivel empresarial, proporcionando a las universidades una potente herramienta para garantizar la integridad académica.
El desafío: escalar más allá de la detección de plagio heredada
A medida que muchas universidades europeas ampliaron su uso de evaluaciones digitales, muchas comenzaron a superar las herramientas heredadas de detección de plagio. Los sistemas existentes, como Turnitin, dependían en gran medida de técnicas tradicionales de coincidencia de texto que eran costosas de operar y tenían dificultades para escalar con volúmenes crecientes de contenido. Estos métodos a menudo no lograban captar similitudes semánticas, lo que dificultaba la detección de contenido parafraseado en diferentes idiomas, una necesidad clave para las instituciones europeas.
Para satisfacer esta demanda, UNIwise se propuso crear WISEflow Originality, una plataforma capaz de gestionar comparaciones entre miles de millones de documentos manteniendo los costos bajo control. El sistema requería comprensión semántica más allá de simples coincidencias de texto y debía admitir múltiples idiomas europeos, incluidos danés, noruego, sueco, alemán, inglés y español. Al mismo tiempo, necesitaba integrarse sin problemas con WISEflow, entregar resultados dentro de un SLA de 24 horas y minimizar la sobrecarga de infraestructura.
Desde una perspectiva empresarial, UNIwise se enfrentó al desafío de competir contra actores establecidos con recursos significativamente mayores, utilizando un pequeño equipo de ingeniería para construir una compleja plataforma de procesamiento de datos. También necesitaban navegar los procesos de licitación pública de la UE para contratos universitarios, manteniendo al mismo tiempo la eficiencia operativa y la rentabilidad a escala empresarial.
La solución: construir un motor de detección semántica con Milvus
Para dar vida a WISEflow Originality, UNIwise pronto se dio cuenta de que las bases de datos vectoriales podían ofrecer la comparación semántica y la escalabilidad que necesitaban a una fracción del costo de los enfoques tradicionales de coincidencia de texto. Realizaron una evaluación exhaustiva de varias soluciones de búsqueda vectorial, incluidas Milvus, Weaviate, Redis Vector Search y OpenSearch. Cada opción se midió frente a criterios ponderados, incluidos estabilidad, escalabilidad para grandes conjuntos de datos, optimización del rendimiento, cumplimiento de estándares, comunidad y soporte, y compatibilidad con herramientas existentes.
Por qué ganó Milvus
Milvus surgió como la opción más adecuada en múltiples dimensiones. La calidad de la documentación fue uno de los factores decisivos, como señaló Teis Petersen, líder del equipo de ingeniería en UNIwise: “Cuando necesitas ejecutar una base de datos vectorial y no tienes experiencia, realmente, realmente quieres buena documentación. Es realmente, realmente clave.” Milvus proporcionó documentación clara y accesible que aceleró la incorporación.
Igual de importante, Milvus está diseñado específicamente para operaciones vectoriales —a diferencia de las bases de datos de propósito general con funciones de búsqueda vectorial añadidas— y ofrece una escalabilidad y un rendimiento superiores. Su gran y activa comunidad de código abierto y su moderna arquitectura nativa de la nube también dieron a UNIwise confianza en el soporte a largo plazo y en estrategias de despliegue flexibles.
Arquitectura técnica
Con Milvus como núcleo, UNIwise implementó una canalización de procesamiento de datos totalmente asíncrona. El sistema utiliza Milvus, junto con un modelo MiniLM multilingüe de similitud de oraciones que emplea vectores de 384 dimensiones. Los componentes adicionales incluyen YOLO v3 para la detección del diseño de documentos y modelos de OCR para la extracción de texto. La capa de orquestación combina servicios Go para la gestión de API y la coordinación de flujos de trabajo con servicios Python para el aprendizaje automático, respaldados por un repositorio de modelos MLflow. Todos los componentes se implementan en un clúster gestionado en servicios AWS EKS.
El flujo de trabajo integral comienza con la ingesta de documentos desde WISEflow, seguida de la detección del diseño para eliminar elementos irrelevantes como títulos y números de página. Luego se extrae, segmenta e incrusta el texto en vectores utilizando el modelo MiniLM. Milvus indexa estas incrustaciones y realiza búsquedas de similitud, tras lo cual los resultados se agregan y se presentan directamente dentro de la interfaz de WISEflow.
Cómo Milvus ayudó a UNIwise a obtener resultados
Al seleccionar Milvus como la base de búsqueda para WISEflow Originality, UNIwise abordó fácilmente los desafíos técnicos a los que se enfrentaba. La plataforma ahora combina eficiencia de costos, escalabilidad y capacidades avanzadas de detección de formas que las herramientas heredadas de detección de plagio no pueden igualar.
Mantener los costos bajo control mientras se escala
El diseño nativo en la nube de Milvus brindó a UNIwise la flexibilidad de escalar los recursos hacia arriba y hacia abajo bajo demanda. Al adoptar este enfoque, pueden mantener sostenibles los costos de infraestructura, a pesar de las grandes cantidades de datos.
Detección de plagio más inteligente con búsqueda vectorial
A diferencia de los sistemas heredados limitados a la coincidencia de palabras clave o cadenas, Milvus permite la búsqueda de similitud semántica en contenido multilingüe. Combinado con el modelo MiniLM, esto permite a UNIwise detectar plagio parafraseado y reestructurado en siete idiomas europeos.
Escalabilidad para cualquier carga de trabajo
La separación de indexación y búsqueda en Milvus permitió a UNIwise escalar cada función de forma independiente. Esto hizo posible manejar cargas de trabajo que van desde un puñado de documentos hasta más de 10.000 en un solo lote, con un camino claro hacia decenas de miles de millones de vectores en el futuro. Ahora, el sistema puede crecer en consonancia con las necesidades de las universidades sin requerir cambios arquitectónicos importantes.
Fiabilidad operativa con equipos reducidos
Milvus proporcionó a UNIwise una columna vertebral fiable, ofreciendo una sólida gestión de errores. La disponibilidad de documentación completa y de una gran comunidad de código abierto también facilitó la curva de aprendizaje, permitiendo que el pequeño equipo de ingeniería de UNIwise mantuviera y ampliara el sistema sin una sobrecarga excesiva.
Más tiempo para las funciones que importan
Con Milvus encargándose del trabajo pesado de la búsqueda de similitud a escala, UNIwise pudo centrarse en crear funciones que importan a las universidades. El ecosistema de código abierto sigue acelerando el desarrollo, garantizando que WISEflow Originality siga siendo competitivo frente a los proveedores heredados mientras evoluciona para satisfacer nuevos requisitos académicos.
Planes futuros y hoja de ruta
UNIwise sigue construyendo sobre la base establecida con Milvus. A corto plazo, el equipo planea actualizar a Milvus 2.6 para aprovechar el almacenamiento por niveles para una optimización de costos aún mayor y beneficiarse de las últimas mejoras de rendimiento.
En conjunto, estos planes reflejan el compromiso de UNIwise con la mejora continua: reducir costos, mejorar el rendimiento y garantizar el cumplimiento, todo mientras aprovecha Milvus como el núcleo escalable de su plataforma de detección de originalidad.
Conclusión
El recorrido de UNIwise con WISEflow Originality demuestra cómo un equipo centrado puede desafiar a los gigantes de la industria combinando experiencia en el dominio con la base tecnológica adecuada. Al adoptar Milvus, UNIwise creó una plataforma de detección de plagio que es rentable, multilingüe y escalable a miles de millones de documentos: capacidades que los sistemas tradicionales basados en palabras clave tenían dificultades para ofrecer.
Este éxito destaca la creciente importancia de las bases de datos vectoriales en la tecnología educativa. Milvus le dio a UNIwise la capacidad de gestionar cargas de trabajo masivas, adaptarse rápidamente a nuevos requisitos e invertir recursos de ingeniería en las funciones que más importan a las universidades.
De cara al futuro, UNIwise está posicionada para seguir dando forma al futuro de la evaluación digital en Europa. Con Milvus como columna vertebral estratégica, la empresa puede ampliar sus capacidades de detección de originalidad mientras explora nuevas oportunidades en la búsqueda semántica y las herramientas de aprendizaje impulsadas por IA.
If I were to choose again, I would still choose Milvus at this point. The scalability, documentation quality, and continuous innovation make it the right foundation for our plagiarism detection platform.
Teis Petersen