Evaluación de Modelos en Amazon Bedrock: El Arte de la Selección Inteligente. Parte I

La Inteligencia Artificial generativa ha traído consigo todo un panorama de posibilidades que está revolucionando las industrias, mejorando procesos, transformando nuestra jornada cotidiana con herramientas que aceleran y agilizan tareas repetitivas, ayudan a mejorar la calidad de nuestros productos y nos han facilitado recursos con los que hace unos meses nos era más difícil contar, como videos e imágenes para nuestros proyectos personales.

Las estadísticas reflejan su incorporación en el mundo de los negocios y cómo se percibe su utilización. Por ejemplo, de acuerdo con el estudio Our life with AI de Google e IPSOS 2024, 9 de cada 10 encuestados piensa que la IA cambiará las industrias y/o los trabajos en los próximos 5 años. Por otra parte, quienes han utilizado esta tecnología, en un 77% consideran que tiene un impacto positivo importante en cómo accedemos a la información, y un 71% de ellos piensan que la IA tiene un impacto positivo en cómo trabajamos. Definitivamente, la IA llegó para quedarse.

Ahora bien, desde mi perspectiva, las herramientas que tenemos disponibles hoy en día habilitan las creaciones de nuestra imaginación, han eliminado gran cantidad de barreras y son económicamente viables.

En el campo de la IA Generativa, desde hace ya algún tiempo AWS consolidó su posición con Amazon Bedrock, el cual es un servicio completamente administrado que facilita enormemente la incorporación de la IA Generativa a nuestros proyectos personales y empresariales.

Bedrock, a través de una API unificada, nos permite de manera sencilla trabajar y experimentar con diversos modelos fundacionales, eliminando barreras de incorporación de esta tecnología a nuestros proyectos.

En particular, Bedrock destaca por su flexibilidad: fácilmente nos permite cambiar modelos según las necesidades específicas de cada caso de uso. Originalmente se limitaba a una cantidad de modelos fundacionales, sin embargo, recientemente ha expandido su catálogo, incorporando no solo modelos de los líderes tradicionales del mercado como Anthropic, Amazon, Meta, Mistral AI, entre otros, sino que también ha incluido modelos de proveedores emergentes. Hoy en día contamos con más de 160 opciones disponibles, lo cual proporciona un espectro más amplio para seleccionar el modelo que mejor se adapte a nuestros requisitos particulares.

Quienes han experimentado sabrán que el trabajo con IA Generativa requiere un enfoque personalizado, ya que cada caso de uso puede beneficiarse de diferentes modelos. No se trata de una receta de cocina con ingredientes preestablecidos; cada caso requiere una valoración.

La actual diversidad de opciones presenta múltiples combinaciones de rendimiento y costos, haciendo que la evaluación y selección del modelo más apropiado sea un paso crítico tanto para la calidad del resultado como para la optimización de recursos financieros.

Figura 1. Modelos disponibles en Amazon Bedrock.

Afortunadamente, entre las nuevas funcionalidades disponibles en Amazon Bedrock se encuentra la capacidad de evaluar modelos, lo que nos permite seleccionar de manera más acertada el modelo o los modelos que requerimos para implementar nuestro caso de uso. En particular, considero que la elección de cualquier servicio o solución, en términos generales, debe cumplir primero con satisfacer el requerimiento de negocio. Además, debe hacerlo de forma segura, eficiente y, sin lugar a dudas, de manera costo-efectiva.

Evaluación de Modelos en Amazon Bedrock

Con esta facilidad es posible evaluar el desempeño de un modelo para tareas específicas. Existen disponibles cuatro tipos de evaluaciones (ver Figura 2), que permiten medir el desempeño del modelo según la tarea.

Figura 2: Métodos disponibles para evaluar modelos en Amazon Bedrock

Evaluaciónes Automáticas

Me enfocaré en las evaluaciones automáticas en este artículo. El propósito de este tipo de evaluación es comparar diferentes modelos o versiones del mismo y evaluar así su desempeño, inclusive pueden ser aplicadas a modelos personalizados. Es importante destacar que estas evaluaciones pueden ser muy valiosas no obstante es recomendable una valoración complementaria.

El procedimiento para evaluar un modelo es bastante sencillo. Sin embargo, antes de explicar cómo se lleva a cabo, me enfocaré en el contexto: ¿qué se puede evaluar? y ¿cómo se realiza?. Es posible evaluar diferentes tipos de tareas (ver Figura 3).

Figura 3: Tareas que se pueden evaluar en Amazon Bedrock

Para cada uno de estos ámbitos o tareas, es posible evaluar:

• Precisión (Accuracy): Esta métrica mide qué tan bien un modelo realiza una tarea específica, evaluando la proporción de respuestas correctas. Las métricas utilizadas dependen del tipo de tarea.

• Robustez: Evalúa la consistencia de las salidas del modelo frente a pequeñas variaciones en la entrada.

• Toxicidad: Permite evaluar la presencia de contenido dañino u ofensivo en las respuestas generadas por el modelo.

💡 Nota:

Es importante tener en cuenta que cada modelo a evaluar debe ser analizado uno a la vez.

Evaluando Modelos para Atención de Respuestas a Preguntas (Q&A)

Seleccioné este tipo de tarea para iniciar, ya que está asociado a los casos de uso más comunes entre nuestros clientes. A continuación, los detallo:

• Soporte y servicio al cliente: Se emplea para responder preguntas frecuentes, como la consulta de guías, el estado de tiquetes, errores comunes en plataformas, mejores prácticas e incluso el estado de pedidos.

• Comercio: Se utiliza para verificar el estado de órdenes de compra, gestionar devoluciones, consultar la disponibilidad de productos, entre otros.

• Asistentes legales: Apoyan en consultas jurídicas y automatización de procesos relacionados.

Al evaluar este tipo de tareas, es posible seleccionar una o varias métricas de interés. Además, se pueden utilizar conjuntos de datos personalizados o los proporcionados por defecto, los cuales listaré y ejemplificaré a continuación.

Set de Evaluación

BoolQ

El primer set corresponde a BoolQ. Este conjunto proporciona más de 15,000 preguntas de tipo Sí o No. Las preguntas están basadas en búsquedas reales realizadas por personas y están compuestas por:

• Un contexto
• La pregunta
• La respuesta esperada

Veamos este ejemplo para ilustrar cómo está conformado el dataset.

Al revisar un conjunto como este, no puedo evitar pensar en los exámenes de comprensión lectora que alguna vez nos aplicaron en la escuela:

• Contexto:
  
  "La Torre Eiffel fue construida entre 1887 y 1889 para la Exposición Universal de París. Originalmente, la torre estaba planificada para ser demolida después de 20 años, pero se salvó debido a su utilidad como antena de radio."

• Pregunta:
  
  "¿Estaba planeado que la Torre Eiffel fuera una estructura permanente?"

• Respuesta esperada:
  
  "No"

Dependiendo del resultado obtenido, podemos saber qué tan bien comprende el contexto nuestro modelo y si llega a una conclusión adecuada y precisa de Sí o No.

Este es el resultado que obtuvo uno de los modelos que analicé:

Es interesante cómo no logra interpretar correctamente todas las preguntas, lo cual evidencia las diferencias de comprensión entre modelos.

Natural Questions

Este conjunto de datos está compuesto por preguntas reales enviadas por los usuarios a Google Search. Contiene aproximadamente 300,000 preguntas, y cada una incluye los siguientes elementos:

• Pregunta del usuario: Una consulta en lenguaje natural.
• Artículo de Wikipedia asociado: Documento donde se encuentra la respuesta.
• Respuesta corta: El fragmento exacto del texto que responde directamente a la pregunta.
• Respuesta larga: Un extracto más amplio que proporciona contexto adicional.

Ejemplo:

• Pregunta del usuario: ¿Cuál es la capital de Canadá?
• Artículo de Wikipedia asociado: Canadá
• Respuesta corta: Ottawa
• Respuesta larga: La capital de Canadá es Ottawa. Es la cuarta ciudad más grande del país y se encuentra en la provincia de Ontario. Ottawa es el centro político de Canadá y alberga el Parlamento, la residencia del Primer Ministro y otras instituciones gubernamentales.

Veamos un subconjunto aplicado a los modelos y la respuesta de alguno de ellos.

Natural Questions – Model Evaluation

TriviaQA

Este último conjunto de datos está compuesto por más de 650,000 preguntas, que incluyen los siguientes elementos:

• Pregunta: El enunciado planteado.
• Respuesta esperada: La respuesta correcta que se busca.
• Documentos de evidencia: Aproximadamente seis documentos por pregunta, que corresponden a artículos, noticias o documentos web que contienen la respuesta.

Ejemplo:

• Pregunta: ¿Quién escribió Hamlet?
• Respuesta esperada: William Shakespeare
• Documentos de evidencia: Páginas de Wikipedia, artículos de noticias o documentos web que contienen la respuesta.

Este es un pequeño subset de datos aplicados a uno de los modelos evaluados.

TriviaQA – Model Evaluation Subset

En la próxima entrega, analizaremos los resultados obtenidos a partir de la evaluación de cada modelo