ChatGPT crea Clavijeros de la PAES Admisión 2024
A finales de Noviembre, más de 250 mil postulantes rindieron la PAES Admisión 2024, prueba que se aplica en Chile para el acceso a la educación superior.
El DEMRE, la institución encargada de la PAES, publicó las pruebas que los postulantes rindieron. Sin embargo, no ha publicado de manera oficial los Clavijeros, que son los documentos que indican las alternativas correctas y las explicaciones de las preguntas.
¿Qué pasaría si le pidiéramos a ChatGPT rendir la prueba y que nos explicara las respuestas?
La idea suena interesante. ChatGPT ha respondido otras pruebas similares a nivel internacional. Por ejemplo, OpenAI, los creadores de ChatGPT, evaluó a principios de este año la capacidad de su modelo GPT-4 en responder pruebas profesionales y académicas, tales como el SAT (el equivalente a la PAES en Estados Unidos) y Medical Knowledge Self-Assessment Program.
Sin los clavijeros oficiales del DEMRE, no podremos calcular los puntos que obtiene ChatGPT respondiendo la PAES. Sin embargo, ¡podemos pedirle a ChatGPT que nos genere los clavijeros! Los ClavijerosGPT.
En el siguiente experimento le hemos pedido a ChatGPT que nos ayude a crear los clavijeros PAES, y que además, genere explicaciones de sus respuestas en las 8 pruebas oficiales publicadas por el DEMRE. El resultado de cada clavijero y sus explicaciones los podrás encontrar en los siguientes enlaces. Te invitamos a descargarlos y revisarlos mientras esperamos la publicación oficial de los clavijeros. Una vez que eso ocurra, calcularemos el puntaje obtenido por ChatGPT en cada prueba.
Estos documentos no son oficiales y muy probablemente contienen respuestas y explicaciones incorrectas. Se recomienda discreción en su uso. Para más información de cómo usarlo, se recomienda la pregunta ¿El clavijero está libre de errores? al final de este post.
ClavijerosGPT - Pruebas Obligatorias
ClavijerosGPT - Pruebas Electivas
¿El clavijero está libre de errores?
NO. En esto queremos ser claros. Es altamente probable que los documentos que observes contengan respuestas y explicaciones incorrectas.
De hecho, verás que en algunos casos GPT4-Vision, el modelo detrás de ChatGTP capaz de procesar imágenes y texto, no pudo identificar la alternativa correcta, aludiendo a una ausencia de información o bien a que, según sus cálculos, la respuesta no se encuentra dentro de las alternativas entregadas. Un ejemplo se muestra en la siguiente figura.
Durante la revisión de los documentos también identificamos errores en las respuestas entregadas por GPT4-Vision de ChatGPT. En algunos casos el razonamiento escrito iba en la dirección correcta, pero por alguna razón, llega a una conclusión errónea. Un ejemplo de esto se muestra en la siguiente figura.
Dado lo anterior, en EvoAcademy estamos convencidos que es fundamental el pensamiento crítico en el uso de estas herramientas y que todo usuario debe aprender a criticar el output entregado por las herramientas IA. También creemos que esto muestra lo relevante del componente humano en todo proceso donde participa una IA (Human in the loop).
Con el objetivo de fomentar ambos aspectos, hemos decidido entregar un código de 100% de descuento en la compra de nuestro libro ChatGPT para Principiantes a aquellas personas que nos envíen sugerencias de correcciones al correo [email protected].
¡Estamos esperando con ansias sus sugerencias!
¿Qué hay de distinto con los experimentos anteriores?
Si eres seguidor de nuestro blog (si no lo eres, te invitamos a suscribirte más abajo), habrás notado que ya hemos hecho este ejercicio anteriormente, donde mostramos que ChatGPT lograba desempeños sorprendentes en la PAES de Historia y Ciencias Sociales consiguiendo 960 puntos.
Sin embargo, los modelos de ChatGPT a los que podíamos acceder en ese entonces tenían una limitante: procesaban solamente texto. Por tanto, solo podíamos evaluar el desempeño de ChatGPT en 2 pruebas: Historia y Ciencias Sociales, y Competencia Lectora.
A principios de noviembre de este 2023, OpenAI liberó el acceso a su modelo GPT4-Vision, el cual tiene la capacidad de recibir y procesar secuencias de textos e imágenes. En el contexto de nuestro experimento, esto significa que ahora podemos pedirle a ChatGPT que responda a las preguntas las pruebas PAES que contenían imágenes tanto en su enunciado como alternativas.
Por ejemplo, la siguiente imagen muestra una pregunta que no podíamos procesar en los experimentos previos, pero que ahora, con la capacidad de "ver" de GPT4-V, sí podemos hacer. En resumen, a diferencia de los experimentos anteriores, esta vez pudimos evaluar ChatGPT en todas las pruebas PAES que el DEMRE realiza.
¿Cuál el costo total de automatizar los Clavijeros?
Para generar cada documento usamos la API de OpenAI, la cual nos permite conectarnos directamente a los modelos que procesan secuencias de imágenes y texto por medio de llamadas.
En palabras simples, enviamos cada pregunta, con su enunciados y alternativas, a al modelo de OpenAI detrás de la versión pagada de ChatGPT, y este nos entrega de vuelta la respuesta y la explicación.
El costo varía por llamada y se calcula en función de la complejidad de las imágenes y del texto. Mientras mayor tamaño y calidad tengan las imágenes, mayor es el precio pagado. Lo mismo ocurre si más texto es incluido en la llamada. Adicionalmente existe un cobro por el largo del texto generado que nos envían de vuelta.
El costo de nuestros experimentos en llamados a la API fue de USD$ 7,4, que a pesos chilenos son aproximadamente $ 6.600. Esto no considera las horas de trabajo en escribir el código de los experimentos y la digitación de las preguntas en un formato apto para realizar las llamadas a la API de OpenAI.
Si deseas más información al respecto, te invitamos a suscribirte al final de este post, o bien, contactarnos por nuestro formulario de contacto.
Por Jonathan Vásquez, para EvoAcademy