Un reciente estudio muestra el desempeño de la IA en los exámenes de admisión más populares del país
La Universidad Nacional Mayor de San Marcos (UNMSM) y la Universidad Nacional de Ingeniería (UNI) reciben cada año más de 50 mil y 10 mil postulantes, respectivamente, en las diferentes modalidades de ingreso para las casi 13 mil vacantes ofrecidas por las casas de estudios. El tiempo de preparación para rendir los exámenes y conseguir una plaza en estas universidades es variado, y en muchas ocasiones toma años.
Un grupo de investigadores peruanos se propuso medir el renCdimiento de la inteligencia artificial (IA) en las distintas áreas curriculares de la formación escolar que se consideran en los exámenes de admisión de la UNMSM y la UNI.
Los investigadores identificaron que ChatGPT pudo responder correctamente el 72 % y el 57 % de preguntas de opción múltiple sin imágenes de los exámenes de admisión de la UNMSM y la UNI, respectivamente.
De acuerdo con Saúl Beltozar-Clemente, uno de los autores del estudio, docente e investigador de la Universidad Científica del Sur, la diferencia porcentual de respuestas correctas entre universidades se debe en parte al enfoque y la estructura de las preguntas. Asimismo, la dificultad de las preguntas y el diseño del examen podrían explicar la menor proporción de respuestas correctas en el examen de la UNI.
“Las preguntas de la UNMSM se centraban más en temas o habilidades para los cuales ChatGPT está mejor entrenado, como comprensión lectora, análisis de texto y razonamiento lógico. Entendemos que por ello le fue mejor”, comenta el investigador.
Por otra parte, la investigación identificó que la IA tuvo un mejor desempeño en la sección de Historia Universal de la UNMSM, con un 91 % de respuestas correctas. Por el contrario, su rendimiento fue mucho menor en la sección de Lenguaje de la misma universidad, con solo el 55 % de respuestas correctas.
En el caso de la UNI, ChatGPT logró responder en promedio de forma correcta el 56 % de preguntas en la sección de Humanidades y el 57 % en la sección de Razonamiento Verbal.
“Se podría utilizar los resultados de este estudio para un análisis en la adecuación de contenidos y para verificar que el contenido de los exámenes evalúe las habilidades y conocimientos requeridos para la formación dentro de la universidad. Las universidades también podrían usar la información de este artículo para entender en que áreas del conocimiento los estudiantes requieren más apoyo”, finaliza Beltozar-Clemente.
El artículo fue publicado en la revista International Journal of Engineering Pedagogy.
¿Cómo evaluaron el rendimiento de la IA?
Los investigadores seleccionaron los exámenes de admisión de la UNMSM y de la UNI correspondientes a los años 2023, 2022, 2020, 2019 y 2018. De las pruebas de la UNMSM se escogieron las materias de habilidad verbal, lenguaje, literatura, psicología, educación cívica, historia del Perú, historia universal, geografía, economía, filosofía y biología, en donde se tiene conocimiento que ChatGPT se desenvuelve mejor, debido a su limitación de poder procesar gráficos para los cursos de matemática.
Por su parte, las áreas escogidas del examen de la UNI fueron razonamiento verbal y humanidades. Esto con el fin de obtener un desenvolvimiento adecuado y una evaluación integral del desempeño de ChatGPT en varias áreas temáticas.
En total se obtuvieron 1232 preguntas para la UNMSM, de las cuales 50 fueron excluidas por encontrarse estructuradas con gráficos. Mientras que, en el caso de la UNI, el número de preguntas seleccionadas fue de 560 preguntas, con una sola pregunta excluida. Una vez escogidas las preguntas, se usó la versión GPT-3.5 para resolverlas.
¿Cómo se podría usar la IA para la preparación preuniversitaria?
El uso de chatbots gratuitos hoy en día es muy frecuente entre los estudiantes universitarios y los escolares. Existen inteligencias artificiales para resumir textos, crear mapas conceptuales, generar imágenes y, los más comunes, chatbots que generan respuestas coherentes a partir de lo que se le diga.
Todas estas herramientas pueden ser aprovechadas por las personas para sus estudios. Desde solicitarle a la IA que genere preguntas para evaluar sus conocimientos sobre un tema determinado, hasta pedirle a la misma IA que revise los exámenes desarrollados para que identifique los errores cometidos.
“La IA puede desempeñar un papel importante en la preparación de estudiantes para los exámenes de admisión a través de varias estrategias innovadoras que personalizan y mejoran el proceso de aprendizaje. Se podría utilizar para una tutoría personalizada, simulación de exámenes, análisis predictivo, apoyo emocional y manejo de estrés”, explica Beltozar-Clemente.
¿Cuál es el futuro de la IA en la educación?
La inteligencia artificial es una herramienta que ha llegado para quedarse, por eso es importante que todos los involucrados en el proceso de enseñanza-aprendizaje desarrollen competencias digitales que les permitan aprovechar al máximo lo que ofrece la IA dentro de los límites éticos.
«El papel futuro de la IA es prometedor, ya que tiene el potencial de personalizar el aprendizaje, hacerlo eficiente y accesible. Pero también debemos de tener un enfoque cuidadoso y ético para garantizar que se promueva con equidad. Se debe utilizar la IA como una herramienta que complemente y enriquezca las capacidades humanas, no que las reemplace, fomentando un entorno educativo que sea adaptativo, inclusivo y efectivo”, explica el especialista.
Además, el investigador comenta que los resultados de la investigación ofrecen oportunidades para mejorar los procesos de selección en las universidades peruanas, sobre todo en la formulación de las preguntas y la estructuración de las pruebas de admisión.
