Enfoque
Introducción
Este proyecto de innovación docente integra la inteligencia artificial (IA) generativa (e.g., ChatGPT) como herramienta de apoyo dentro del aula virtual. La iniciativa se realiza en la asignatura “Sistemas de Información” (SI) del Grado de Administración y Dirección de Empresas (ADE) de la Universitat Oberta de Catalunya (UOC). La UOC es una universidad totalmente online, con un modelo educativo principalmente asincrónico.
Objetivos
En esta iniciativa, los estudiantes interactúan con una IA generativa para analizar respuestas de debate desarrolladas por sus compañeros. Este enfoque busca fomentar la adquisición de conocimientos de manera más interactiva y dinámica, el pensamiento crítico y la capacidad de retroalimentación constructiva de la IA generativa.
Metodología
Esta investigación cualitativa se realiza en una actividad de debate de la asignatura SI. Al final del debate, cada estudiante usará IA generativa para generar feedback sobre la intervención de otro/a compañero/a elegida aleatoriamente. Es decir, creará un ‘prompt’, verificará la veracidad de la respuesta de la IA a dicho prompt y la complementará con su propio análisis. Finalmente, cada estudiante evaluará el feedback generado por la IA según variables cualitativas (fiabilidad, calidad, completitud, originalidad, creatividad y coherencia).
La muestra del estudio consta de 304 alumnos, repartidos en 6 aulas. Finalizada la actividad, las respuestas de los estudiantes se evalúan mediante una rúbrica diseñada para valorar sus habilidades de pensamiento crítico en relación a la IA. Las respuestas cualitativas del estudiantado se codificarán con el software Atlas.ti. Dicha codificación servirá para evaluar la percepción del estudiantado sobre la IA, su impacto en el aprendizaje y su desarrollo de habilidades de pensamiento crítico. Los datos del estudiantado se anonimizarán para garantizar su confidencialidad.
Discusión
Este experimento tiene una triple vertiente: el feedback proporcionado por la IA sobre contribuciones a un debate; el uso de la IA por parte del estudiantado para generar dicho feedback; y la reflexión crítica sobre dicho feedback por parte de los estudiantes. Aunque la actividad aún no se ha implementado, el experimento pretende identificar áreas de mejora tanto en la comprensión del contenido por parte de los estudiantes como en la capacidad de la IA para proporcionar análisis relevantes y constructivos.
Resultados
Se espera que la interacción con la IA aporte evidencias sobre la efectividad de la tecnología como complemento en el proceso educativo, especialmente en términos de fomentar habilidades de pensamiento crítico. Se evaluarán la percepción de los estudiantes sobre la retroalimentación proporcionada por la IA, y su capacidad para identificar oportunidades de mejora desde una perspectiva crítica.
Conclusiones
Este trabajo en curso pretende evaluar la fiabilidad del feedback mediante IA generativa, así como ayudar al estudiantado a reconocer las limitaciones y posibilidades de la IA interactuando con ella. Esperamos que este experimento proporcione insights cruciales sobre cómo la IA puede ser incorporada en estrategias pedagógicas para enriquecer el aprendizaje.
Marisol Gómez Aguilar
Comentó el 22/04/2024 a las 12:17:10
Enhorabuena por el trabajo presentado, me ha resultado muy interesante el planteamiento de implantación de la IA en la asignatura. Me gustaría saber si antes de comenzar con la actividad los alumnos han tenido acceso a unas pautas de uso y posibilidades que ofrece chatGPT o se ha dado por supuesto que todos conocen y manejan dicha herramienta. Muchas gracias!
Un saludo,
Marisol
Silvia Rodriguez-Donaire
Comentó el 22/04/2024 a las 19:51:17
Gracias Marisol! Tu pregunta fue realizada en otro comentario te adjunto la respuesta "la universidad ha facilitado al estudiantado información sobre la IA. Ha puesto a su disposición enlaces de herramientas de IA y como realizar prompts para que estos sean efectivos. Es por ello que en el ejercicio no se da información al respecto. Se entiende que el alumno posee dicha información."
Muchas gracias!!!
Un abrazo,
Silvia
Marisol Gómez Aguilar
Comentó el 25/04/2024 a las 13:00:36
Muchas gracias!!
Inmaculada Romano-Paguillo
Comentó el 14/04/2024 a las 12:01:59
Enhorabuena por el trabajo presentado Silvia, Robert y Anna, me ha parecido una iniciativa muy atractiva.
Estoy de acuerdo con ustedes con la utilización de IA en una asignatura, como Sistema de Información. Y que los estudiantes conozcan los beneficios y los inconvenientes que tiene las IA.
Mi cuestión, ¿Han pensado utilizar alguna herramienta para la evaluación con IA, además de la rúbrica que disponen los estudiantes?
Muchas gracias,
Inmaculada Romano
Silvia Rodriguez-Donaire
Comentó el 14/04/2024 a las 14:50:10
Muchas gracias Immaculada!! No entiendo muy bien tu pregunta, pero la evaluación cuantitativa de la actividad con IA se hace mediante una rúbrica y la parte cualitativa se hará a través de los criterios que se les pide al estudiante que evaluen la respuesta recibida por parte de la IA en relación a su calidad, su confiabilidad, etc. estos datos los codificaremos a través del software atlas.ti y haremos una evaluación comparativa de las percepciones de los estudiantes a parte de una evaluación en paralelo del tipo de prompt utilizado pues este puede hacer que la percepción del estudiante sea una u otra.
Espero que mi respuesta haya constestado a tu pregunta :-)
Un abrazo,
Mónica López Sieben
Comentó el 12/04/2024 a las 23:06:02
De entrada, Silvia, Robert y Ana, mi enhorabuena por el trabajo y por la clara presentación.
Me gusta mucho que el análisis sea sobre una evaluación de la respuesta de un alumno y no directamente respondiendo la IA a la cuestión inicial, así, el análisis se hace de forma comparativa y el alumno ha hecho es esfuerzo inicial al responder.
Coincido con muchas preguntas anteriores en referencia a si los alumnos tienen dominio de cómo hacer las preguntas a la IA (promt). Sugiero que como segunda ronda después de hacer este experimento, se haga escoja un segundo evaluador sobre cada una de las preguntas de los alumnos y ver la fiabilidad de la evaluación (si coinciden) y si hay diferencias en la valoración dependiendo de los promts.
En cualquier caso, enhorabuena por el plnteamiento
Silvia Rodriguez-Donaire
Comentó el 12/04/2024 a las 23:11:35
Muchas gracias Mónica!! Una propuesta muy interesante en relación a cómo mejorar la confiabilidad de los resultados hallados en el experimento :-) De hecho las evaluaciones se realizan de forma conjunta con un grupo de profesores que participamos en la asignatura y la parte más cualitativa (analisis de la respuesta del alumnado y los criterios de reflexión) se propone utilizar el atlas.ti para la codificación de respuestas y esto se hará supervisado por los tres autores del artículo.
Muchas gracias!!
Carlos Rueda Armengot
Comentó el 12/04/2024 a las 18:26:05
Hola. Muy interesante el planteamiento que hacen. ¿Cómo aseguran que la interacción con la IA generativa no solo sea efectiva, sino también éticamente responsable, especialmente considerando la naturaleza asíncrona del modelo educativo de la UOC?
Silvia Rodriguez-Donaire
Comentó el 12/04/2024 a las 19:53:01
Hola Carlos, una pregunta muy interesante. Pedímos que el estudiantado adjunte su prompt así como respuesta que esta le presenta de manera que la parte ética queda cubierta, pues lo que ponemos en valor no es la respuesta de la IA si el razonamiento que el estudiante hace en relación a la respuesta de feedback que le da la IA.
Muchas gracias!!!
Un abrazo
María Paz Andrés Reina
Comentó el 12/04/2024 a las 10:13:38
Felicitaciones por vuestro trabajo.
Vuestro experimento me parece muy interesante y una actividad de clase viable. ¿Os habéis planteado aplicar la técnica de análisis de sentimientos a las reflexiones finales del alumnado?
Silvia Rodriguez-Donaire
Comentó el 12/04/2024 a las 19:55:57
Hola María Paz, no como tal pero si le hacemos que nos indique al final del ejercicio que le ha parecido la respuesta que le ha dado la IA en relación a su fiabilidad, si es completa, originalidad, etc. Estos factores nos pueden permitir medir el sentimiento del estudiantado.
Muchas gracias!!
Un abrazo
Francisco Cabrera-Gallardo
Comentó el 11/04/2024 a las 23:56:23
Enhorabuena por la interesante ponenci. ¿Cómo creen que deberíamos ayudar al estudiantado a reconocer las limitaciones de la IA? Gracias.
Silvia Rodriguez-Donaire
Comentó el 12/04/2024 a las 19:59:48
Hola Francisco, has lanzado una pregunta muy interesante :-) la ayuda que le damos al estudiantado es hacerle entender que la IA sirve como punto de partida pero su verdad no es absoluta, creo que es un largo camino aún por recorrer y que deberemos ir adoctrinando al estudiantado y hacerle entender que la respuesta que se propone es buena, pero ambigua y falta de contenido de calidad... creo que la reflexión de las respuestas propuestas por la IA es un buen ejercicio/práctica para ayudarles a reconocer estas limitaciones ;-)
Muchas gracias!!
Un abrazo
Rocío Díaz-Muñoz
Comentó el 11/04/2024 a las 22:50:29
Interesante trabajo. Felicitaciones.
Me gustaría plantearos una duda que me surge:
En estos casos de educación online y modelo principalmente asincrónico, la principal debilidad que suelen destacar los estudiantes es la falta de presencialidad, llamémosle de alguna manera contacto físico.
En vuestro modelo, más allá del resultado y evaluación finales, ¿Cómo planteáis la orientación al estudiantado el sistema de tutorías o la supervisión de que los pasos que van dando, van en la línea correcta?
Muchas gracias
Silvia Rodriguez-Donaire
Comentó el 12/04/2024 a las 20:02:23
Hola Rocío, muchas gracias!! La orientación que damos al estudiante es de 360º. Concretamente en el aula, es a partir de la evaluación continua, el guiaje en el conocimiento resolviendo las dudas, el trabajo en grupo que les ayuda a poder compartir con los otros alumnos y el feedback continuo que recibe a lo largo de la asignatura en las diferentes actividades para mejorar sus aprendizaje.
Muchas gracias!!
Un abrazo
Rocío Díaz-Muñoz
Comentó el 15/04/2024 a las 11:10:56
Muchas gracias.
María Vázquez Fariñas
Comentó el 11/04/2024 a las 18:03:51
Buenas tardes:
Enhorabuena por el trabajo y por la presentación. Coincido en que es evidente la efectividad de la tecnología como complemento en el proceso educativo, pues presenta muchas posibilidades de mejora. Precisamente me gustaría preguntaros si habéis podido identificar alguna oportunidad de mejora hasta ahora y en qué sentido.
Saludos.
Silvia Rodriguez-Donaire
Comentó el 11/04/2024 a las 21:47:08
Hola María, justo el experimento empieza el 13 de Abril y recogemos los datos el 16 Abril. Esperamos poder procesar parte de los datos para poder hacer una primera publicación con los resultados en el capítulo del libro :-(
Sorry por no poder responderte mejor la respuesta :-(
Un abrazo,
María Vázquez Fariñas
Comentó el 12/04/2024 a las 17:45:17
Muchas gracias por responder. Espero que vaya muy bien el experimento. ¡Ánimo con el proyecto!
Saludos.
Silvia Rodriguez-Donaire
Comentó el 12/04/2024 a las 20:02:51
Muchas gracias :-)
Elizabeth Esther Vergel Parejo
Comentó el 11/04/2024 a las 06:51:09
Saludos cordiales. Muy interesante la propuesta. Mi pregunta es: ¿Hay alguna fase de la propuesta que capacite a los estudiantes a la formulación de prompt ?
Silvia Rodriguez-Donaire
Comentó el 11/04/2024 a las 16:09:09
Hola Elizabeth, la universidad ha facilitado al estudiantado información sobre la IA, ha puesto a su disposición enlaces de herramientas de IA y como realizar prompts que sean efectivos. Es por ello que en el ejercicio no se da información al respecto. Se entiende que el alumno posee dicha información.
Muchas gracias por preguntar!!!
Son puntos interesantes que enriquecen la investigación :-)
Un abrazo,
Silvia
Antonio Alonso-González
Comentó el 10/04/2024 a las 23:40:05
Saludos cordiales! Mi nombre es Antonio Alonso González y soy docente investigador de la Facultad de Ciencias Económicas y Administrativas de la Universidad El Bosque, en Bogotá, Colombia. Informar que me ha gustado mucho su ponencia presentada al Congreso CIECEM de título “Feedback mediante el uso de la IA: una innovación en una asignatura online”, incluida en el Track 11: “La IA y la innovación en la Educación Superior” y quisiera simplemente hacerles una pregunta al respecto:
Comentarles que me ha parecido muy robusta y bien estructurada la investigación que están planteando, con una metodología muy bien definida. Entiendo que la herramienta de IA que van a aplicar es ChatGPT 3.5, la versión free de la firma OpenAI, Mi pregunta sería la siguiente: ¿Han considerado realizar en futuras investigaciones procesos análogos aplicando otras herramientas de IA Generativas basadas en Modelos de Lenguaje de Gran Escala (LLMs) como Gemini y Copilot, o también el uso de ChatGPT 4.0 u otras herramientas en sus versiones licenciadas o pagas que tendrían más potencia y eficiencia en sus resultados?
De antemano agradecer su colaboración con la respuesta, y de nuevo felicitarles por el trabajo presentado en este Track.
Un saludo,
Prof. Antonio Alonso González, PhD.
Universidad El Bosque
Silvia Rodriguez-Donaire
Comentó el 11/04/2024 a las 16:06:55
Muchas gracias Antonio!! Me alegra que te haya gustado nuestra investigación :-) Un placer saludarte :-)
En relación a tu pregunta, les proponemos el uso del ChatGPT3.5 pero no es obligatorio el uso de esta. Entendemos que utilizaran la versión gratuita, aunque si algún estudiante está pagando y quiere utilizar el ChatGPT4 tampoco es excluyente. En el ejercicio si deben indicar que herramienta de IA de texto generativo han utilizado para la realización de su ejercicio de manera que nos ayude a ver si se observan diferencias entre diferentes herramientas. Esta sería una segunda parte de la investigación :-)
Muchas gracias por preguntar y compartir :-)
Un abrazo,
Silvia
Silvia Rodriguez-Donaire
Comentó el 10/04/2024 a las 10:30:39
Muchas gracias Inma!! Me alegra que te haya gustado y resultado interesante :-)
La actividad del debate se evalua mediante una rubrica. Uno de los criterios de la rubrica intenta evaluar el razonamiento y la reflexión del estudiantado sobre la respuesta dada por la IA en base a que esta haga:
- aportaciones relevantes
- feedback bien desarrollado
- justificación basada en conceptos clave de la temática
Espero haber respuesto tu pregunta .-)
Muchas gracias!!!
Un abrazo,
Silvia
Inmaculada Bel Oms
Comentó el 10/04/2024 a las 10:01:03
Buenos días,
¡¡Enhorabuena a los autores por su trabajo!! Me ha gustado muchísimo ya que fomenta la utilización de la IA en las asignaturas a distancia. Mi pregunta es: ¿Cómo evaluarían las actividades, han preparado alguna rubrica?
Saludos,
Inma
Deja tu comentario
Lo siento, debes estar conectado para publicar un comentario.
Organizan
Colaboran
Configuración de Cookies
Utilizamos cookies para mejorar su experiencia y las funcionalidades de esta web. Ver política de cookies