Experimentando con ChatGPT (1)

Cómo explicaba en una anterior entrada, voy a utilizar el blog de Todoele como cuaderno de bitácora de mi singladura por el mundo de la inteligencia artificial (IA) e ire publicando en él mis reflexiones y los resultados de los experimentos que vaya realizando con ChatGPT y otras aplicaciones para explorar qué pueden ofrecer para la enseñanza y aprendizaje de ELE.

Antes de empezar a experimentar con una herramienta como ChatGPT es conveniente plantearse qué es lo que buscamos, cuáles son nuestras necesidades. Cuanto más claro tengamos qué queremos conseguir, mejores y más precisas cuestiones podremos plantear y mejor podremos analizar su utilidad.

En el caso de un/a docente de ELE hay tres tareas que ocupan la mayor parte de su tiempo, fuera de las horas de contacto con los estudiantes: (1) La búsqueda y creación de muestras de lengua (textos, audios, vídeos) a las que exponer a los estudiantes y a partir de las cuales desarrollar actividades. (2) La elaboración de actividades, tareas y ejercicios para los estudiantes. Y (3), la corrección y evaluación.  Y por lo tanto voy a utilizar esas ocupaciones como guía en mis pruebas con ChatGPT para investigar qué puede aportar en ellas.

En esta entrada voy a centrarme en el primer punto, y dentro de él en la búsqueda de muestras de lengua. Dejo para una posterior la creación de textos.

Las cuestiones de partida en este caso son: ¿Ofrece ChatGPT algo que el buscador de Google no permita conseguir? ¿Puede ayudarnos a encontrar materiales que sirvan de base para la clase de una manera más eficiente?

Veamos al gunas pruebas que he hecho. Voy a ir numerando los experimentos para facilitar referirme a ellos después. Se incluye en cada uno de ellos un enlace en el que se puede ver la interacción completa

Experimento 1
Para empezar a explorar este aspecto he planteado la siguiente pregunta:

¿Puedes recomendarme 3 artículos publicados en diarios digitales, uno de México, otro de Colombia y otro de Argentina, donde se hable de feminismo y en los que aparezca la palabra "micromachismo"?

El resultado de esta interacción se puede ver aquí: https://sharegpt.com/c/mlt7Bcr

Como se puede observar, ChatGPT respondió con la referencia a tres artículos que parecen incluir las características solicitadas. Sin embargo, ninguno de los enlaces que proporciona funciona, algo que en mi experiencia con ChatGPT ha ocurrido frecuentemente.

He hecho una búsqueda rápida con Google, y no he podido encontrar los artículos. Tal vez el que se trate de artículos publicados en 2020 y 2021 sea la explicación, sin embargo no parece un tiempo tan largo, 2 y 3 años, como para que la página web de los mismos haya desaparecido de la red.

Ante este problema, he preguntado si puede escribir en el chat el texto completo de cada uno de los artículos, y, con algunos tropiezos en el proceso, así lo ha hecho. Sin embargo, los tres textos tienen una estructura y un estilo muy similares, lo que parece extraño tratándose de artículos supuestamente publicados en fechas y países distintos y redactados por autores diferentes. Además, no hay ningún rasgo en ellos que apunte a la variedad del español de sus autores y del público al que supuestamente van dirigidos, que es algo que buscaba al plantear esa petición. Esto sugiere que tal vez esos artículos no son los originales, sino que han sido (re)creados por ChatGPT. Ante esta duda, he preguntado: "¿Estás seguro de que estos textos han sido publicados en diarios digitales y no son una creación tuya? Su contenido y estilo es muy similar."

La respuesta me deja dudas. Entre otras cosas, dice: "No tengo la capacidad de crear artículos falsos ya que mi programación se basa en la generación de texto a partir de datos existentes."; pero no afirma que los textos sean la reproducción exacta del texto original (la respuesta completa está en el enlace de la interacción).

¿Estamos ante una de las "alucinaciones" de ChatGPT, en la que nos presenta unos textos creados por el chatbot como si fueran los textos publicados en los diarios mencionados?

Experimento 2
Para ver si puede ayudar a encontrar vídeos, planteé dos peticiones:

(a) ¿Puedes darme la referencia de 3 videos en los que las personas hablen con la variedad rioplatense del español, que traten sobre el cambio climático y que no duren más de 5 minutos?

Interacción: https://sharegpt.com/c/1lZDG6H

(b) ¿Puedes facilitarme los enlaces a videos de entre 2 y 4 minutos de longitud en los que personas de Colombia hablen sobre la situación política en su país?

Interacción: https://sharegpt.com/c/LY2pv1d

La respuesta a la pregunta (a) proporciona la referencia y los enlaces de tres vídeos, pero, de nuevo, ninguno de ellos funciona. He realizado una búsqueda en Google con los datos proporcionados y he sido incapaz de encontrarlos. Le he pedido entonces la transcripción de su contenido, y la ha facilitado. Sin embargo, sin tener los vídeos de poco sirve.

A la preguntas (b) sorprendentemente ha respondido: "Lo siento, pero como modelo de lenguaje, no puedo proporcionar enlaces a videos específicos ya que no tengo acceso a Internet". Sorprendentemente porque en la petición (a) no tuvo ningún problema para facilitar enlaces, aunque no funcionaran.

Algo interesante en la respuesta a (b) es que sugiere hacer una búsqueda en en Youtube o en redes sociales y da consejos para realizarla. Sin duda esto es una clara indicación de que no tiene sentido plantear una pregunta de este tipo, así formulada, a ChatGPT. Como explica en su respuesta, las capacidades de búsqueda de Youtube permitirían encontrar lo que se busca perfectamente.

Basándome en estos experimentos, la respuesta a si ChatGPT permite encontrar materiales disponibles en Internet de una manera más directa y rápida que Google no es muy positiva. Si para encontrar las páginas web de los textos o los vídeos hay que dedicar un tiempo considerable buscando en Google después de preguntar al chabot, dado que los enlaces proporcionados no funcionan, entonces podemos ahorrarnos el paso de ChatGPT.

Sin embargo, a la hora de interpretar estos resultados, no hay que olvidar que ChatGPT en su versión 3.5 no está conectado a Internet y que, por lo tanto, en sus palabras, su "conocimiento tiene un corte en septiembre de 2021". Cuando lleguen versiones conectadas a la red probablemente los resultados mejorarán en este aspecto.

Experimento 3
Voy a recoger solo un experimento más, para evitar extenderme demasiado.
En este caso el objetivo no es buscar un enlace, llegar a una página web, sino intentar encontrar la referencia de contenidos que respondan a ciertos criterios y características que queremos para nuestras clases.
He aquí una pregunta que ejemplifica lo que quiero decir:

¿Puedes indicarme algún cuento publicado por un autor latinoamericano en el que se hable sobre la familia? El cuento no debe tener más de 1000 palabras.

Interacción: https://sharegpt.com/c/KYWXapj

La primera respuesta habla de "La noche boca arriba", de Julio Cortázar (el cuento se puede leer, entre otras, en esta página). En el resumen del argumento que ChatGPT ofrece se dice que en el cuento se menciona a la madre y la hermana del protagonista, de las que no se habla en absoluto en él. También indica que el cuento tiene 962 palabras, mientras que las versiones que he encontrado tienen más de 3000.

En las siguientes preguntas de esta interacción le pido que me recomiende cinco cuentos más con las mismas características, y tres, también sobre el tema de la familia, escritos en spanglish. El resultado es una lista de cuentos, algunos de una extensión superior a la solicitada y en los que el tema de la familia es secundario. Por lo tanto, en este caso se puede decir que el resultado, aunque no es exactamente lo que se buscaba, es aprovechable.

¿Es, pues, posible hacer una búsqueda tan específica —extensión del texto, procedencia de los autores, tema del cuento....— usando los operadores de búsqueda de Google? Creo que no. Sin embargo, lo que queda muy claro tras estos tres experimentos es que las respuestas a preguntas de este tipo —preguntas para buscar referencias y enlaces a contenidos presentes en la red— que ChatGPT produce contienen información inexacta, a veces completamente incorrecta o falsa, y por tanto requieren ser examinadas para comprobar su veracidad.

Para terminar esta largar entrada, algunas consideraciones más generales:

ChatGPT es una herramienta en desarrollo, que está 'aprendiendo', y, al igual que otras herramientas —Gonzalo Abio menciona el caso de Google Translate en una entrada sobre ChatGPT publicada en su blog sobre tecnología y educación: Wikipédia ou ChatGPT? Minha opinião sobre uma conversa com o ChatGPT—, es muy probable que mejore en todos los aspectos. Además la versión que estoy usando para estos experimentos es la 3.5, cuando ya está disponible la 4.

ChatGPT es una herramienta con un gran potencial, con enormes posibilidades, pero que no es perfecta, y al igual que no debemos deslumbrarnos con sus aciertos, tampoco es razonable rechazarla completamente por sus defectos. Rechazarla, por otra parte, no va a hacer que desaparezca. Por eso es fundamental usarla e interactuar con ella de manera crítica, para conocer sus verdaderas posibilidades y sus limitaciones.

Por último, ChatGPT no es la única herramienta de inteligencia artificial disponible —en este sitio web se recogen 1532!!!—, pero ofrece una buena oportunidad para entrar en ese mundo y conocer de manera directa, experiencial, qué ofrecen, cómo se comportan, cómo podemos usarlas. Solo conociéndola podremos evitar que la IA nos arrolle en su imparable desarrollo.

Comentarios

Anónimo's picture

Meritxell Viñas comenta sobre la aplicación Perplexity (https://www.perplexity.ai/) y sus ventajas sobre el ChatGPT a la hora de hacer búsquedas acampañadas de referencias. [ver el vídeo corto de Meritxel aquí: https://www.youtube.com/shorts/Oc7TXd8JZqY]
He probado Perplexity y se ha mostrado muy superior y con gran potencial para ayudar en el conocimiento académico.
Por ejemplo, repliqué algunas preguntas sobre una investigadora brasileña que trabaja con lectura y literacidades y que el ChatGPT no respondió de forma verosímil en su versión 3.5 pues inventó datos, o sea, alucinó sobre ese tema, o que en su versión 4 dijo que no era capaz de responder sobre esa persona y tema porque no la conocía (algo que es mucho mejor que inventar cosas), pero Perplexity se ha salido mucho mejor pues fundamentó sus respuestas con base en referencias importantes o recientes.
La interacción pueden verla aquí.
Las respuestas de Perplexity son concisas y objetivas siendo más directas que las que te da el ChatGPT que te envuelve en una linda y pulida conversación, pero hay tres aspectos que a  mi juicio son bien interesantes y con mayor potencial pedagógico:
1- Perplexity selecciona referencias recientes o relevantes.
2- Las referencias o recursos usados pueden ser consultados.
3. Te oferece debajo de las respuestas otras posibles preguntas con sugerencias de temas relacionados.
Esto es muy importante pues permite seguir ahondando en el conocimiento y llevar a qe el usuario aprenda más.
Tengo que señalar que las respuestas no son tan completas como me hubieran gustado, pero el resultado es verosímil y útil.
Creo que los profesores tenemos urgentemente que ver cómo usar estas posibilidades a nuestro favor, pues los alumnos rápidamente van a usar herramientas como esta en sus tareas quieras o no.

Deja un comentario

Debes indicar tu nombre en el mensaje para que se publique tu comentario.

Plain text

  • Allowed HTML tags: <a> <em> <strong> <cite> <blockquote> <code> <ul> <ol> <li> <dl> <dt> <dd> <div> <br> <p><img> <u>
  • Lines and paragraphs break automatically.
  • Web page addresses and e-mail addresses turn into links automatically.