ChatGPT versus Bibliotecarios: Análisis Comparativo y el Valor Imperecedero de la Experiencia Humana

Introducción

El lanzamiento de ChatGPT 3.5 el 30 de noviembre de 2022 marcó un hito significativo en la comunidad académica, generando una amplia gama de reacciones desde el asombro hasta la preocupación. Esta nueva versión de ChatGPT, desarrollada por OpenAI, ha demostrado una capacidad notable para emular respuestas humanas, destacándose por su habilidad para responder preguntas, catalogar ítems en MARC21, recomendar listas de lectura y hacer sugerencias sobre diversos temas (Yang & Mason, 2023).

A medida que la inteligencia artificial (IA) continúa avanzando, más empresas planean integrar la IA en sus productos existentes. ChatGPT 3.5 ha capturado la atención mundial, especialmente en el ámbito académico de los Estados Unidos, con algunas instituciones prohibiendo su uso y otras fomentándolo. Este fenómeno plantea preguntas importantes sobre el papel de ChatGPT en comparación con los Profesionales de la Información y si podría reemplazarlos en el futuro (Kim, 2023).

El presente blog está basado en la investigación de Yang y Mason (2023) Beyond the Algorithm: Understanding How ChatGPT Handles Complex Library Queries, publicado en la revista científica Internet Reference Services Quarterly.

Elaborada por DALLE.

Revisión de la Literatura: ChatGPT versus Bibliotecarios

• Ausencia de Investigaciones Previas: Hasta la fecha, la literatura científica no ha explorado en profundidad la capacidad de ChatGPT para responder a preguntas complejas de referencia. Aunque ChatGPT ha sido ampliamente discutido en artículos de opinión y blogs, existe una notable falta de estudios empíricos que examinen su eficacia en entornos académicos o bibliotecarios y así establecer un "ChatGPT versus bibliotecarios" (Rodríguez & Mune, 2021).

• Experiencias con Chatbots: Algunas bibliotecas han documentado sus experiencias iniciales con chatbots en servicios de referencia virtual, destacando tanto los desafíos como los éxitos. Estos estudios preliminares sugieren que, mientras los chatbots pueden manejar consultas rutinarias, aún requieren supervisión humana para preguntas más complejas (Rodríguez & Mune, 2022).

• ChatGPT vs Chatbots Antiguos: Comparando ChatGPT con chatbots anteriores, se observa que ChatGPT ofrece una interacción más natural y respuestas más coherentes. Sin embargo, los investigadores cuestionan si esta mejora en la interacción se traduce en una mejor comprensión de las consultas complejas (Rodríguez & Mune, 2021).

• Capacidades de ChatGPT: ChatGPT ha sido entrenado en un conjunto de datos diverso y extenso, lo que le permite ofrecer respuestas más informadas y contextualizadas que una simple búsqueda en Google. A pesar de esto, los estudios indican que ChatGPT aún puede mejorar en la interpretación de preguntas específicas y en la provisión de información localizada (Rodríguez & Mune, 2021).

Elaborada por DALLE.

Conoce la diferencia definitiva entre navegador y motor de búsqueda

Aprende todo acerca del sistema OCR

Método

El experimento se diseñó para evaluar la capacidad de ChatGPT en comparación con la experiencia humana en el contexto de las consultas de referencia bibliotecaria. Se seleccionaron 30 preguntas de referencia al azar para abarcar una amplia gama de temas y niveles de dificultad, desde consultas generales hasta preguntas específicas de disciplinas académicas.

• Selección de Preguntas: Las preguntas se extrajeron de un banco de datos de consultas reales realizadas en bibliotecas universitarias, asegurando que reflejaran la diversidad y complejidad de las preguntas que los bibliotecarios enfrentan regularmente (Teel et al., 2023).
  

• Participantes: ChatGPT, en su versión 3.5, fue el representante de la IA, mientras que un grupo de bibliotecarios profesionales con experiencia en referencia participaron como el estándar humano. Los bibliotecarios fueron seleccionados de diferentes instituciones para garantizar una amplia representación de conocimientos y enfoques (Sabreena, 2023).
  

• Procedimiento: Cada pregunta fue presentada tanto a ChatGPT como a los bibliotecarios, y sus respuestas fueron registradas y evaluadas en términos de precisión, relevancia y utilidad. El proceso se llevó a cabo en un entorno controlado para asegurar la consistencia en la presentación de las preguntas (Teel et al., 2023).
  

Algunas de las preguntas más relevantes mencionadas en el artículo sobre cómo ChatGPT maneja consultas complejas en bibliotecas:

• DOI: “¿Dónde encuentro un DOI?”

• Acceso a Qualtrics: “¿Rider proporciona a los estudiantes acceso a Qualtrics?”

• Estadísticas de Población: “¿Crees que podrías ayudarme a encontrar una estadística de población para mi plan de negocios?”

• Perfil de Empresa: “¿Dónde encuentro el perfil de la compañía llamada United Skates of America?”
  

Evaluación: Las respuestas fueron evaluadas por un panel de expertos en referencia bibliotecaria, quienes utilizaron una rúbrica estandarizada para calificar cada respuesta. La rúbrica consideró aspectos como la comprensión de la pregunta, la calidad de la información proporcionada y la eficacia comunicativa (Yang & Mason, 2023).

Elaborada por Laonardo.io

Hallazgos y Discusión

Los resultados del experimento indicaron que, si bien ChatGPT fue capaz de generar respuestas relevantes a las preguntas de referencia, los bibliotecarios humanos mostraron una superioridad significativa en términos de precisión y comprensión del contexto. Esta superioridad fue particularmente evidente en preguntas que requerían conocimiento de políticas y prácticas locales, un área en la que ChatGPT enfrentó dificultades.

• Precisión y Contexto: Los bibliotecarios no solo proporcionaron respuestas correctas, sino que también integraron el contexto local y las políticas específicas de manera efectiva, algo que ChatGPT no logró replicar con la misma eficacia (Yang & Mason, 2023).
  

• Desafíos de ChatGPT: Aunque ChatGPT ofreció respuestas pertinentes, luchó con la interpretación de políticas y prácticas locales, lo que sugiere que aún hay espacio para mejorar en su programación y entrenamiento para manejar tales consultas (Yang & Mason, 2023).

Conclusión: Los hallazgos destacan la importancia de la experiencia humana y el conocimiento contextual en la referencia bibliotecaria, áreas en las que los bibliotecarios tienen una ventaja clara sobre las soluciones de IA actuales como ChatGPT (Yang & Mason, 2023).

Elaborada por DALLE.

Aprende a hacer informes con ChatGPT y Excel

Aprende a formatear Tablas y Figuras en normas APA

Limitaciones del Estudio

• Tamaño de la muestra: La muestra de 30 preguntas es pequeña y podría no ser representativa de la población general. Es necesario considerar estudios con muestras más grandes para obtener resultados más generalizables (Yang & Mason, 2023).

• Evaluación subjetiva: La revisión y evaluación fueron realizadas por solo dos bibliotecarios, lo que podría introducir sesgo en los resultados. Incluir a más evaluadores podría ayudar a minimizar este sesgo (Yang & Mason, 2023).

Conclusiones

• Complementariedad: ChatGPT no reemplaza a los bibliotecarios, pero puede ser una herramienta útil para ellos, especialmente para proporcionar respuestas rápidas a preguntas generales (Yang & Mason, 2023).

• Ventajas de los bibliotecarios: Ofrecen asistencia personalizada y conocen información local específica, lo que les permite ofrecer un servicio más efectivo (Yang & Mason, 2023).

• Fortalezas de ChatGPT: Proporciona respuestas rápidas y precisas a preguntas generales, lo que puede ser beneficioso cuando se requiere información de manera inmediata (Yang & Mason, 2023).

Referencias

• Kim, B. (2023). Technology & power. Computers in Libraries, 43(6), 41–42.

• Rodriguez, S., & Mune, C. (2021). LIBRARY CHATBOTS: Easier than you think. Computers in Libraries, 41(8), 29–32.

• Rodriguez, S., & Mune, C. (2022). Uncoding library chatbots: Deploying a new virtual reference tool at the San Jose State University Library. Reference Services Review, 50(3/4), 392–405. doi:10.1108/RSR-05-2022-0020

• Sabreena, K. (2023, June 5). OpenAI’s groundbreaking solution: Ensuring AI models’ logic and eliminating hallucinations. Analytics Vidhya.

• Teel, Z., Wang, T., & Lund, B. (2023). ChatGPT conundrums: Probing plagiarism and parroting problems in higher education practices. College & Research Libraries News, 84(6), 205–208. doi:10.5860/crln.84.6.205

• Yang, S. Q., & Mason, S. (2023). Beyond the Algorithm: Understanding How ChatGPT Handles Complex Library Queries. Internet Reference Services Quarterly. https://doi-org.bibliodigital.ugc.edu.co/10.1080/10875301.2023.2291441