Lab IA²-1 · Caza de alucinaciones
Sesión S03 · Modo AIAS 5 — Full AI (la IA es sujeto de estudio)
Contexto
Buchanan, Hill & Shapoval (2024) (Buchanan et al., 2024) documentaron que >30% de las citas que ChatGPT genera en economía no existen. Las alucinaciones son plausibles — autores reales, journals reales, formato correcto — pero inexistentes. Para un lector que no verifica, son indetectables.
Este lab te entrena el ojo crítico para detectar fabricaciones antes de incluirlas en tu tesis.
Objetivos
- Provocar al menos 1 alucinación de IA.
- Verificar 5 citas contra fuentes originales (Scopus, Crossref, Google Scholar).
- Documentar la tasa de alucinación encontrada.
- Reflexionar sobre tu capacidad de detección.
Procedimiento
Paso 1 — Pedir las citas (10 min)
Abre tu IA preferida (Claude, ChatGPT, Gemini). Usa este prompt:
Actúa como economista experto en [tu tema].
Necesito 5 referencias seminales recientes (2020-2026) sobre [tema].
Para cada una entrega:
- Autor(es)
- Año
- Título completo
- Journal o editorial
- Páginas
- DOI
Formato: APA 7.Guarda el output completo (texto + screenshot del thread).
Paso 2 — Verificación (50 min)
Para CADA una de las 5 citas:
| Verificación | Cómo |
|---|---|
| DOI funciona? | https://doi.org/[doi] — debería resolver al paper |
| Existe en Crossref? | https://api.crossref.org/works/[doi] |
| Existe en Scopus? | scopus.com → buscar título exacto |
| Existe en Google Scholar? | scholar.google.com → buscar autor + título |
Categoriza cada cita:
- ✅ Real y correcta — DOI funciona, autor + título + journal + año coinciden.
- ⚠️ Existe pero metadata equivocada — autor real pero título inventado, o título real pero autor incorrecto.
- ❌ No existe — DOI inválido, no aparece en bases.
Paso 3 — Tabla de resultados (10 min)
Completa esta tabla en 04-labs/01-caza-alucinaciones/resultados.md de tu repo:
| # | Cita propuesta | DOI | ¿Existe? | Categoría | Notas |
|---|---|---|---|---|---|
| 1 | [autor año título journal] | [DOI] | ✅/⚠️/❌ | Real / Metadata wrong / Fabricated | [evidencia] |
| 2 | |||||
| 3 | |||||
| 4 | |||||
| 5 |
Cálculo:
- Tasa de alucinación = (# fabricated + # metadata wrong) / 5
- Tasa Buchanan 2024 = >0.30. ¿Cómo se compara la tuya?
Paso 4 — Reflexión (10 min)
Responde en 04-labs/01-caza-alucinaciones/reflexion.md:
- ¿Cuántas alucinaciones encontraste? (Si fueron 0, prueba con un tema más nicho.)
- ¿Cómo eran las alucinaciones — completamente inventadas o metadata equivocada?
- ¿Qué señales delatadoras notaste antes de verificar (autor que no escribe en ese journal, año imposible, título demasiado genérico)?
- ¿La IA te aumentó (te dio referencias útiles que sí existen) o te reemplazó (te dio referencias falsas que tú no detectaste)?
Audit log obligatorio
Llena el audit-template.md.
Regla de aprobación
✅ Lab aprobado si: - Tabla 5×4 completa con verificación documentada. - Reflexión escrita (mínimo 200 palabras). - Audit log completo. - Mínimo 1 alucinación detectada O justificación de por qué no se encontró ninguna en este intento.
Conexión con el curso
Este lab alimenta:
- H1 Research Brief — las citas que verifiques aquí pueden ir al brief.
- H2 Evidence Map — el ejercicio se replica cuando construyas la revisión sistemática (PRISMA).
- Hábito — verificar SIEMPRE las citas IA antes de incluirlas en tu tesis.
Recursos
- (Buchanan et al., 2024) — paper canónico sobre alucinaciones en economía
- (Messeri & Crockett, 2024) — modos de “ilusión epistémica”
- Crossref API: https://api.crossref.org
- DOI resolver: https://doi.org