---
citekey: MesseriCrockett2024
priority: nucleo
units: [U1, U4, U5]
type: article
venue: Nature
year: 2024
---

# Messeri & Crockett 2024 — AI and Illusions of Understanding in Scientific Research

**Cita.** Messeri, L., & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. *Nature*, 627(8002), 49–58. DOI: 10.1038/s41586-024-07146-0.

**Citekey Quarto:** `[@MesseriCrockett2024]`

## Tesis central

La IA en ciencia no es solo una herramienta: introduce **riesgos epistémicos sistemáticos** que pueden producir una **ilusión de comprensión** (illusion of understanding) sin aumentar el conocimiento real. Las autoras tipifican cuatro visiones de IA que circulan en la literatura científica y argumentan que cada una conlleva un riesgo distinto a la integridad epistemológica del proceso de investigación.

## Aporte por unidad del curso

- **U1 (Intro):** Es la **lectura crítica obligatoria** del curso. Sin ella la unidad queda en posición ingenua frente al hype de IA.
- **U4 (Lit review):** Aplica directamente al riesgo "AI as Surrogate" — la IA resume literatura sin que entendamos lo resumido.
- **U5 (Marco teórico):** El riesgo "AI as Oracle" amenaza la fase de teorización: tomar respuestas plausibles del LLM como teoría establecida.

## Metodología / diseño

**Paper teórico/normativo en Nature**. Construye una tipología basada en revisión de literatura (cienciometría, sociología de la ciencia, epistemología) y la respalda con casos publicados en *Science*, *Nature*, *PNAS*. No hay datos primarios; el aporte es un framework conceptual riguroso.

## Hallazgos clave (citables para slide)

Las **cuatro visiones** de IA en investigación, cada una con su riesgo asociado:

1. **AI as Oracle** — IA que responde preguntas que los humanos no pueden. **Riesgo:** dependencia ciega; pérdida de criterio.
2. **AI as Surrogate** — IA que reemplaza sujetos humanos en estudios (encuestas sintéticas, "Homo Silicus"). **Riesgo:** validez externa cero; sesgos sistémicos.
3. **AI as Quant** — IA que analiza datos (regresiones, ML pipelines). **Riesgo:** opacidad de assumptions; reproducibilidad sin entendimiento.
4. **AI as Arbiter** — IA que evalúa peer reviews, calidad de papers. **Riesgo:** monocultura epistémica; sesgos heredados de training.

- **Argumento síntesis:** la IA puede aumentar **producción** científica mientras **reduce** comprensión genuina — el peor escenario para la ciencia como empresa colectiva.

## Citas textuales destacadas

> "We show how AI tools may exploit cognitive vulnerabilities of researchers… causing scientists to overestimate their own understanding."

> "An overreliance on AI tools risks producing an epistemic monoculture, in which the questions scientists ask, the methods they choose, and the answers they value are all narrowed by the architectural choices and training data of dominant models."

## Conexiones con otras lecturas del bib

- **Lectura crítica complementaria:** `[@BenderGebru2021]` — "Stochastic Parrots", crítica fundacional a LLMs.
- **Aplicación al peer review:** `[@flanagin2023]` — JAMA sobre autoría no humana.
- **Caso documentado del riesgo "Quant":** `[@BuchananHillShapoval2024]` — citas alucinadas en economía.
- **Contrapeso optimista:** `[@Korinek2023]` — visión de IA como colaborador productivo.

## Limitaciones y críticas

- **Marco normativo, no empírico.** Las autoras identifican riesgos plausibles pero no miden frecuencia ni magnitud. Falta evidencia cuantitativa de cuántos papers ya muestran "illusion of understanding".
- **Visiones no excluyentes.** Un mismo proyecto puede usar IA como Oracle y Quant simultáneamente. La tipología es útil para enseñar, menos como diagnóstico operativo.
- **Sin recomendaciones operacionales.** El paper es diagnóstico, no prescriptivo: queda a otros (UNESCO, AIAS) la operacionalización.

## Pregunta detonadora para clase

> Tomen su proyecto de tesis. ¿En cuál de las cuatro visiones (Oracle, Surrogate, Quant, Arbiter) podrían caer si delegan demasiado a IA? ¿Qué **señal de alarma** debería detenerlos?

## Slide de aterrizaje sugerido

- **Título:** "Cuatro maneras de equivocarse con IA en investigación"
- **Visual:** matriz 2×2 con las cuatro visiones, cada una con su riesgo en una línea.
- **Bullet de cierre:** *"La IA puede multiplicar producción sin multiplicar comprensión. Esa brecha es nuestra responsabilidad."*

## Lectura mínima si el tiempo es escaso

- Páginas 49–52 (introducción + las 4 visiones).
- Box 1 con el ejemplo de "AI as Surrogate" (encuestas sintéticas).