A program coordinator in a rural water and sanitation project had a WhatsApp group with community health promoters. Every two weeks she sent a voice message asking three questions: what's working, what's not, and what do you need. She synthesized the answers…
Almost none of them describe what learning actually looks like in practice: who reads the findings, in what format, by when, and what decision it's supposed to inform. I spent a week once reviewing quarterly monitoring reports for a social protection program…
La idea es buena: en vez de diseñar un programa, ejecutarlo durante cinco años, evaluarlo al final y descubrir que no funcionó, vas ajustando en el camino. Usas los datos de monitoreo para detectar lo que no funciona, cambias la implementación, vuelves a…
Tres meses después, hablé con la coordinadora. Le pregunté qué había cambiado. "Nada todavía, pero el informe quedó muy bien documentado." ──── El problema del MEL en la práctica no es que el monitoring sea difícil. Tampoco que las evaluaciones sean malas. El…
He estado trabajando con IA en procesos SROI durante el último año — con fundaciones, con áreas RSE, con organizaciones sociales que quieren demostrar valor a sus financiadores. Lo que veo es una transformación real, etapa por etapa. ──── Lo que cambia en…
Esa distinción importa más que cualquier otra en la evaluación de impacto. Korinek (NBER WP34202, 2025) documentó que agentes LLM ya ejecutan flujos completos de investigación: revisiones sistemáticas, código econométrico, análisis de robustez. Lu et al…
Liao et al. (2024) surveyed 816 verified researchers. The adoption rate is 81%. That number is not inflated by tech optimists or early adopters — it reflects a broad shift in how empirical work actually gets done. Korinek (NBER WP34202, 2025) goes further and…
Liang et al. (Nature Human Behaviour, 2025) analyzed 1,121,912 papers. The signal is clear: AI-assisted text modification is not a niche practice. In computer science, the estimated share reaches 22.5%. Across Nature portfolio journals — among the most…
Ese no es un margen de error. Es una brecha estructural. Liang et al. (Cell/Patterns, 2023) lo documentaron: las herramientas de detección de IA penalizan sistemáticamente el estilo de escritura académica de investigadores que no aprendieron a escribir…
Lu et al. (Nature, 2026) submitted AI-generated papers to ICLR workshops. One in three cleared the acceptance threshold. Separately, an automated reviewing system they tested reached 69% balanced accuracy — comparable to the variance you'd find across a panel…
Eso es lo que muestran dos estudios publicados en 2025 en Nature y Science sobre el impacto de la IA en la producción científica (más ciencias naturales). Park et al. (Nature, 2025) cuantificó las ganancias en productividad individual — son reales, son…
Y ahora sé con mucha más claridad qué debe tener un buen reporte de auditoría de IA en investigación académica. ──── Lo que aprendimos sobre el audit log que funciona: → Documenta decisiones, no solo acciones No "usé Claude para revisar el marco teórico"…
Esa fue la apuesta que hicimos este año. Convertimos cada una de las 7 unidades del curso en un podcast conversacional de 15 a 20 minutos disponible a Spotify. Uno por unidad. Subidos como pre-lectura obligatoria. Lo que aprendí en el proceso, en bruto: 1. Tú…
Por cada $1 peso colombiano invertido en Hogares Saludables, se generaron $3,19 pesos de valor social en tres años. $4,08 pesos a cinco años. Este número no es marketing. Es el resultado de un SROI (Social Return on Investment) construido sobre los papers que…
Después de cerrar la tercera edición del seminario. 17 estudiantes, 4 horas en vivo, sustentaciones sin IA. 3 años dictando este curso. Y la sensación con la que me quedé no fue de cierre, sino de que apenas estamos empezando a entender qué significa formar…
Lo que probamos en el seminario fue adoptar la escala AIAS (AI Assessment Scale, Perkins 2024): 5 modos, no 2. Modo 1 · No AI. Defensa oral, peer review. Modo 2 · Planning. Brainstorm de pregunta, estructura del poster. Modo 3 · Collaboration. Revisión de…
Eso muestra el RCT Hogares Saludables: cuando intervenimos materialmente la vivienda, baja la violencia emocional adentro de ella. Un hallazgo que la política con enfoque de género en Colombia rara vez pone en el centro. EL DISEÑO. Tres brazos: control…
No estoy convencido. Llevo 3 años intentando integrar este tema en el seminario, y cada vez me parece más claro que la ética nueva no se entiende sin la vieja. Por eso partimos la unidad en dos bloques. Bloque A · Ética estructural (pre-IA): Diederik Stapel…
Año tras año, la misma escena. Estudiante llega a sesión 5 con una base de datos perfecta y un método decidido: "Voy a hacer DiD." Le pregunto cuál es su pregunta. Me da el método. Le pregunto cuál es el supuesto causal. Me da el método otra vez. El método se…
Tradicionalmente los tratamos como problemas separados: el Ministerio de Vivienda para uno, programas de seguridad alimentaria para el otro. Nuestro hallazgo sugiere que no son problemas separados. Usando un diseño cuasi-experimental…
Sesión 2 del seminario. Un estudiante me lo dice con orgullo. Le pido que me muestre. La pregunta es buena, mejor que cualquier cosa que él hubiera escrito solo. Y ese es exactamente el problema que llevo 3 años intentando nombrar. La trampa parece de…
Ninguna técnica cualitativa existente capturaba lo que necesitábamos entender. Las entrevistas semiestructuradas sirven para explorar opiniones. Los grupos focales sirven para contrastar narrativas. Ninguno alcanza para documentar cómo una familia renegocia…
Llevo 3 años haciéndome esa pregunta en el aula. Esta semana cerré la tercera edición del Seminario de Investigación Aplicada en EAFIT, y sigo sin tener una respuesta definitiva. Cada cohorte me cambió la pregunta: 2024: ¿qué hago con ChatGPT en clase? 2025…
Entrenamos un modelo de IA con 11.000 fotografías para hacer lo mismo. Y después le preguntamos a las familias cómo se sentían con su casa. El resultado me obligó a replantear una intuición que tenía desde hace años. La calidad objetiva de la vivienda — la…
Not because the method is shallow, but because most programs feed it with self-reports, pre-post comparisons, borrowed impact estimates, and global-average proxies. You get a ratio resting on air. SROI done well is different. It integrates everything upstream…
Sé cómo suena. Yo también lo hubiera dudado antes de ver los datos. Evaluamos Hogares Saludables, un programa que renovó cocinas, baños y pisos en 1.163 hogares urbanos vulnerables, combinado con 40 horas de formación en habilidades para la vida. Diseñamos un…
"¿Por qué debe ser la universidad —y no una consultora— quien evalúe este programa?" La pregunta era legítima: las consultoras suelen entregar más rápido, con presentaciones pulidas y menos propensión a publicar resultados incómodos. Esta fue nuestra…
Eso es lo que queda al final. Lo que hicimos fue diseñar una arquitectura de aprendizaje de cuatro años. Cuando @Cementos Argos pidieron evaluar Hogares Saludables — un programa que mejora cocinas, baños y pisos en barrios populares — desde @Valor Público…
1. Prioritize P4 (materiality) and P5 (do not over-claim) first. They have the lowest compliance and the highest impact on ratio credibility. Everything else in your report can be excellent — if these two are missing, the ratio is unreliable. 2. Compare your…
adjustment factor distributions in the corpus: → Deadweight median: 20% → Attribution: 25.5% → Drop-off: 21.5% Applied to non-compliant reports: Observed median ratio: 3.56:1 Corrected median ratio: 1.92:1 That is an 85% overstatement at the median. Formal…
Hicimos un experimento aleatorizado en Burundi — 751 hogares, 4 versiones del cuestionario, las mismas preguntas — y encontramos que preguntar sobre prácticas antes que actitudes hace que los encuestados parezcan más coherentes entre sí. Un 30% de una…
social value is created. But that claim only holds if the report followed Social Value International's eight guiding principles — the ones that govern how the ratio is calculated. The question no one had answered at scale: do practitioners actually follow…
El hallazgo central: el informe promedio cumple ~19% de los principios de Social Value International. La brecha más grande está en los principios que más afectan el ratio: materialidad (2.9%) y "no sobrestimar" (11.2%). También construimos una herramienta…
The average SROI report complies with about 19% of Social Value International's own guiding principles. Over the next few days, I'll share what this means — and what Practitioners can actually do something about it. Working paper: https://lnkd.in/ezDhzyX9…
We ran a randomized experiment in Burundi — 751 households, 4 survey versions, same questions — and found that asking about child nutrition practices before attitudes increases how consistent respondents appear across both. By 30% of a standard deviation. Not…
Cumplir no puede significar cargar todo sobre el productor y la cooperativa. Si la implementación es fragmentada y costosa, la debida diligencia se convierte en una barrera. Si se diseña bien, puede ser una herramienta de gestión que mejora las prácticas…