Medición y Valoración del Impacto Social

Sesión 3 — Teoría del programa: la arquitectura del cambio

Paola Velásquez · Juan Carlos Muñoz-Mora

Universidad EAFIT · Formación ejecutiva para Comfama

2026-08-27

S3 · La arquitectura del cambio

Jueves 27 de agosto · 15:00–17:00 · Virtual

Ayer construyeron una cadena.
Hoy preguntamos qué sostiene cada flecha.

Hoy cerramos E2

Tramo 1 · gancho, min. 0-8. Sesión central del curso: es la que da nombre al programa. Abrir con la foto de una cadena en pliego de ayer, con permiso del equipo y sin información confidencial. No empezar con definiciones.

El salto

Puente con S2

En varias cadenas de ayer pasamos de

“hicimos el taller” → “la gente tiene mejores ingresos”

sin nada en el medio.

Ese salto tiene nombre: supuesto no declarado.

Tramo 1, min. 0-8. Proyectar una cadena real solo con permiso. Si nadie identificó un salto claro ayer, usar la cadena genérica preparada de antemano (contingencia del plan de aula) para modelar la pregunta sin exponer a un equipo.

¿Qué estaban suponiendo?

La pregunta que quedó abierta ayer:

¿Qué tendría que ser cierto
para que esa flecha funcione?

Hoy esa pregunta se responde por escrito, flecha por flecha.

Tramo 2 · activación, min. 8-18. Recoger 3 o 4 respuestas en el chat antes de dar cualquier marco. Escribirlas visibles: se van a usar en el taller 2. Si un equipo dice “no estábamos suponiendo nada”, guardar la frase: es el material de la segunda mitad de la sesión.

Los tres temas que cierra esta sesión

#	Tema contratado	Cómo se trabaja hoy
B1-2	Teoría del programa: la arquitectura del cambio	Marco de las tres teorías y los 6 pasos
B1-3	Diferencias entre insumos, actividades, productos, resultados e impactos	El test de nivel, aplicado a la cadena propia
B1-6	Conexión entre diseño de programas y medición de impacto	Cierre: la ToC es lo que vuelve medible el programa

Tramo 2, min. 8-18. Mostrar el mapa una vez, 60 segundos, y seguir. Sirve para que el grupo vea que la sesión no es una improvisación temática y para que quede trazabilidad con lo contratado. No convertirlo en una explicación de la malla del curso.

Tres teorías que no son la misma

	Pregunta que responde	Nivel
Teoría del programa	¿Cómo está construida esta intervención y por qué así?	El programa completo
Teoría de cambio	¿Por qué creemos que estas acciones producen ese cambio?	El mecanismo causal
Teoría de la acción	¿Qué hacemos, con quién y cuándo, para activar ese mecanismo?	La operación

Funnell & Rogers (2011), Purposeful Program Theory · verificado 2026-08-20

Tramo 3 · marco 1, min. 18-28. La distinción importa por una razón práctica: la mayoría de las organizaciones tiene teoría de la acción muy desarrollada (cronogramas, manuales operativos) y teoría de cambio no escrita. Ese desbalance es el diagnóstico. Cita corregida: el deck predecesor dice “Funell 2021”; es Funnell & Rogers, 2011.

La cadena de resultados es un sistema

Situación
socioeconómica

→

Necesidades

→

Objetivos

→

Programa

Insumos

→

Actividades

→

Productos

→

Resultados

→

Impactos

↩︎ y esto vuelve a alimentar la situación socioeconómica de la que se partió

Van Dooren, Bouckaert & Halligan (2010), Performance Management in the Public Sector

Tramo 3, min. 18-28. Necesidades y Objetivos ya están cerrados en E1 (S2): hoy se trabaja desde Insumos en adelante, dentro del recuadro “Programa”. Se muestra el diagrama completo para que el grupo vea que la cadena no arranca de la nada — arranca de una necesidad y un objetivo ya declarados, y termina retroalimentando esa misma situación. Retomar en 2 minutos, no volver a enseñarla: se trabajó ayer. Reemplaza la versión de solo texto de la sesión anterior con el diagrama completo — corrige además la cita truncada del material de referencia (“Dooren, Wouter Van, Geert Bouckaert, and John Halligan. 2010.” sin título), citando el título completo verificado en 02_referencias/bibliografia_nucleo.md. Los dos últimos nodos dicen “Resultados” e “Impactos” — no “resultados intermedios/finales” del material fuente — para usar exactamente el mismo vocabulario que S2 ya enseñó (“Cinco niveles que no debemos confundir”). Dos nombres para lo mismo confunde más de lo que aclara.

Qué significa cada nivel, en concreto

Situación · ¿cuál es el problema o la necesidad? (ya cerrado en E1)

Insumos · los recursos que se movilizan: fondos, personal, equipos, materiales

Actividades · lo que el programa hace con esos recursos: entregar, enseñar, capacitar, ofrecer

Productos · lo que resulta directamente de la actividad — tangible, verificable

Resultados · cambios de corto plazo en conocimiento, comportamiento o práctica

Impactos · el cambio de más largo plazo — el objetivo del programa, cerrando el ciclo

Tramo 3, min. 18-28. Definiciones concretas, no la pregunta de control (esa viene en la próxima slide). Flashear y seguir: es referencia rápida, no se narra frase por frase.

El test de nivel

Nivel	Pregunta que lo identifica	Quién cambia
Insumos	¿Qué ponemos?	Nadie todavía
Actividades	¿Qué hacemos?	Nadie todavía
Productos	¿Qué entregamos?	El programa entrega
Resultados	¿Qué cambia en alguien?	El sujeto de impacto
Impactos	¿Qué cambia y se sostiene, más allá del programa?	El sujeto y su entorno

Tramo 3, min. 18-28. Este es el instrumento operativo de la sesión para el tema B1-3. La pregunta que resuelve el 80% de las confusiones: “¿esto es algo que hacemos o algo que cambia en alguien?”. Si la respuesta es “algo que hacemos”, no es un resultado, aunque suene a resultado.

Los tres errores de nivel más frecuentes

1. El producto disfrazado de resultado

“Formamos a 500 jóvenes” no es un resultado. Es lo que el programa entregó.

2. El impacto puesto de resultado

“Reducimos la pobreza de la comuna” no cabe como resultado de un programa de 18 meses.

3. La actividad puesta de impacto

“Realizamos la feria de empleo” no es ningún nivel de cambio: es la operación.

La consecuencia no es estética. Un producto reportado como resultado convierte una entrega en una promesa que nadie va a poder sostener.

Ejemplos didácticos · no corresponden a datos de ninguna organización

Tramo 3, min. 18-28. Es el error esperado y se trata como contenido, no como falla del equipo. Si aparece en el taller, se muestra en plenaria sin nombrar al equipo, tal como está previsto en la ficha de sesión.

Dónde termina el control y empieza la contribución

Productos · lo que el programa controla

Si no se entregó, es responsabilidad del programa.

Resultados · lo que el programa influye

Impactos · a lo que el programa contribuye

Aquí actúan el contexto, otros actores y las decisiones de las personas.

Por eso la promesa cambia de forma según el nivel: se rinde cuenta de un producto y se argumenta una contribución.

Tramo 3, min. 18-28. Retoma la distinción atribución/contribución trabajada en S1. Es la razón por la que el curso no promete atribución: sin contrafactual no se atribuye, se argumenta contribución con una teoría explícita. Decirlo aquí evita la pregunta de “¿y cómo probamos que fue por nosotros?” en la segunda hora.

Los 6 pasos para construir la teoría

1. Situación · qué problema, en qué contexto

2. Objetivo · qué cambio se busca

3. Diseño · qué hace el programa

4. Camino causal · si… entonces…

5. Supuestos · qué tiene que ser cierto

6. Indicadores · cómo lo sabríamos

Estructura basada en Funnell & Rogers (2011) · pasos 4 y 5 son el trabajo de hoy

Tramo 4 · marco 1b, min. 28-38. Los pasos 1, 2 y 3 ya están en E1 (cerrada ayer). El paso 6 es S6. Hoy se trabaja 4 y 5. Decirlo explícitamente: el portafolio del curso está recorriendo estos seis pasos en orden.

Ejemplo trabajado · el metrocable

Situación

Vulnerabilidad social y alto desempleo en las comunas altas de Medellín, con altas barreras para acceder a los servicios urbanos.

Objetivo

Incrementar el bienestar de los hogares vulnerables de esas comunas.

Diseño — entre dos opciones

Mejorar la infraestructura vial de acceso a los barrios,

o crear un nuevo sistema de transporte por cable que conecte los barrios al sistema masivo.

Se elige el metrocable.

Ejemplo didáctico de dominio público (Medellín) · mismo arquetipo que el Caso A del banco de contingencia

Tramo 4, min. 28-38. Los pasos 1-3 (situación, objetivo, diseño) ya están cerrados en E1 para los equipos reales — esto es el ejemplo que el docente MODELA, no un caso que se resuelve en vivo. Nunca se entrega resuelto a un equipo que esté trabajando el Caso A del banco de contingencia (que usa la misma situación) — ver 04_actividad/portafolio/E2_teoria_de_cambio.md.

El paso 4: encadenar, no listar

SI  construimos el metrocable y sus nuevas estaciones
ENTONCES  se abren conexiones cortas al sistema masivo
LO CUAL  los jóvenes acceden a mercados laborales formales
COMO RESULTADO  mejora el bienestar de esos hogares vulnerables

Cada conector es una afirmación causal. Si un conector no se puede explicar, ahí falta un eslabón o falta un supuesto.

Ejemplo didáctico · continuación del caso anterior, sin cifras de organización real

Tramo 4, min. 28-38. Modelar el encadenamiento en voz alta, no entregarlo hecho. No se muestran metas numéricas (p. ej. “3 estaciones en 6 meses”, “40% más viajes”, “50% consiguió empleo”) — eso es medición e indicadores, contenido de S6, no de hoy. Si el tiempo aprieta, este ejemplo se comprime a la sola cadena de abajo, sin el detalle de situación/objetivo/diseño de la slide anterior.

Taller 1 · su camino causal

Salas de equipo · 20 minutos

Reescriban su cadena de ayer con los conectores:

si… entonces… lo cual… como resultado

Y antes de terminar, apliquen el test de nivel a cada eslabón:

¿esto es algo que hacemos, o algo que cambia en alguien?

Tramo 5 · trabajo 1, min. 38-58. Regla dura que se anuncia ahora: máximo 5 eslabones. Circular por las salas con dos preguntas: “¿esto lo hacen ustedes o le pasa a alguien?” y “¿por qué este eslabón lleva al siguiente?”. No corregir el contenido del programa; corregir el nivel.

Máximo 5 eslabones

Si la cadena necesita más de cinco,

el programa está mal delimitado

Se recorta el alcance del programa. No se alarga la cadena.

Tramo 5, min. 38-58. Es la regla de suficiencia de E2. Una cadena de 12 eslabones no es más rigurosa: es un programa sin frontera, y no se puede medir lo que no tiene frontera. Sostener la regla incluso si el equipo argumenta que su programa “es muy complejo”.

Pausa · 5 minutos

Tramo 6, min. 58-63. Pausa real y corta, con cámara apagada. Durante la pausa, revisar en qué sala quedó una cadena con confusión de nivel: se usa como ejemplo anónimo al volver.

Una flecha sin supuesto es una flecha misteriosa

El diagrama no explica nada por sí solo.

Lo que explica es
lo que hay debajo de la flecha

Tramo 7 · marco 2, min. 63-73. Frase eje de la sesión, ya anunciada al cierre de S2. Los supuestos no son un anexo del entregable: son la diferencia entre una teoría de cambio robusta y un diagrama decorativo. El contrato promete la primera.

Un supuesto, en operación

Tres preguntas por cada flecha

1. ¿Por qué creemos que A conduce a B?

2. ¿Qué tendría que ser cierto para que eso funcione?

3. ¿Qué evidencia tenemos hoy de que se cumple?

La tercera pregunta es la que cambia la conversación.

Tramo 7, min. 63-73. Las dos primeras preguntas casi siempre se responden con facilidad. La tercera es la que abre el trabajo de las sesiones siguientes: si no hay evidencia, hay algo que medir. Ese es el puente hacia S5 y S6.

Evidencia: interna y externa

Origen	Clase	De dónde sale	Pregunta de control
Interna	Dato propio	Registros, seguimiento, línea de base del programa	¿Existe hoy, o lo estamos asumiendo?
Interna	Juicio experto y experiencia	El equipo, los operadores, los participantes	¿Está escrito, o solo lo sabe una persona?
Externa	Informes (literatura gris)	Estadística oficial, registros administrativos, informes de otras organizaciones	¿Cubre a nuestra población y territorio?
Externa	Académica	El mismo mecanismo probado y publicado en otro contexto	¿Es transferible a nuestro contexto?

Tramo 7 · el bloque de evidencia, min. 63-73. Ninguna clase es ilegítima. Lo ilegítimo es presentar juicio experto como si fuera dato propio, o un informe institucional como si fuera literatura revisada por pares. Interna es la que el programa produce o acumula por su cuenta; externa es la que viene de fuera, y dentro de externa se distingue informes (literatura gris: agencias, otras organizaciones, estadística oficial — no pasó revisión por pares) de académica (sí pasó ese filtro, o es un estudio evaluativo publicado). La pregunta de control de “juicio experto” es la más útil en organizaciones grandes: mucho conocimiento operativo existe pero no está documentado, y por eso no sirve como evidencia frente a un tercero.

La escalera de la evidencia académica

Meta-análisis y revisión sistemáticaagrega evidencia de todos los estudios existentes

Estudios de intervencióncompara un grupo de tratamiento con uno de control

Estudios longitudinalessigue a la misma cohorte en el tiempo

Estudios de control de casoscompara un caso con un caso control

Estudios de corte transversalretrata una población en un momento

Estudio de casoprofundiza en un caso particular

Opinión de expertosjuicio informado sobre el tema

Los dos escalones de arriba se nombran, no se enseñan. El curso no enseña a diseñar experimentos ni meta-análisis (guardarraíl de S1). Sirven para reconocer si ya existe evidencia de ese tipo en la literatura — no para producirla en el aula.

Pirámide de elaboración propia (Juan Carlos Muñoz-Mora) · adaptada al sistema visual del curso

Tramo 7, min. 63-73. Esta pirámide profundiza específicamente la sub-clase académica de la evidencia externa (tabla anterior) — no aplica a “informes”/literatura gris, que no sigue esta misma escalera de rigor metodológico. No sustituye la escala de trabajo verificado/plausible/apuesta de la próxima slide — esa es la que los equipos usan para etiquetar SUS PROPIOS supuestos; esta pirámide es para ubicar qué tan sólida es la evidencia académica externa que encuentren. Cuidado explícito: no convertir esto en una lista de tareas (“hay que subir de nivel”) — el curso no pide ni evalúa esa progresión.

La IA para acceder a la evidencia, no para inventarla

Para qué sí sirve hoy

Ampliar el panorama: buscar si ya existe evidencia externa — informes de otras organizaciones o literatura académica — sobre el mecanismo que su supuesto necesita.

Es exactamente el uso #3 que la política de IA del curso ya autoriza.

La regla que no cambia

Todo lo que una IA entregue — cita, cifra, estudio — se verifica antes de creerlo o proyectarlo.

Los modelos inventan referencias que suenan reales.

Aplica la política de IA ya vigente del curso — no la reemplaza ni la reescribe

Tramo 7, min. 63-73. Esta slide no introduce política nueva: aplica el uso ya permitido (“ampliar un panorama: qué métodos existen, qué dice la literatura”) al momento concreto de buscar evidencia para un supuesto. La integración más profunda de IA como contenido del curso vive en S8 (outcome harvesting) — aquí es solo una herramienta de acceso, un minuto de mención, no una discusión aparte.

¿Cuánto confiamos en un resultado?

1. Triangulación · ¿lo dice más de una fuente, o de más de una clase de evidencia? Una sola fuente es un dato; dos que coinciden ya es una señal.

2. Mecanismo plausible · ¿hay un supuesto detrás que explique por qué pasó, o solo coincide en el tiempo?

3. Atribución o contribución, dicho en voz alta · ¿el programa fue la única causa, o una entre varias?

Esto no es una prueba estadística — el curso no enseña evaluación de impacto contrafactual (guardarraíl de S1). Es un juicio informado, y se dice como tal: “confiamos porque…”, nunca “está probado que…”.

Tramo 7, min. 63-73. Cierra el bloque de evidencia antes de la escala de trabajo de la próxima slide: primero el criterio (¿por qué confiar o no?), después la etiqueta operativa (verificado/plausible/apuesta) que los equipos van a usar en el Taller 2. La pregunta 3 retoma la distinción atribución/contribución ya trabajada en el tramo 3 de hoy y en S1 — repetirla aquí es intencional: es el punto donde más se tienta la confianza excesiva (“esto resultó por nosotros”). Ningún resultado del taller se presenta como “probado” — el vocabulario correcto es “razonablemente confiable dado lo que sabemos hoy”.

Y una escala honesta de solidez

Verificado · hay un dato que lo sostiene hoy

Plausible · hay evidencia de otro contexto o una razón teórica sólida

Apuesta · lo sostiene la experiencia, sin dato

Un supuesto en apuesta no es un error del programa.

Es lo primero que hay que poner a medir.

Etiquetar un supuesto como apuesta es un acto de rigor, no una confesión.

Tramo 7, min. 63-73. Escala de trabajo del curso, no un estándar externo: se presenta como tal, sin atribuirla a ninguna fuente. Su función es quitar el castigo de admitir que algo no está probado — sin esa licencia, los equipos escriben supuestos triviales para salir del paso.

Taller 2 · declaren y etiqueten

Salas de equipo · 25 minutos · cierre de E2

1. Un supuesto declarado por cada flecha de su cadena.

2. Para cada supuesto: clase de evidencia y etiqueta — verificado · plausible · apuesta.

3. Y al final, la pregunta del cierre:

¿cuál es el supuesto que, si fuera falso, haría colapsar toda la cadena?

Si un supuesto queda en “apuesta”: antes de darlo por perdido, busquen (con IA o sin ella) si ya hay evidencia externa — informes o literatura académica — que lo sostenga.

Tramo 8 · trabajo 2, min. 73-98. Aquí se cierra E2. Si un equipo declara “no tenemos supuestos, todo está probado”, es la señal de alerta más importante de la sesión: insistir con “¿seguiría siendo cierto si el contexto cambiara el año entrante?” hasta que aparezca un supuesto genuino. Si el tiempo aprieta, priorizar supuestos y etiquetas sobre la versión narrada: la narrada se pule mañana.

E2 se cierra hoy

Debe salir

• cadena de máximo 5 eslabones, sin saltos de nivel;
• versión narrada coherente con la cadena;
• un supuesto por flecha, con clase de evidencia;
• el supuesto más frágil, identificado y justificado.

Todavía no buscamos

• indicadores SMART (eso es S6);
• una prueba de atribución;
• datos nuevos;
• un supuesto que quede bien en un informe.

Entregable E2 · RA-2 y RA-3 · una ToC sin supuestos declarados no cumple

Tramo 8, min. 73-98. Proyectar como lista de control mientras los equipos cierran. Recordar que E2 se pule mañana en los primeros 25 minutos de la presencial, pero que se cierra hoy: no se deja como tarea.

Plenaria · el supuesto más frágil

Cada equipo · 90 segundos

Digan su supuesto más frágil en voz alta.

No lo vamos a resolver hoy. Queda escrito y queda abierto.

Tramo 9 · cierre, min. 98-112. Resistir el impulso de resolver. La función de la plenaria es que el grupo escuche que todos los programas tienen un punto frágil: eso baja la defensa y sube la calidad de lo declarado. Anotar los supuestos frágiles: mañana abren S4 y en S7 se retoman.

Por qué esto es medición y no solo diseño

Tema B1-6 · la conexión que cierra el bloque conceptual

Un programa se vuelve medible
cuando su teoría está escrita

Sin cadena no hay qué medir. Sin supuestos no hay qué poner a prueba.
Los indicadores vienen después, y vienen de aquí.

Tramo 9, min. 98-112. Payoff conceptual de la sesión y del tema contratado B1-6. Es también la respuesta a quien esperaba una sesión de métricas: las métricas de S6 se derivan de lo que se construyó hoy, no al revés.

Su cadena, vista con dos preguntas de evaluación

Insumos

→

Actividades

Eficiencia→

Productos

Efectividad→

Resultados

Eficiencia · ¿esos insumos se convierten en productos de forma económica y oportuna?

Efectividad · ¿esos productos logran, o se espera que logren, los resultados esperados?

Adelanto informal, no la definición oficial. Mañana ven las 6 definiciones completas y verbatim — incluida coherencia, la que se añadió en la revisión de 2019 — y las aplican a su propio programa.

Glosa de trabajo sobre OECD/DAC (2019/2021) — el texto oficial verbatim se proyecta completo en S4

Tramo 9-10, min. 98-120. Esta es la reconciliación pedida: el diagrama sistémico de la slide 6 no llevaba flechas de criterios porque el material fuente usaba un vocabulario distinto al de los 6 OECD/DAC (Economía, Costo-Efectividad, Utilidad y sostenibilidad, sin coherencia) — mostrar eso habría enseñado, con nombres equivocados, contenido que es de S4. Esta slide corrige eso: toma solo dos de los seis criterios — eficiencia y efectividad, los que se leen directo sobre la propia cadena que el grupo construyó hoy — y los nombra con el vocabulario OECD/DAC correcto, pero como glosa de trabajo, no como cita verbatim (esa se reserva para S4, con el texto oficial en pantalla). No se muestran los otros 4 criterios aquí — relevancia, coherencia, impacto y sostenibilidad no se leen igual de directo sobre esta cadena y su tratamiento completo es íntegramente de S4; adelantarlos todos aquí sí duplicaría esa sesión.

Mañana: ¿resiste un estándar internacional?

S4 · Marcos de evaluación: criterios OECD/DAC

Ya vieron 2 de 6.
Mañana, el estándar completo.

Traigan su teoría de cambio de hoy, en el estado en que quedó. Los primeros 25 minutos de mañana son para pulirla.

Tramo 10 · puente, min. 112-120. Sin consigna de trabajo: hay menos de 24 horas hasta S4. Anunciar que mañana se cierra el Bloque 1 y que la sesión la facilita Paola Velásquez, presencial, 10:00-13:00.