Medición y Valoración del Impacto Social

Sesión 4 — La cadena de resultados: evidencia, supuestos y riesgos

Paola Velásquez · Juan Carlos Muñoz-Mora

Universidad EAFIT · Formación ejecutiva para Comfama

2026-08-28

S4 · De la cadena a la evidencia

Viernes 28 de agosto · 10:00–13:00 · Presencial

Ayer empezamos a construir la cadena causal y a mirar de qué está hecha la evidencia. No alcanzamos a terminar.

Hoy la terminamos
sobre su propio proyecto

Tramo 1 · encuadre, min. 0-10. Sesión presencial de 3 horas. Preparar la sala con los pliegos de ayer visibles si los hay. Decir explícitamente que hoy se retoma lo que quedó abierto: no es repetición, es cierre. El módulo contratado de marcos de evaluación OECD/DAC se traslada a la S6.

1 · Lo que hemos visto

El recorrido, en tres ideas

Por qué es difícil

El impacto ocurre en dimensiones estructurales que toman tiempo y no controlamos.

Por eso medimos bien lo que entregamos y mal lo que cambia.

Las buenas intenciones no son suficientes.

La arquitectura del cambio

Medir impacto no es un problema de instrumentos: es un problema de teoría explícita.

La mayoría no falla al medir. Falla al no haber declarado nunca por qué creía que funcionaría.

La cadena de resultados

Los eslabones que llevan al impacto:

Insumos → Actividades → Productos → Resultados → Impacto

No es una taxonomía: es la estructura sobre la que se declara la evidencia.

Van Dooren, Bouckaert & Halligan (2010), Performance Management in the Public Sector

Tramo 2 · resumen, min. 10-25. Cinco minutos para las tres columnas, no más: es repaso, no reenseñanza. Retomar con las palabras del propio grupo — la analogía del dominó (“la pregunta no es si cayó la última ficha, sino qué pasó en la mitad”) y la distinción atribución/contribución que ellos mismos formularon en S1. Enlazar con las tres teorías de ayer: teoría del programa, teoría de cambio y teoría de la acción.

2 · El objetivo de hoy · con qué salen

Cuatro cosas

1. Resueltas las dudas sobre la Ficha 1 en relación con su proyecto.

2. La cadena de resultados de su proyecto, establecida.

3. La evidencia que sostiene cada eslabón, identificada y etiquetada.

4. Los supuestos y riesgos del proyecto, declarados.

Tramo 3 · objetivo, min. 25-35. Leerlo tal cual y dejarlo proyectado un momento. El punto 1 va primero a propósito: si la Ficha 1 quedó floja, la cadena se construye sobre arena. Anunciar que el producto de hoy es la Ficha 2 y que se cierra en sesión.

Primero: sus dudas sobre la Ficha 1

Plenaria · 20 minutos

• ¿El sujeto de impacto quedó concreto, o seguimos en “la comunidad”?
• ¿La afirmación de impacto es real y sabemos de dónde sale?
• ¿El diagnóstico dice qué evidencia falta, o solo qué está mal?
• ¿Qué se les atravesó al llevarla a su proyecto?

Tramo 4 · dudas de E1, min. 35-55. No es una revisión uno a uno: es plenaria. Tomar 3 o 4 casos y trabajarlos en voz alta, porque las dudas se repiten entre equipos. Si un equipo sigue con un sujeto de impacto difuso, resolverlo aquí: sin sujeto concreto la cadena de hoy no se puede construir. Repregunta útil: “si mañana tuvieran que ir a buscar a esas personas para preguntarles si algo cambió, ¿a quién buscarían y dónde?”.

Repasemos: los cinco eslabones

Nivel	Qué es	Ejemplo
Insumos	Los recursos y capacidades que ponemos	Presupuesto, equipo, aliados, convenios
Actividades	Lo que el programa hace con esos recursos	Convocar, seleccionar, formar, acompañar
Productos	Lo que el programa entrega. Contable al terminar	180 jóvenes graduados · 12 talleres dictados
Resultados	Lo que cambia en el sujeto: conocimientos, capacidades, prácticas o condiciones	Los graduados aplican la competencia y acceden a empleo formal
Impacto	Lo que permanece y se amplía, en la vida de las personas o en el sistema	Trayectoria laboral sostenida · ingreso del hogar

Tramo 5 · repaso, min. 55-75. Ejemplos didácticos, no datos de Comfama. La escalera dentro de “resultados” —conocimientos, capacidades, prácticas, condiciones— sirve para desatascar al equipo que insiste en que capacitar ya es un resultado: lo es, del tipo más débil, y la pregunta siguiente es si el conocimiento se convirtió en práctica.

El test de nivel

Nivel	Pregunta que lo identifica	Quién cambia
Insumos	¿Qué ponemos?	Nadie todavía
Actividades	¿Qué hacemos?	Nadie todavía
Productos	¿Qué entregamos?	El programa entrega
Resultados	¿Qué cambia en alguien?	El sujeto de impacto
Impacto	¿Qué cambia y se sostiene más allá del programa?	El sujeto y su entorno

La pregunta que resuelve el 80% de las confusiones:
¿esto es algo que hacemos o algo que cambia en alguien?

Tramo 5, min. 55-75. Es el instrumento operativo del taller. Si la respuesta es “algo que hacemos”, no es un resultado, aunque suene a resultado. Usarla al circular por las mesas.

Los tres errores de nivel más frecuentes

1 · El producto disfrazado de resultado

“Formamos a 500 jóvenes” no es un resultado: es lo que el programa entregó.

2 · El impacto puesto de resultado

“Reducimos la pobreza de la comuna” no cabe como resultado de un programa de 18 meses.

3 · La actividad puesta de impacto

“Realizamos la feria de empleo” no es ningún nivel de cambio: es la operación.

La consecuencia no es estética. Un producto reportado como resultado convierte una entrega en una promesa que nadie va a poder sostener.

Ejemplos didácticos · no corresponden a datos de ninguna organización

Tramo 5, min. 55-75. Se trata como contenido esperable, no como falla de nadie. Si aparece en el taller, se muestra en plenaria sin nombrar al equipo.

Dónde termina el control y empieza la contribución

Hasta productos · lo que el programa controla

Depende de nuestra gestión. Se mide con registros propios.

Desde resultados · lo que el programa influye

Depende también de otros: del contexto, del mercado, de las decisiones de las personas.

Ahí está la frontera entre atribuirse un cambio y contribuir a él. Casi ningún programa social puede reclamar lo primero; casi todos pueden documentar lo segundo.

Tramo 5, min. 55-75. La distinción la formuló el propio grupo en S1: “hablamos de eliminación de barreras, pero lo que hacemos es aporte a la reducción de barreras”. Devolvérsela con esas palabras. La pausa de 15 minutos va aquí, antes de entrar al bloque de evidencia.

Cuatro clases de evidencia

Clase	De dónde sale	Pregunta de control
Dato propio	Registros, seguimiento, línea de base del programa	¿Existe hoy, o lo estamos asumiendo?
Dato secundario	Estadística oficial, registros administrativos, encuestas	¿Cubre a nuestra población y territorio?
Literatura y evaluaciones	El mismo mecanismo probado en otro contexto	¿Es transferible a nuestro contexto?
Juicio experto y experiencia	El equipo, los operadores, los participantes	¿Está escrito, o solo lo sabe una persona?

Ninguna clase es ilegítima. Lo ilegítimo es presentar juicio experto como si fuera dato propio.

Tramo 7 · evidencia, min. 90-105. Son las mismas cuatro clases que Juan Carlos presentó en S3, sin cambios. La pregunta de control de la última fila es la más útil en organizaciones grandes: mucho conocimiento operativo existe pero no está documentado, y por eso no sirve como evidencia frente a un tercero.

Y una escala honesta de solidez

Verificado · hay un dato que lo sostiene hoy

Plausible · hay evidencia de otro contexto o una razón teórica sólida

Apuesta · lo sostiene la experiencia, sin dato

Un supuesto en apuesta no es un error del programa.

Es lo primero que hay que poner a medir.

Etiquetar un supuesto como apuesta es un acto de rigor, no una confesión.

Tramo 7, min. 90-105. Escala de trabajo del curso, no un estándar externo: presentarla como tal, sin atribuirla a ninguna fuente. Su función es quitar el castigo de admitir que algo no está probado. Sin esa licencia, los equipos escriben supuestos triviales para salir del paso.

La escalera de la evidencia académica

	Nivel	Qué hace
▲	Meta-análisis y revisión sistemática	Agrega la evidencia de todos los estudios existentes
	Estudios de intervención	Compara un grupo de tratamiento con uno de control
	Estudios longitudinales	Sigue a la misma cohorte en el tiempo
	Estudios de control de casos	Compara un caso con un caso control
	Estudios de corte transversal	Retrata una población en un momento
	Estudio de caso	Profundiza en un caso particular
▼	Opinión de expertos	Juicio informado sobre el tema

Los dos escalones de arriba se nombran, no se enseñan: sirven para reconocer si ya existe evidencia de ese tipo en la literatura, no para producirla en el aula.

Tomado de la sesión 3 · Juan Carlos Muñoz-Mora

Escalera de la evidencia académica, tal como se presentó en S3. El guardarraíl de S1 sigue vigente: el curso no enseña a diseñar experimentos ni meta-análisis. La escalera sirve para ubicar la evidencia externa que un equipo cita — no para exigirles que la produzcan.

¿Cuánto confiamos en un resultado?

1 · Triangulación

¿Lo dice más de una fuente, o más de una clase de evidencia?

Una sola fuente es un dato; dos que coinciden ya es una señal.

2 · Mecanismo plausible

¿Hay un supuesto detrás que explique por qué pasó, o solo coincide en el tiempo?

3 · Atribución o contribución, dicho en voz alta

¿El programa fue la única causa, o una entre varias?

Esto no es una prueba estadística. Es un juicio informado, y se dice como tal:
“confiamos porque…”, nunca “está probado que…”.

Tomado de la sesión 3 · Juan Carlos Muñoz-Mora

Tres criterios de confianza, tal como se presentaron en S3. Sirven para el paso 2 del taller: cuando un equipo diga “tenemos evidencia”, preguntar cuál de los tres criterios cumple. El cierre — “confiamos porque…” en vez de “está probado que…” — es el que hay que decir en voz alta.

Supuesto y riesgo: no son lo mismo

SUPUESTO · la condición que damos por cierta para que la flecha funcione. Se escribe en positivo.

“Habrá vacantes en el sector para el que formamos.”

RIESGO · lo que pasa si el supuesto no se cumple. Se escribe con su consecuencia.

“Si el sector se contrae, los graduados no acceden a empleo y el resultado no ocurre.”

La pregunta que ordena las dos: ¿esto depende de nosotros o del mundo?

Lo controlamos → no es un supuesto: es una actividad que falta.

Podemos influirlo → es un riesgo gestionable: digan con qué acción se mitiga.

No lo controlamos → es un supuesto a monitorear: digan con qué señal.

Tramo 8 · supuesto y riesgo, min. 105-115. Distinción de trabajo del curso, no un estándar externo. El supuesto describe el mundo que necesitamos; el riesgo describe qué perdemos si ese mundo no aparece. Los equipos suelen quedarse en el primero porque es más cómodo. La pregunta de abajo es la herramienta más útil del bloque: hacerla en vivo con un ejemplo del grupo. El hallazgo que hay que provocar: cuando un equipo nombra como supuesto algo que sí controla —“que haya conexión con empleadores”— no es un supuesto, es un vacío de diseño. Suele producir un silencio en la sala.

Taller · Ficha 2

Trabajo en equipo · 45 minutos · se cierra hoy

Paso 1 · La cadena. Ubiquen su proyecto en los cinco eslabones. Máximo 5.

Paso 2 · La evidencia. Por eslabón: ¿qué la sostiene y de qué clase es?

Paso 3 · Los supuestos. Uno por cada flecha, etiquetado: verificado · plausible · apuesta.

Paso 4 · Los riesgos. De los supuestos que no controlan: ¿qué pasa si fallan?

Las tres preguntas por cada flecha

1. ¿Por qué creemos que A conduce a B?

2. ¿Qué tendría que ser cierto para que eso funcione?

3. ¿Qué evidencia tenemos hoy de que se cumple?

La tercera es la que cambia la conversación.

Tramo 9 · taller, min. 115-160. Es el corazón de la sesión, y esta slide queda proyectada todo el tiempo. Circular con tres preguntas: “¿esto es algo que hacen o algo que cambia?”, “¿esa evidencia existe hoy o la están asumiendo?”, “¿eso depende de ustedes o del mundo?”. Regla dura de los 5 eslabones: si la cadena necesita más, el programa está mal delimitado — se recorta el alcance, no se alarga la cadena. Prioridad si el tiempo aprieta: supuestos y etiquetas por encima de la versión narrada. Las dos primeras preguntas se responden con facilidad; la tercera es la que abre el trabajo de las sesiones siguientes.

Antes de cerrar la ficha

Debe salir

• Cadena de máximo 5 eslabones, sin saltos de nivel
• Clase de evidencia por eslabón
• Un supuesto declarado por flecha, etiquetado
• Los riesgos de los supuestos que no controlan

No buscamos todavía

• Indicadores ni metas
• Una evaluación con grupo de control
• La respuesta perfecta

El criterio es suficiencia: ¿está completo y es defendible?

Tramo 9, min. 115-160. Proyectar en el minuto 145 como lista de control. La columna derecha es un guardarraíl: los indicadores son de la sesión de marcos de resultados, y el curso no enseña evaluación contrafactual.

Puesta en común · ¿cómo nos fue construyendo nuestra cadena de resultados?

Plenaria · 12 minutos

Cada equipo cuenta:

• ¿Dónde se atascaron?
• ¿Qué eslabón costó más ubicar?
• ¿Cuál es el supuesto que, si fuera falso, haría colapsar toda su cadena?

Tramo 10 · plenaria, min. 160-172. Una intervención breve por equipo. No corregir: registrar. La lista de supuestos frágiles es el insumo del ciclo de aprendizaje de las últimas sesiones y hay que guardarla. Si un equipo dice “no tenemos supuestos, todo está probado”, es la señal de alerta más importante del día: insistir con “¿seguiría siendo cierto si el contexto cambiara el año entrante?”.

Lo que sigue

Marcos de evaluación: criterios OECD/DAC

Ya tienen una cadena con evidencia y supuestos declarados.
La pregunta que sigue es:

¿resiste un estándar
que no es el nuestro?

Tramo 11 · cierre, min. 172-180. Recoger las fichas y confirmar que cada equipo se lleva foto de su cadena. El módulo de marcos de evaluación se trabaja en la S6, sobre lo que construyeron hoy.