Sesión 6 — ¿Cómo evaluar el impacto? Cuándo, qué y con qué indicadores
Universidad EAFIT · Formación ejecutiva para Comfama
2026-09-04
Viernes 4 de septiembre · 10:00–13:00 · Presencial
La cadena
Insumos → Actividades → Productos → Resultados → Impacto
La estructura sobre la que se declara todo lo demás.
La evidencia
Qué sostiene cada eslabón, y con qué grado de solidez.
VERIFICADO · POR-VERIFICAR · SIN DATOS.
Supuestos y riesgos
Lo que damos por cierto sin haberlo probado, y lo que puede interrumpir la cadena.
Uno por flecha.
Todo eso junto es la teoría de cambio: lo que decimos que va a pasar y por qué. Hoy damos vuelta a la página.
Sistemático — no es una impresión ni una anécdota bien contada.
Determinar el valor — evaluar es emitir un juicio, no solo describir.
De cada acción — se evalúa algo concreto, no “el programa” en abstracto.
Cultivando Impacto · Sesión 2, p. 8 (AGROSAVIA · EAFIT · Valor Público)
FORMATIVA
Para mejorar en los procesos del proyecto.
Durante · la usa el equipo que opera.
SUMATIVA
Para fundamentar las decisiones sobre el inicio, la continuación, la ampliación o la interrupción de una intervención.
En hitos de decisión · la usa quien decide y financia.
No son dos calidades de evaluación: son dos preguntas distintas. Y la pregunta que uno se hace determina cuándo tiene que evaluar.
Cultivando Impacto · Sesión 3, p. 7
| Momento del ciclo | Tiempo | Tipos de evaluación |
|---|---|---|
| 1 · Diseño | Ex-ante | Evaluación ejecutiva |
| 2 · Planeación | Ex-ante | Evaluación institucional |
| 3 · Ejecución | Interim | Evaluación de operaciones — y resultados tempranos |
| 4 · Cierre | Ex-post | Evaluación de resultados · Evaluación de impacto |
La evaluación no es la quinta casilla al final: acompaña los cuatro momentos.
En la evaluación intermedia no solo se mira la operación: también se pueden observar resultados tempranos — cambios que ya empiezan a aparecer y permiten corregir a tiempo.
Cultivando Impacto · Sesión 3, pp. 8-9
El momento en que evalúan no es una preferencia de agenda: está determinado por el eslabón sobre el que quieren saber algo.
Preguntar por resultados finales en el mes tres no es ser diligente: es preguntar algo que todavía no existe.
Van Dooren, Bouckaert & Halligan (2010) · vía Cultivando Impacto · Sesión 3, pp. 10-11
| Tipo de evaluación | ¿Dónde mira? | Pregunta que responde |
|---|---|---|
| Ejecutiva | Necesidades → objetivos | ¿El diseño responde al problema? |
| Institucional | Objetivos → insumos | ¿La entidad puede ejecutarlo? |
| De operaciones | Actividades → productos | ¿Se está implementando como se diseñó? |
| De resultados | Productos → resultados intermedios | ¿Se lograron los cambios esperados? |
| De impacto | Resultados finales | ¿La intervención hizo la diferencia? |
Evaluar temprano cuesta menos y sirve para corregir. Evaluar tarde cuesta más y solo sirve para explicar. Lo que no es aceptable es no haber decidido cuál se está haciendo.
Cultivando Impacto · Sesión 3, p. 12
| Criterio | Pregunta que responde |
|---|---|
| Relevancia | ¿El programa está atendiendo las necesidades adecuadas? |
| Coherencia | ¿El programa se articula con otras intervenciones similares? |
| Eficacia | ¿El programa ha logrado conseguir los objetivos planteados? |
| Eficiencia | ¿El programa ha usado los recursos de manera adecuada? |
| Impacto | ¿La implementación del programa ha hecho la diferencia? |
| Sostenibilidad | ¿Los beneficios del programa perduran en el tiempo? |
Seis criterios, seis preguntas. Un criterio sirve cuando se formula como pregunta.
Cultivando Impacto · Sesión 3, p. 13 · OECD/DAC (2019)
Van Dooren, Bouckaert & Halligan (2010) · vía Cultivando Impacto · Sesión 2, pp. 10-13
Un criterio no es un adjetivo: es una flecha entre dos eslabones.
Por eso no se puede evaluar eficiencia sin saber qué son los insumos y qué son los productos. Y por eso necesitábamos la teoría de cambio primero.
| Criterio | Es la relación entre… |
|---|---|
| Relevancia | Necesidades ↔︎ Objetivos |
| Eficiencia | Insumos → Productos |
| Efectividad | Productos → Resultados |
| Utilidad y sostenibilidad | Resultados finales ↔︎ Necesidades |
Relevancia — “The extent to which the intervention objectives and design respond to beneficiaries’, global, country, and partner/institution needs, policies, and priorities, and continue to do so if circumstances change.”
Eficacia — “The extent to which the intervention achieved, or is expected to achieve, its objectives, and its results, including any differential results across groups.”
Eficiencia — “The extent to which the intervention delivers, or is likely to deliver, results in an economic and timely way.”
Impacto — “The extent to which the intervention has generated or is expected to generate significant positive or negative, intended or unintended, higher-level effects.”
Sostenibilidad — “The extent to which the net benefits of the intervention continue, or are likely to continue.”
OECD/DAC Network on Development Evaluation (2019), Better Criteria for Better Evaluation — texto oficial, sin parafrasear
“The compatibility of the intervention with other interventions in a country, sector or institution.”
Coherencia interna
Sinergias entre esta intervención y las otras de la misma institución.
Coherencia externa
Consistencia con lo que hacen otros actores en el mismo territorio: complementariedad, armonización, no duplicación.
Los cinco criterios originales son de 1991. Coherencia se añadió el 10 de diciembre de 2019.
El criterio dice qué mirar. El indicador dice con qué dato lo miro.
CRITERIO → PREGUNTA DE EVALUACIÓN → INDICADOR → FUENTE DE VERIFICACIÓN
Eficacia → ¿Consiguieron empleo? → % empleados → Registro PILA
a 6 mesesSin ese puente, el criterio se queda en adjetivo.
| Definición | Ejemplo | |
|---|---|---|
| Dato | Unidad básica de información sin procesar que describe una característica o hecho específico | La temperatura registrada a las 8:00 AM es 20 °C |
| Variable | Característica o propiedad que puede tomar diferentes valores | La altura de una planta |
| Medida | Proceso de asignar un valor numérico mediante instrumentos | Usar un termómetro para determinar que la temperatura es 20 °C |
| Estadística | Conjunto de datos organizados que describen fenómenos o tendencias | Promedio mensual de temperaturas de una ciudad en un año |
Cultivando Impacto · Sesión 3, p. 17
“Es una representación (cuantitativa preferiblemente) establecida mediante la relación entre dos o más variables, a partir de la cual se registra, procesa y presenta información relevante con el fin de medir el avance o retroceso en el logro de un determinado objetivo en un periodo de tiempo determinado, ésta debe ser verificable objetivamente, la cual al ser comparada con algún nivel de referencia (denominada línea base) puede estar señalando una desviación.”
“‘Número de desempleados’ es un dato sobre el cual no puede establecerse un juicio de valor, mientras que la ‘tasa de desempleo’ es un indicador que nos da cuenta del carácter positivo o negativo de una situación.”
Un indicador tiene siempre una dirección esperada. Si no puedes decir si subir es bueno o malo, no es un indicador: es un dato.
Función Pública (2018), Guía para la construcción y análisis de Indicadores de Gestión, V4, pp. 18-19
| Tipo | Qué mide | Dónde se para en la cadena |
|---|---|---|
| Gestión | Recursos físicos, humanos y financieros utilizados en el desarrollo del proyecto | Insumos y actividades |
| Producto | Cuantifica los bienes y servicios (intermedios o finales) producidos por el programa | Productos |
| Resultados | Mide los cambios resultantes en el bienestar de la población objetivo de la intervención | Resultados e impacto |
Eficacia = ¿se cumplió la meta? · Eficiencia = ¿a qué costo? · Efectividad = ¿cambió la población?
Cultivando Impacto · Sesión 3, pp. 20-21 · Función Pública (2018), pp. 28-47
Estructura sujeto + verbo en participio pasado (+ dónde / cuándo)
| Objetivo | Indicador |
|---|---|
| Construir 35 kilómetros de red vial nacional | Kilómetros de red vial nacional construidos en Santander |
| Generar nuevos cupos en educación superior | Nuevos cupos en educación superior generados |
El nombre debe permitir identificar si su evolución será ascendente o descendente. Y el 35 no va en el nombre: el 35 es la meta. Confundirlos es el error más común.
Función Pública (2018), pp. 51-53 · Fórmulas más usadas: porcentaje · tasa de variación · razón o promedio · índices
S · Específicos — pregunte (responda) una pregunta a la vez
M · Medibles — cuantificable, preciso, imparcial, sensible
A · Alcanzables — ¿es realista el indicador?
R · Relevantes — ¿es este el indicador de programa más relevante dadas las necesidades?
T · Temporales — medido durante un periodo de tiempo
Los indicadores son señales de cambio y medidas de progreso.
Cultivando Impacto · Sesión 3, p. 22
| Criterio | Pregunta de calificación |
|---|---|
| C · Claro — preciso e inequívoco | ¿Es suficientemente preciso para garantizar una medición objetiva? |
| R · Relevante — apropiado al tema | ¿Es un reflejo lo más directo posible del objetivo? |
| E · Económico — a costo razonable | ¿Es accesible obtener los datos? |
| A · Adecuado — base suficiente | ¿Es representativo del resultado deseado y observable periódicamente? |
| M · Medible — validación independiente | ¿Están las variables bien definidas para medir siempre igual? |
SMART dice cómo debe estar escrito. CREAM decide cuáles se quedan: una sola casilla en “No” y el indicador no pasa.
Cultivando Impacto · Sesión 3, pp. 23-24
Validez
Los indicadores deben medir, de la manera más directa y sucinta posible, los niveles de rendimiento reales y previstos.
Fiabilidad
El sistema de recogida de datos es estable y coherente en el tiempo y el espacio: la medición se hace de la misma manera cada vez.
Temporalidad
Frecuencia, actualidad y accesibilidad: cada cuánto se recogen, de cuándo son y si están disponibles para decidir.
Cultivando Impacto · Sesión 3, p. 25
Tres partes, en orden — cada una necesita la anterior
A · ¿Cuándo? Ubiquen su programa en el ciclo y decidan qué tipo de evaluación les corresponde. (2 min)
B · ¿Qué? Los seis criterios OCDE. Para cada uno: qué tan comprometido está —alto, medio, bajo— y por qué. Al final eligen uno solo: el más comprometido.
C · Del criterio al indicador. Sobre ese criterio, tres indicadores: gestión, producto y resultado. Nombre, fórmula, línea de base, fuente y responsable. Cada uno pasa por CREAM.
El objetivo no es llenar la ficha completa. Es llegar honestamente al final de la parte C con al menos un indicador que sobreviva CREAM. Escribir «SIN DATO» no es un fracaso: es un hallazgo sobre el sistema de información.
Medición y Valoración del Impacto Social · EAFIT–Comfama