# Medición y mejora — cómo saber si el método funcionó > Indicadores en vivo, entre sesiones, post-curso. Y cómo iterar dentro del intensivo. ## Filosofía de medición - **No medimos satisfacción** ("me gustó la clase") — es ruido. - **Medimos comportamiento** (cumplió commitment, produjo bitácora, defendió en sustentación). - **Medimos calidad del producto** (Hito 2, 3, 4 reflejan el trabajo del aula). - **Medimos al Director** (¿hablé <50% del tiempo? ¿respeté el reloj?). --- ## Indicadores en vivo (durante cada sesión) | Hora | Indicador | Cómo medirlo | |---|---|---| | Tras Preludio (00:15) | Todos están **despiertos y hablando** | Observación visual — si el círculo en pie no produce 1 palabra inesperada por estudiante, el Preludio falló | | Tras MOV I (01:30) | **Cada estudiante tiene su Bitácora I producida** | Caminar las mesas — si alguno está en blanco, parar y diagnosticar | | Tras Interludio 1 (01:45) | **80%+ volvieron** del café puntual | Conteo a las 01:45 sharp — si faltan >20%, tu interludio fue muy corto o se quedaron en el aula | | Tras MOV II (03:00) | **Cada estudiante tiene Bitácora II** + **al menos 5 hablaron en fishbowl** | Conteo en el momento + recoger artefactos | | En Sustentación (03:35) | **Las 8–15 sustentaciones** se ejecutan **en tiempo previsto** sin que el Director interrumpa | Cronómetro | | Al cierre (04:00) | **Todas las tarjetas de commitment** están en la pared | Conteo + foto | ### Indicador clave del Director > **A las 22:00, ¿hablé yo más del 50% del tiempo total?** Si la respuesta es sí, **el método se usó como cobertura para una clase magistral**. Es la métrica más importante. --- ## Indicadores entre sesiones ### Cumplimiento de commitments (al check-in del día siguiente) **Cómo medir:** 1. Al inicio de la siguiente sesión (Preludio), ronda rápida: ¿quién cumplió la tarjeta de ayer? 2. Por cada estudiante: cumplido / parcial / no cumplido. 3. Si no cumplió: ¿por qué? — sin sanción, con visibilidad. **Umbral de éxito:** **>80%** de cumplimiento total o parcial. **Si <80%:** - Las tarjetas pidieron acciones demasiado grandes → simplificarlas la próxima sesión ("escribe 1 párrafo" mejor que "escribe 3 páginas"). - O el commitment se sintió como tarea, no como compromiso → revisar el lenguaje del cierre. ### Calidad del Hito 2 (informe de planteamiento, viernes 15/05) **Cómo medir:** - Leer 3 informes al azar antes de calificar formal. - Pregunta: **¿el §1 del informe refleja claramente lo trabajado en S1–S3?** - En particular: ¿el filtro ARV está usado? ¿la pregunta refinada se nota? ¿la estadística descriptiva pequeña aparece? **Si no:** - El método produjo bitácoras pero no transferencia al producto final. - Diagnóstico: probablemente la conexión "bitácora → §1 del informe" no fue explicitada en aula. Ajustar para próxima cohorte. ### Calidad del Hito 3 (taller grupal, sábado 16/05) **Cómo medir:** - ¿La estrategia metodológica refleja el trabajo del Sábado en aula? - ¿Los grupos eligieron método con base en la triada (teoría↔hipótesis↔método) o por moda? - ¿El dataset identificado es el que vieron en aula o uno nuevo improvisado? --- ## Indicadores post-curso ### Calidad del Hito 4 (póster + sustentación, jueves 21/05) **Cómo medir:** - ¿Los pósters integran las 7 unidades coherentemente? - ¿La sustentación oral muestra dominio (no recitación)? - En el Q&A: ¿pueden defender por qué tomaron decisiones, o dicen "porque ChatGPT"? **Métrica clave:** **% de estudiantes que en Q&A defienden con criterio propio una decisión metodológica**. ### Encuesta corta de 3 preguntas al final de cada sesión Enviada por correo el día siguiente a las 8 AM. 3 preguntas únicamente: 1. ¿Qué bloque de la sesión de ayer **funcionó mejor** para tu aprendizaje? 2. ¿Qué bloque te pareció **innecesario o mal calibrado**? 3. ¿Qué hubieras querido **más tiempo o menos tiempo**? **No usar Likert ni escalas.** Texto libre, máximo 2 frases por respuesta. ### Encuesta larga al final del curso Una sola vez (jueves 21/05 después de S8): 1. **¿Qué se te queda en la cabeza un mes después de terminar este curso?** (open-ended) 2. **¿Qué cambió en tu manera de pensar la investigación?** (open-ended) 3. **¿Qué herramienta IA vas a seguir usando (y cómo)?** (open-ended) 4. **¿Qué le quitarías al curso?** (open-ended) 5. **¿Qué le agregarías?** (open-ended) 6. **¿Cómo describirías el método "Estudio del Investigador" a un colega?** (open-ended) ### Indicador final — el gold standard > **¿Un colega del departamento te pregunta cómo organizaste el método y quiere usarlo?** Si pasa: el método es **transferible**. Si no pasa pero la cohorte fue exitosa: revisar comunicación interna del departamento. --- ## Iteración dentro del intensivo El intensivo es **8 sesiones en 11 días**. No hay tiempo para "esperar a la próxima cohorte" — se itera **dentro del intensivo**. ### Después de cada sesión (día siguiente AM) 1. **5 min de notas en frío** camino al carro al cierre de la sesión. 2. **Llenar `04-feedback-post.md`** de esa sesión al día siguiente AM. 3. **Ajustar la sesión siguiente** si hay aprendizajes claros: - Ej: "El fishbowl con 4 sillas fue chico para el grupo de 14" → S5 usar 5 sillas. - Ej: "El interludio fue muy corto, volvieron tarde" → S3 extender a 18 min. ### Al final del intensivo 1. Revisar todos los `04-feedback-post.md` agregados. 2. Identificar **3 patrones** que se repiten. 3. Actualizar el **marco metodológico** (`01-metodo-estudio-investigador.md`) con esos aprendizajes. 4. **Versionar el método** (v1.1, v1.2...) — el repo lo soporta. --- ## La "Bitácora del Director" Sugerencia: el Director lleva su propia bitácora simple en cada sesión. Una hoja con 4 cuadros: ``` ┌─────────────────────────┬─────────────────────────┐ │ ✅ Funcionó mejor │ ❌ Falló o forzado │ │ │ │ │ │ │ ├─────────────────────────┼─────────────────────────┤ │ 💡 Idea para repetir │ 🔧 Ajuste para mañana │ │ │ │ │ │ │ └─────────────────────────┴─────────────────────────┘ ``` Llenar **a mano** (ritual deliberado) en los 5 min de café posteriores a la sesión, ANTES de irse a casa. Toma 5 min y produce el artefacto que alimenta `04-feedback-post.md` al día siguiente. --- ## Publicación SoTL (output académico del intensivo) Todo este proceso de medición + iteración produce material para una **publicación de Scholarship of Teaching and Learning (SoTL)** sobre cómo enseñar investigación en formato intensivo nocturno con IA. **Propuesta de paper:** - **Título:** *"El Estudio del Investigador: un método pedagógico activo para enseñanza intensiva de metodología de investigación con integración de IA generativa"* - **Datos:** las bitácoras + las encuestas + las métricas de cumplimiento + las calificaciones de los hitos. - **Journal candidato:** *Journal of Economic Education*, *Innovations in Education and Teaching International*, *Higher Education Research & Development*. - **Subagente recomendado para escribir:** `/mambrino-sotle`. **Tiempo estimado:** 30–40 horas post-curso para draft inicial. --- ## Indicadores de fracaso (señales de alarma) Si pasa alguna de estas, **algo está mal estructuralmente**: - ❌ A las 21:00, **estás explicando algo que ya explicaste antes** → recortar el siguiente Concepto 5 min. - ❌ Más de 2 estudiantes **abandonan el aula** sin avisar antes de las 21:00 → la sesión es demasiado densa o la energía se agotó. - ❌ En el feedback escrito, >30% dice **"no sé bien qué hicimos hoy"** → la estructura del molde no fue visible para ellos. Proyectarla más. - ❌ El cumplimiento de commitments cae a <50% en S2 → las tarjetas son demasiado grandes o no las trataron en serio. Recalibrar. - ❌ Los Hitos 2 y 3 entregan **trabajos muy parecidos a los que entregaban antes del método** → el método no transfirió. --- ## Cierre > **El método es bueno cuando los estudiantes producen mejor que en cohortes pasadas, no cuando los estudiantes dicen que les gustó.** La satisfacción es señal débil. La calidad del trabajo final es señal fuerte. Diseña para la segunda.