Tres estudios independientes, en dominios distintos, encuentran lo mismo: quienes peor lo hacían antes son los que más ganan con estas herramientas. En un experimento con 5.179 agentes de servicio al cliente, la productividad subió 14 % en promedio y 34 % entre los novatos, con efecto casi nulo en los expertos. En otro, con 453 profesionales de escritura, la brecha entre los mejores y los peores se cerró.
El desempeño se comprime. Y si todos usamos las mismas herramientas para producir lo mismo, lo que queda para diferenciarse es lo que uno le pide a la máquina y lo que se niega a aceptarle.
Ahí aparece un resultado que me parece el más incómodo de toda esta literatura. En un experimento de campo con 758 consultores asignados al azar, quienes trabajaron sin la herramienta resolvieron bien el 84 % de una tarea diseñada para caer fuera de lo que el modelo sabe hacer. Los que tenían GPT-4 acertaron entre 60 y 70 %. La única manera de saber si una respuesta es correcta es saber lo suficiente del tema como para evaluarla sin la herramienta. La IA rinde más en manos del novato y es más segura en manos del experto.
Y estamos automatizando justo el trabajo donde el experto se hacía. En cuatro centros de endoscopia, 19 médicos con más de dos mil colonoscopias cada uno bajaron su tasa de detección —trabajando sin IA— del 28,4 % al 22,4 % después de acostumbrarse a trabajar con ella. Los autores lo presentan con cautela, como la primera evidencia que sugiere un efecto de este tipo. Basta para tomárselo en serio.
Hablé de esto hace unos días en Conexiones, en EAFIT. Ninguna de las preguntas que me hicieron después era sobre modelos. Todas eran sobre quién decide, quién puede negarse y quién responde cuando el sistema se equivoca.
Cuatro cosas que me parecen defendibles para formar criterio, y que no son hallazgos sino oficio:
→ Escriba su respuesta antes de consultar la herramienta y después compárelas. Es la forma más barata de saber si su criterio está calibrado o si solamente está de acuerdo. → Practique sin asistencia en las tareas críticas, con periodicidad. Un simulacro de incendio no se hace porque se espere el incendio. → Busque circuitos de retroalimentación rápida. Kahneman y Klein pusieron dos condiciones para que la intuición experta sea confiable: un entorno con regularidades reales y práctica prolongada con retroalimentación pronta. Donde falta la segunda, los años dan confianza y no calibración. → Proteja el trabajo de entrada de su equipo. Es aburrido, es automatizable y es el único gimnasio que existe.
En Colombia esto pesa más, no menos. Donde los datos son escasos y las auditorías públicas son débiles, el criterio de quien lee el número es lo que separa una decisión de una firma.
¿Cuál fue la última decisión en la que usted le llevó la contraria a un sistema y tuvo razón?
#ResearchMethods #EvidenceBasedPolicy #HigherEducation