Evaluación de un modelo: exactitud, precisión y recall
Una EPS revisa 10.000 reclamaciones al mes; 200 son fraudulentas. Un modelo marca como fraude 150 reclamaciones y, de esas, 120 lo son de verdad. Calcula exactitud, precisión y recall, y decide si el modelo sirve.
Cómo se resuelve
- 1Armamos la matriz de confusión con lo que dice el enunciado. Verdaderos positivos (marcó fraude y era fraude): 120. Falsos positivos (marcó fraude y no lo era): 150 − 120 = 30. Falsos negativos (era fraude y lo dejó pasar): 200 − 120 = 80. Verdaderos negativos: 10.000 − 200 − 30 = 9.770.
- 2Exactitud = aciertos sobre el total = (120 + 9.770) / 10.000 = 9.890 / 10.000 = 98,9 %.
- 3Antes de celebrar ese 98,9 %, comparamos contra el modelo más bobo posible: uno que diga «nunca hay fraude». Ese acierta 9.800 de 10.000, o sea 98 %, y no detecta absolutamente nada. Cuando una clase es rara, la exactitud casi no se mueve, y por eso no sirve para decidir.
- 4Precisión = de lo que marcó, cuánto era cierto = 120 / 150 = 0,80 = 80 %. Dice cuánto trabajo inútil le mandamos al auditor: 2 de cada 10 casos que revisa están limpios.
- 5Recall (sensibilidad) = de todo el fraude que existía, cuánto pescó = 120 / 200 = 0,60 = 60 %. Se le escapan 80 casos de fraude al mes.
- 6F1 junta las dos en un solo número: 2 × (0,80 × 0,60) / (0,80 + 0,60) = 0,96 / 1,4 = 0,686 ≈ 68,6 %. Ese es el retrato honesto del modelo, muy lejos del 98,9 %.
- 7Decisión: sirve como filtro que le ahorra trabajo al equipo (revisa 150 casos en vez de 10.000), pero no puede ser el único control, porque 4 de cada 10 fraudes pasan derecho.
Respuesta: Exactitud 98,9 %, precisión 80 %, recall 60 %, F1 ≈ 68,6 %. Sirve como filtro de apoyo, no como control único: se le escapa el 40 % del fraude.
El error de siempre: Presentar el 98,9 % de exactitud como el resultado del proyecto. Con clases desbalanceadas ese número está dominado por los casos negativos, que son casi todos; un modelo que no haga nada ya saca 98 %. Cuando lo raro es lo que importa, se reporta precisión y recall, y se dice cuál de los dos se prefiere: aquí subir el recall significa aceptar más falsas alarmas, y esa es una decisión del negocio, no del modelo.
Tipos de aprendizaje: supervisado, no supervisado y por refuerzo
Una cadena de droguerías tiene 3 años de ventas diarias de sus 40 sucursales en Bogotá, sin ninguna etiqueta puesta a mano. Quiere dos cosas: (a) agrupar las sucursales por comportamiento de compra para armar promociones distintas, y (b) predecir cuántas unidades de acetaminofén venderá cada sucursal la próxima semana. ¿Qué tipo de aprendizaje corresponde a cada una?
Cómo se resuelve
- 1La pregunta que decide siempre es la misma: ¿existe una respuesta correcta conocida contra la cual el modelo pueda compararse mientras aprende? Si existe, es supervisado; si no existe y lo que se busca es estructura escondida, es no supervisado.
- 2Caso (a): nadie sabe cuáles son «los grupos» de sucursales. No hay lista de grupos correctos, no hay respuesta contra la cual comparar. Lo que se pide es que el modelo encuentre él mismo las sucursales que se parecen. Eso es no supervisado: agrupamiento (k-medias, por ejemplo).
- 3Caso (b): parece que tampoco hay etiquetas porque nadie etiquetó nada a mano, pero sí las hay. La etiqueta es «unidades vendidas», y el pasado ya la registró: para cada semana de los 3 años se sabe exactamente cuánto se vendió. El propio histórico es el maestro.
- 4Entonces (b) es supervisado, y como lo que se predice es un número y no una categoría, es una regresión (una serie de tiempo, que es una regresión con el cuidado extra de no mezclar el futuro con el pasado al partir los datos).
- 5Ninguno de los dos es aprendizaje por refuerzo. Ese aparece cuando hay un agente que toma decisiones seguidas y el entorno le responde con premio o castigo (fijar precios día a día y ver qué pasa con la venta). Aquí no se está decidiendo nada dentro de un ciclo: se está describiendo y prediciendo.
Respuesta: (a) Aprendizaje no supervisado: agrupamiento de las 40 sucursales. (b) Aprendizaje supervisado de regresión: la etiqueta son las unidades que el histórico ya registró.
El error de siempre: Creer que «nadie etiquetó nada» significa que todo el proyecto es no supervisado. La etiqueta no es un archivo que alguien llenó a mano: es la variable que se quiere predecir y de la cual ya se conoce el valor real en los datos viejos. En predicción de demanda, de mora o de deserción, la etiqueta viene gratis con el tiempo: basta esperar a que pase lo que se quería predecir.
