Por último, la mejor manera de comunicar las estimaciones de incertidumbre depende del tipo de modelo, la forma en que se utilizará la información de UQ y los destinatarios de la información. Para un modelo de clasificación como el de pronóstico del tiempo comentado anteriormente, la incertidumbre suele ser una puntuación que a menudo se denomina confianza. Para un modelo de regresión, la incertidumbre podría comunicarse de varias maneras, incluido un rango en el que el resultado predicho posiblemente puede caer, a menudo denominado intervalo de predicción, o mediante visualizaciones. UQ360 proporciona una guía para comunicar la incertidumbre para ayudar a elegir una forma adecuada de presentar la cuantificación de la incertidumbre.
Qué considerar al elegir métodos de comunicación
Comunicar UQ significa presentar las estimaciones de incertidumbre a las partes interesadas, suponiendo que haya elegido el algoritmo UQ correcto para generar el tipo correcto de estimaciones de incertidumbre (los vistos
anteriormente). Este es un paso crucial porque incluso las personas pueden malinterpretar las estimaciones de
incertidumbre de alta calidad si tienen dificultades o sesgos al interpretar los números o las estadísticas. A continuación presentamos algunas consideraciones clave para comunicar UQ y métodos de ejemplo. En la práctica, es necesario realizar pruebas con sus usuarios objetivo para asegurar que el método de comunicación de UQ elegido se entienda correctamente.
Comencemos con algunas preguntas clave que deberían guiar la elección de los métodos de comunicación de UQ.
Puede navegar a las pestañas de arriba para ver métodos de ejemplo para comunicar UQ de modelos de regresión y clasificación.
¿Cuál es la forma de la UQ?
El primer paso es identificar la forma del UQ que se comunicará, es decir, si se trata de una puntuación de confianza única o de un rango o distribución de los posibles resultados previstos. En los actuales modelos de ML, la primera es la forma en que suelen aparecer las estimaciones de incertidumbre de un modelo de clasificación, y la segunda es la forma en que aparecen las estimaciones de incertidumbre de un modelo de regresión.
Por ejemplo, para un modelo de regresión, el UQ de diferentes fuentes, ya sea la incertidumbre de los datos, la incertidumbre del modelo o la incertidumbre predictiva general, se pueden comunicar como rangos de posibles resultados, pero es posible que los usuarios los perciban o actúen en consecuencia diferentemente.
¿Comunicando UQ de una sola instancia o un grupo de instancias?
La siguiente pregunta es si se desea presentar el UQ de una sola instancia o de un grupo de instancias. Los usuarios finales a menudo están interesados en la estimación de la incertidumbre de una predicción en particular para evaluar y actuar sobre la predicción. En esta guía nos enfocamos en diferentes métodos de comunicación UQ en el caso de una sola instancia.
A veces, un usuario o un científico de datos puede estar interesado en investigar el UQ de un grupo de instancias. Por ejemplo, grupos de diferentes valores de características, o qué tipo de instancias obtienen estimaciones de
incertidumbre alta o baja del modelo. Esto a menudo se puede lograr trazando visualmente las estimaciones de incertidumbre de las instancias con respecto a diferentes valores de características, o presentando las estimaciones de incertidumbre agregadas por los grupos interesados (p. ej., estimaciones de incertidumbre media).
¿Cómo de preciso debe ser el UQ?
UQ se puede mostrar con diferentes niveles de precisión. Por ejemplo, describir el UQ de un modelo de clasificación utilizando categorías predefinidas, como confianza baja/media/alta, es menos preciso que mostrar valores numéricos de confianza. Proporcionar un rango numérico para UQ de un modelo de regresión es menos preciso que mostrar la distribución de probabilidad de los valores posibles.
En general, los métodos de comunicación de alta precisión pueden ayudar a los expertos de ML a comprender la escala total de la incertidumbre del modelo. Mientras que los métodos de baja precisión a menudo son preferidos por los juristas. Una vez más, es necesario diseñar y probar los métodos de comunicación con las partes interesadas objetivo para identificar el nivel de precisión adecuado.
¿Qué medio utilizar?
Otra cuestión que podría correlacionarse con la elección del nivel de precisión es mediante qué medio comunicar UQ, ya sea a través de expresiones verbales, numéricas o visuales. A menudo, las expresiones verbales combinan bien con métodos de comunicación de baja precisión para permitir que las partes interesadas consuman fácilmente la
información de UQ. La visualización es a menudo un buen enfoque para comunicar información UQ probabilística de alta precisión. A veces, la elección del medio está predeterminada por la interfaz o el flujo de trabajo del usuario, y debe diseñar el contenido en consecuencia.
¿Cómo comunicarlo en modelos de regresión?
Para modelos de regresión, la biblioteca de Python UQ360 proporciona funciones para generar rangos numéricos, intervalos visuales, gráficos de densidad y gráficos de puntos de cuantiles.
En los modelos de regresión, a menudo las personas optan por comunicar el rango en el que el posible resultado de la predicción puede caer con una probabilidad preespecificada como nivel de confianza (p. ej., 95 %). Es posible utilizar intervalo de predicción o una barra de error para comunicar visualmente este rango. Tiene los beneficios de ser fácil de entender y no involucrar probabilidades y, por lo tanto, a menudo se prefiere cuando se comunica UQ a audiencia con conocimientos numéricos relativamente bajos.
Según el caso de uso, no siempre es deseable presentar un diagrama visual. También puede comunicar el rango del intervalo de predicción en lenguaje natural, como en la imagen mostrada.
La desventaja de un rango de intervalo es que las partes interesadas no pueden ver los detalles de distribución, por lo que podrían malinterpretar que los posibles resultados se distribuyen por igual en el rango de intervalo, lo que a menudo no es el caso. Además, no todos están familiarizados con el concepto de intervalo de predicción o entienden que debe leerse con un nivel de confianza específico, por lo que pueden ser necesarias explicaciones adicionales.
Otro beneficio de un rango de intervalo visual es que es lo suficientemente simple como para combinarlo con otra codificación visual para comunicar el UQ para un grupo de predicciones. Por ejemplo, es común mostrar una banda de incertidumbre en un gráfico de líneas para un grupo de predicciones, como se muestra a continuación
En ocasiones, es posible que desee mostrar información detallada de UQ sobre cómo se distribuyen los posibles resultados previstos. Esto ayudaría a comprender que los posibles resultados no se distribuyen por igual en todo el rango y, por lo tanto, evaluar mejor la incertidumbre.
Existen algunos métodos para visualizar una distribución de probabilidad, incluidos el gráfico de densidad, el gráfico de violín y el gráfico de gradiente. Se pueden obtener de bibliotecas de visualización estándar.
2 400
500 600 700 800 900
4 6 8 10
House price in $1000s
Before:
Test data overall PICP: 0.83 MPIW: 311.01
Num_rooms +
Mean prediction Total uncertainty Model uncertainty –
Fuente: IBM
El enfoque de IBM
Vale la pena señalar que las estimaciones de incertidumbre no siempre siguen una distribución gaussiana simétrica centrada alrededor del valor predicho. En ese caso, es aún más importante mostrar los detalles de distribución para alertar de que las estimaciones de incertidumbre están sesgadas o tienen múltiples picos.
Una variación útil de las gráficas de densidad, desarrollada por una investigación reciente de interacción humano- computadora, son las gráficas de puntos de cuantiles. Un inconveniente crítico de un gráfico de densidad tradicional es que las personas pueden tener problemas para evaluar correctamente la probabilidad relativa de diferentes valores posibles, especialmente para aquellos que no están capacitados para leer la visualización de datos. Un gráfico de puntos de cuantiles mitiga este problema mediante el uso de puntos apilados para representar visualmente las frecuencias aproximadas de diferentes valores. Por ejemplo, en el siguiente gráfico, es fácil ver que 12 de 20 veces los precios caen por debajo de 480K.
Al comunicar la incertidumbre de un grupo de datos, es posible superponer estas distribuciones visuales con otra codificación visual. Por ejemplo, el gráfico de abanico es un enfoque común para codificar gráficos de gradiente en un gráfico de líneas para un grupo de predicciones.
0 2003 Number of Crimes (Per 1,000 People)
2005 2007 2009 2011
1 2 3 4
0.005
460 470 480 490 500
0.010 0.015 0.020 0.025 0.030 0.035 0.040
Density
Predicted house price in $1000 95% PI: 477.71 19.78K+–
0.005
460 470 480 490 500
0.010 0.015 0.020 0.025 0.030 0.035 0.040
Density
Predicted house price in $1000 95% PI: 477.71 19.78K+–
Fuente: IBM Fuente: IBM