El problema del contrafactual: la “señorita Única” y el programa de transferencias condicionadas

La “señorita Única” es una recién nacida cuya madre percibe una asignación moneta- ria mensual siempre que la niña sea some- tida a chequeos regulares en el centro de salud local, reciba las vacunas y se chequee su crecimiento. Según el gobierno, la trans- ferencia condicionada motivará a la madre de la señorita Única a acudir a los servicios de salud que requiere el programa y contri- buirá al crecimiento normal y saludable de la niña. Para realizar una evaluación de impacto de la transferencia condicionada, el gobierno elige la altura como indicador de resultados de la salud en el largo plazo.

Idealmente, para evaluar el impacto del programa, habría que medir la altura de la señorita Única a los 3 años, cuando su madre recibió la transferencia condicionada y también cuando su madre no recibió dicha transferencia. Luego habría que comparar las dos alturas para establecer el impacto. Si fuera posible comparar la altura de la seño- rita Única a los 3 años bajo el programa con la altura de la señorita Única a los 3 años sin el programa se sabría que cualquier diferen- cia en la altura habría sido efecto solo del programa de transferencias condicionadas. Como todo lo demás relativo a la señorita Única sería igual, no habría otras caracterís- ticas que explicaran la diferencia de altura.

Sin embargo, es imposible observar a la señorita Única con el programa de transferencias

condicionadas y sin él: su familia cumple los requisitos (chequeos, vacunación, seguimiento del crecimiento) y recibe la transferencia condi- cionada o no lo hace. En otras palabras, no hay forma de observar cuál es el contrafactual. Como la madre de la señorita Única cumplió los requisi- tos y recibió la transferencia condicionada, no es factible saber qué altura tendría la señorita Única si su madre no hubiera recibido la transferencia condicionada.

Será difícil encontrar una comparación adecuada para la señorita Única porque, como su nombre indica, es única. Sus ante- cedentes socioeconómicos, sus atributos genéticos y sus características personales y del hogar no pueden ser hallados en nin- guna otra persona. Si se compara la seño- rita Única con alguien que no participó en el programa –por ejemplo, el señor Inimitable–, la comparación tal vez resulte inadecuada: la señorita Única puede ser exactamente idéntica al señor Inimitable. Quizá la seño- rita Única y el señor Inimitable no tienen el mismo aspecto, no viven en el mismo lugar, no tienen los mismos padres y no midieron lo mismo cuando nacieron. Por lo tanto, si se observa que el señor Inimitable es más bajo que la señorita Única a los 3 años no será posible saber si la diferencia se debe al programa de transferencias condicionadas o a alguna de las muchas otras diferencias entre los dos niños.

podría comparar el número de caramelos que come el señor Fulanito (por  ejemplo, seis) cuando recibe el dinero, con el número de caramelos (por ejemplo, cuatro) que come su clon, que no recibe dinero. En este caso, el impacto del dinero de bolsillo sería de dos caramelos, es decir, la diferen- cia entre el número de caramelos consumidos bajo tratamiento (seis) y el número de caramelos consumidos sin tratamiento (cuatro). En realidad, está claro que es imposible hallar clones perfectos, y que incluso entre gemelos genéticamente idénticos hay diferencias importantes.

La estimación del contrafactual

La clave para estimar el contrafactual para los participantes del programa consiste en desplazarse del nivel individual o de la persona al nivel del grupo. A pesar de que no existe un clon perfecto de una persona única, es posible contar con propiedades estadísticas para generar dos grupos de personas que, si su número es lo bastante alto, sean indistinguibles una de otra desde el punto de vista estadístico en el nivel del grupo. El grupo que participa en el programa se denomina grupo de tratamiento, y su resultado es (Y | P = 1) después de que ha participado en el programa. El grupo de com- paración estadísticamente idéntico (a veces llamado “grupo de control”) es el grupo que no es objeto del programa y permite estimar el resultado con- trafactual (Y | P = 0): es decir, el resultado que se habría obtenido en el grupo de tratamiento si no hubiera recibido el programa.

Gráfi co 3.1 El clon perfecto

Beneficiario/a Clon

6 caramelos 4 caramelos

Por lo tanto, en la práctica el reto de una evaluación de impacto es defi nir un grupo de tratamiento y un grupo de comparación que sean estadística- mente idénticos, en promedio, en ausencia del programa. Si los dos grupos son idénticos (estadísticamente), con la única excepción de que un grupo participa en el programa y el otro no, es posible estar seguros de que cual- quier diferencia en los resultados tendría que deberse al programa. Encontrar esos grupos de comparación es la piedra angular de cualquier evaluación de impacto, al margen del tipo de programa que se evalúe. En pocas palabras, sin un grupo de comparación que produzca una estimación precisa del contrafactual, no se puede establecer el verdadero impacto de un programa.

En ese sentido, el principal desafío para identifi car los impactos es crear un grupo de comparación válido que tenga las mismas características que el grupo de tratamiento en ausencia del programa. Concretamente, los grupos de tratamiento y de comparación deben ser iguales en al menos tres aspectos.

En primer lugar, las características promedio del grupo de tratamiento y del grupo de comparación deben ser idénticas en ausencia del programa.2

Aunque no es necesario que las unidades individuales en el grupo de trata- miento tengan clones perfectos en el grupo de comparación, en promedio las características de los grupos de tratamiento y de comparación deberían ser las mismas. Por ejemplo, la edad promedio de las personas en el grupo de tratamiento debería ser la misma que en el grupo de comparación.

En segundo lugar, el tratamiento no tendría que afectar al grupo de comparación de forma directa ni indirecta. En el caso del señor Fulanito y el dinero de bolsillo, el grupo de tratamiento no debería transferir recur- sos al grupo de comparación (efecto directo) ni infl uir en el precio de los caramelos en los mercados locales (efecto indirecto). Por ejemplo, si lo que se busca es aislar el impacto del dinero de bolsillo en el consumo de caramelos, al grupo de tratamiento no se le deberían ofrecer más visitas a  la tienda de caramelos que al grupo de comparación; de otra manera, no  se podría distinguir si el consumo adicional de caramelos es conse- cuencia del dinero de bolsillo o del mayor número de visitas a la tienda de caramelos.

En tercer lugar, los resultados de las personas en el grupo de control deberían cambiar de la misma manera que los resultados en el grupo de tra- tamiento, si ambos grupos son objeto del tratamiento (o no). En este sentido, los grupos de tratamiento y de comparación tendrían que reaccionar al programa de igual modo. Por ejemplo, si los ingresos de las personas del grupo de tratamiento aumentaran en US$100 gracias al programa de forma- ción, los ingresos de las personas en el grupo de comparación también ten- drían que subir US$100 si hubieran sido objeto de la formación.

Concepto clave

Sin un grupo de comparación que produzca una estimación precisa del contrafactual, no se puede establecer el verdadero impacto de un programa. Concepto clave Un grupo de compara- ción válido (1) tiene las mismas características, en promedio, que el grupo de tratamiento en ausencia del programa; (2) no es afectado por el programa; y (3) reaccionaría al programa de la misma manera que el grupo de tratamiento, si fuera objeto del programa.

Si se cumplen estas tres condiciones, solamente la existencia del pro- grama de interés explicará cualquier diferencia en el resultado (Y) entre los dos grupos. Esto obedece a que la única diferencia entre los grupos de trata- miento y los de comparación es que los miembros del grupo de tratamiento recibieron el programa, mientras que los del grupo de comparación no lo recibieron. Cuando la diferencia en el resultado se puede atribuir total- mente al programa, se ha identifi cado el impacto causal del programa.

En el caso del señor Fulanito se observó que estimar el impacto del dinero de bolsillo en su consumo de caramelos exigía la tarea impracticable de encontrar el clon perfecto del señor Fulanito. En vez de analizar el impacto en un solo individuo, es más realista evaluar el impacto promedio en un grupo de individuos (véase el gráfi co 3.2). En ese sentido, si se pudiera iden- tifi car otro grupo de individuos que comparten el mismo promedio de edad, composición por sexo, educación, preferencia por los caramelos, etc., con la salvedad de que no recibe el dinero de bolsillo adicional, sería posible esti- mar el impacto del dinero de bolsillo, pues este estaría conformado por la diferencia entre el consumo promedio de caramelos en ambos grupos. Por lo tanto, si el grupo de tratamiento consume una media de seis caramelos por persona, mientras que el grupo de comparación consume una media de cua- tro, el impacto promedio del dinero de bolsillo adicional en el consumo de caramelos sería de dos caramelos.

Después de defi nir un grupo de comparación válido, es importante consi- derar qué ocurriría si la decisión fuera seguir adelante con una evaluación sin haber hallado ese grupo. Es evidente que un grupo de comparación no

Gráfi co 3.2 Un grupo de comparación válido

Media Y = 4 caramelos Impacto = 6 – 4 = 2 caramelos Media Y = 6 caramelos Comparación Tratamiento Concepto clave Cuando el grupo de comparación no estima con precisión el verdadero contrafac- tual, el impacto estimado del programa no es válido. En términos estadísticos es “sesgado”.

válido difi ere del grupo de tratamiento de alguna manera distinta de la ausencia de tratamiento. Debido a esas otras diferencias, la estimación de impacto puede ser no válida o, en términos estadísticos, puede ser sesgada: en ese caso la evaluación de impacto no estimará el verdadero impacto del programa, sino el efecto del programa mezclado con esas otras diferencias existentes entre los grupos.