Seis razones por las cuales las encuestas están fallando en Chile y el mundo

Seis razones por las cuales las encuestas están fallando en Chile y el mundo


Las encuestas fallan, esa es su naturaleza. El problema es cuando fallan sistemáticamente. Y peor aún, cuando no se sabe por qué pasa eso. La columna ofrece una lista no exhaustiva de razones por las cuales las encuestas se están equivocado.

Se ha vuelto lugar común decir que las encuestas están teniendo un momento particularmente malo. A su incapacidad para predecir el resultado de plebiscitos icónicos como el Brexit de Gran Bretaña en 2016 y el referéndum de los acuerdos de paz de Colombia ese mismo año, se suman malas predicciones en las presidenciales de Estados Unidos, desde que Trump ganó en 2016. Según el reciente informe de la asociación de investigadores de la opinión pública de Estados Unidos, en las presidenciales y parlamentarias de 2020 las encuestas tuvieron el peor nivel de error en 40 años. Por otro lado, algunos se apuran en disminuir la importancia de estas fallas y atribuirlas al normal grado de incertidumbre que implican las encuestas.

En lugar de pretender llegar a una conclusión categórica y universal, habría que concentrarse en identificar qué es lo que lleva a las encuestas a fallar, cuando lo hacen.

Para eso, habría que partir por reconocer que las encuestas fallan, esa es su naturaleza. El ejercicio de estudio de la opinión pública descansa en los intentos de inferencia estadística que se realizan sobre una muestra. Es de la esencia de este proceso que incluya un nivel de incertidumbre y, por lo mismo, una probabilidad de falla. El problema es cuando se falla sistemáticamente y, peor aún, cuando no se sabe por qué.

Lo peor ante una situación como ésta sería caer en la tentación de renunciar a juzgar las encuestas por las predicciones que realizan. Los estudios de opinión son fotos de un momento dado –qué duda cabe– pero usar ese hecho como justificación para negarle valor predictivo a la encuesta no solo es ignorar más de 70 años de experiencia de predicciones electorales[1]: es no entender cómo funciona la ciencia empírica.

Todas las predicciones científicas se basan en fotos. Medimos la temperatura del agua en un momento dado, lo mismo la intensidad de una frecuencia de radio o la distancia entre las estrellas. Las predicciones en ciencia consisten en buscar correlaciones y patrones a través de varias “fotos”, proyectando lo sabido a lo desconocido.

En lugar de desentenderse de los problemas que han tenido las encuestas para predecir elecciones, vale la pena tratar de entender por qué algunas de estas, en algunos momentos y contextos, están fallando para predecir.

Esto permitiría saber cuándo nos enfrentamos a una buena encuesta –bien diseñada, implementada y comunicada– pero que falló porque las encuestas fallan; y cuando se trata de un problema teóricamente corregible.

Acá ofrezco una lista no exhaustiva de razones por las que las encuestas se han equivocado. Por cierto, no son las únicas ni necesariamente aplican a todas las encuestas, pero en conjunto dibujan un panorama bastante completo de las distintas posibles falencias de la industria en Chile. Estas explicaciones se basan en la clásica perspectiva de “error total” con la que se evalúan internacionalmente las mediciones de encuestas[2].

RAZÓN 1. QUÉ SE PREGUNTA Y CÓMO
El primer margen de error de las encuestas es la validez [3] del indicador empleado. La realidad social es compleja pero las preguntas que se hacen a las personas tienen que ser simples y directas. El punto es que llevar a preguntas sencillas realidades complejas (es decir operacionalizar la medición) es difícil, entre otras cosas, porque no existe una métrica objetiva para determinar cuál es la manera “correcta” de preguntar.

Por ejemplo, cuando en 2011 el CEP preguntó por el lucro en los colegios particular subvencionados, el rechazo fue de un 80%; pero cuando se preguntó de otra manera, omitiendo la palabra “lucro” y agregando en el enunciado que la “ganancia” se dará “siempre y cuando tengan un nivel educacional bueno y los padres estén informados”, al 49 % le pareció bien.

Dado que no hay una forma “correcta” de “frasear”, lo que se recomienda es preguntar de varias maneras diferentes para ver si las mediciones son robustas, y ser muy cuidadosos al interpretar qué significan las respuestas entregadas.

A diferencia del “lucro en educación” la pregunta por el voto en las encuestas parece un asunto más sencillo, pero en realidad es engañosamente simple. La literatura muestra varias maneras de preguntar por ese tema y con consecuencias relevantes.

Primero, las preguntas de voto pueden presentar las alternativas de candidatos como opciones dadas o pueden ser preguntas abiertas, con mención espontanea. Como sería de esperar, las preguntas que tienen mención espontánea presentan más “no sabe/no responde”.

En segundo lugar, hay dos fraseos tradicionales. Por ejemplo, si se trata de elecciones presidenciales, la pregunta puede ser “quién le gustaría que fuera el próximo presidente” o “si las elecciones fueran el próximo domingo, por quién votaría”. La segunda formulación se acerca más a lo que se busca medir, el acto de votar, más allá de las preferencias abstractas. En algunos casos, incluso se intenta emular la urna de votación y los encuestados marcan su preferencia en un voto falso. La pregunta por preferencias abstractas (“quien le gustaría que fuera…”) tiende a fomentar más el “no sabe/ no responde”, como se observa en la última encuesta CEP, hecho que algunos interpretaron como señal de que había un enorme grupo de votantes indecisos.

Sin embargo, hacer que los encuestados se pongan en el caso de que la elección es este domingo, no es inocua. La gente no siempre es muy buena en predecir cómo actuará en el futuro. Y no se trata solo de que aparezcan imponderables el día de la elección. El creciente nivel de desidentificación y desafección partidaria y la debilidad de ciertas identidades sociales que históricamente explicaban tendencias de voto ha significado que muchos ciudadanos decidan sus votos –y si ir o no a votar– muy cerca del momento de votación[4].

Esta es una primera razón que entregan con frecuencia los encuestadores para explicar errores de predicción: la encuesta reflejaría adecuadamente las preferencias que existían al momento de realizarse el estudio. Pero estas preferencias cambian cerca de las elecciones (en el extremo, cambian el mismo día de las votaciones).

Efectivamente, hay evidencia de que en varios lugares (pero no en todos) del mundo el debilitamiento de las estructuras sociales (como la clase, el sindicato, la religión, etc.), junto con el debilitamiento de las identidades partidarias ha llevado a un votante mucho más volátil (la llamada tesis del “desalineamiento”). En Chile la dificultad se agudiza puesto que las encuestadoras solo pueden publicar encuestas hasta un momento varios días antes de que las elecciones se realicen.

Estos desafíos implican que las encuestadoras ya no pueden descansar en indicadores simples que midan un apoyo efímero al momento de la realización de la encuesta.

Tratando de abordar esta dificultad, algunos analistas internacionales han intentado modelar la fuerzas psicológicas y estructurales que se encuentran debajo de la “espuma” que regularmente mide la opinión pública. Además, han empleado una técnica más sofisticada de inferencia estadística que incorpora los errores históricos que han tenido las encuestas en diversas elecciones (modelos bayesianos).

Estos modelos miden variaciones de preferencias en múltiples encuestas en conjunto con información mucho más diversa del electorado, como variables económicas, psicológicas y sociales. La idea es que, si bien el voto puede haberse vuelto más cambiante, las fuerzas subterráneas que explican esta acción pueden ser más estables. El resultado de estos modelos es mixto[5]. La calidad de sus predicciones solo es tan buena como la calidad de la información que emplean, pero, como sea, parece que operacionalizar la pregunta del voto ya no puede ser tan simple como había sido.

RAZÓN 2. EL UNIVERSO Y EL VOTANTE PROBABLE

La segunda fuente de error en las encuestas es la diferencia entre la población que se busca estudiar y la que se termina estudiando.

Un ejemplo clásico de esta dificultad son las encuestas electorales telefónicas a números fijos. Al hacer eso queda fuera del estudio un segmento de la población objetivo (aquellos ciudadanos sin teléfono fijo). Algo parecido puede ocurrir con los paneles online, que, incluso si proveen de acceso al internet a sus eventuales encuestados, dejarán fuera a quienes no posean alfabetización digital.

Sin embargo, en el caso chileno, el mayor problema no es de sub-cobertura de la población de interés, sino de sobre-cobertura. En un mundo ideal, a un encuestador le gustaría tener un listado de las personas que irán a votar en la próxima elección y desde allí sacar una muestra representativa. En el mundo real, no se sabe de antemano quienes van a votar y por lo tanto la población de estudio termina incluyendo típicamente a todos los ciudadanos habilitados para votar.

Esto es especialmente complicado en casos como el chileno en que un porcentaje (cerca del 50%) de las personas habilitadas para votar no lo hace.

Como no es posible saber de antemano quiénes votarán, las encuestadoras se ven obligadas a generar un modelo de “votante probable”[6]. Es decir, a partir de la información disponible sobre el encuestado, se busca inferir si este votará o no. Luego, cuando tienen identificado el subgrupo de votantes, buscan determinar las preferencias.

Estos modelos son muy difíciles de diseñar e implementar.

No solo requieren de muestras más grandes para compensar por la sobre-cobertura, sino que implican un desafío al menos igualmente complejo para determinar las preferencias en el voto. Un ejemplo de las complicaciones que esto puede generar es lo ocurrido en las predicciones electorales del 2017, donde la CEP y Cadem sobreestimaron la fortaleza de Sebastián Piñera y subestimaron las preferencias por Beatriz Sánchez. El uso del modelo de votante probable implicó, para ambas encuestadoras, empeorar, en lugar de mejorar, sus predicciones presidenciales. En general, los encuestólogos chilenos ven en la ausencia de un modelo confiable para determinar al votante probable una de las principales falencias en las predicciones electorales. De hecho, cuando el CEP presentó el (fallido) modelo que empleó para las elecciones del 2017, lo hacía con la siguiente advertencia:

…nada garantiza que las relaciones estimadas con datos de elecciones pasadas se observen también en el futuro, además de que los modelos de participación requieren de una serie de elecciones para su validación. Además, sigue pendiente la tarea de evaluar si el modelo descrito puede también producir estimaciones razonables de los resultados de las elecciones. Esperamos que la publicación de nuestra metodología, la primera que se publica en el contexto actual (con voto voluntario) y que puede ser replicada por cualquier interesado, invite a las demás organizaciones encuestadoras a dejar de lado la opacidad con la que manejan sus procedimientos y participen de un diálogo abierto que permita promover la investigación sobre los métodos de votantes probables y mejorar su eficacia hacia adelante.

Es importante notar que, luego del mal desempeño que tuvieron los modelos de votante probable el 2017, en lugar de intentar mejorar estos, la mayoría de las encuestas públicas han renunciado a ni siquiera intentar ofrecer alternativas. Con la excepción de la encuesta Pulso Ciudadano (de Activa Research), estas se han remitido hasta ahora a presentar las preferencias presidenciales de todos los eventuales votantes.

Por cierto, si las encuestadoras no presentan un modelo de votante probable no arriesgan equivocarse y cualquier falla de sus predicciones podrá ser atribuida a esa omisión. Sin embargo, aquello implica un retroceso en la posibilidad de mejorar la calidad de las predicciones.

RAZÓN 3. EL ERROR DE MUESTREO

La tercera fuente de error es la varianza del muestreo o el error muestral. Este error se deriva del hecho de que en lugar de medir la intención de voto en toda la población objetivo (como lo haría un estudio censal), se selecciona una muestra.

En algún sentido este es el error menos complejo para las encuestas, pues es el error medible.

El principio básico de la inferencia estadística es que una muestra aleatoria de una población tiende a ser representativa de la población en su conjunto y se puede estimar el nivel de incertidumbre para esta representatividad. Hay un debate en el mundo de cuán posible es obtener muestras que sean representativas, sin recurrir a una selección aleatoria. Básicamente, la discusión es si sería posible generar muestras representativas asegurando que la muestra se parezca en varios atributos a la población. La evidencia parece apuntar a que es posible y encuestas probabilísticas no aleatorias son cada vez más comunes en la industria mundial.

En Chile existen encuestas que emplean selección aleatoria (como la CEP y la CADEM) y otras que emplean paneles online (probabilísticos) como la encuesta Pulso Ciudadano y Criteria.

En general, tener muchas encuestadoras probando distintas metodologías parece un elemento positivo para acercarse a predicciones más robustas. Lo importante y en lo que a veces se falla es expresar adecuadamente la incertidumbre asociada a la inferencia estadística desde una muestra. Es demasiado frecuente que los resultados de estas se presenten con estimaciones puntuales (el porcentaje que se estima que obtendrá un candidato según la muestra), con el margen de error descrito en algún pie de página o rincón remoto.

Solo piense en la cantidad de titulares que han salido[7] en los medios por cambios en las estimaciones que están dentro del margen de error. A nivel académico, es cada vez más frecuente que se comunique los resultados estadísticos en forma de intervalos de confianza, en lugar de estimaciones puntuales con margen de error para, en parte, evitar enfocarse en exceso en la estimación puntual.

Sea cual sea la fórmula elegida, es importante que las encuestadoras se preocupen de transmitir adecuadamente el nivel de incertidumbre que sí pueden medir, el error muestral, dejando en claro, también, que este es solo una parte del error total de una encuesta.

RAZÓN 4. LA NO RESPUESTA Y EL TERRENO

Una cuarta fuente de error es la tasa de no respuesta. Vale decir, encuestados que, luego de haber sido seleccionados para ser entrevistados, se nieguen a responder o no puedan ser contactados. Distintos métodos de recolección de datos tienen diferentes niveles de respuesta, pero es un patrón común a todos que progresivamente se ha vuelto más difícil alcanzar altas tasas de respuesta. En general, según estudios[8], el método con menor tasa de no respuesta es de encuestas cara a cara, con una tasa de respuesta que hoy bordearía el 75% y en los tempranos 2000 el 80%.

Por otro lado, los estudios telefónicos siempre han presentado una menor tasa de respuesta y, además, según el Pew Research Center, han presentado una fuerte caída en las últimas décadas, pasando de un 36% a un 6% o 7%.

¿Cuánto afectan estas crecientes tasas de no respuesta? Es un debate abierto. El punto central es cuán diferente son las personas que no responden de las que sí lo hacen. Si los que no responden votan de manera diferente y no es posible corregir las estimaciones para tomar en consideración este sesgo, el error puede ser considerable.

De hecho, la hipótesis de la asociación de investigadores de la opinión pública de Estados Unidos es que precisamente el gigantesco error de predicción de las últimas elecciones (exageraron el apoyo a Joe Biden y subestimaron el de Donald Trump), se debe a la “no respuesta” de un tipo de votante de Trump. Estos votantes no contestaron a las encuestas pues las consideraba parte de una establishment contra el que se rebelaban.

Un elemento importante de las tasas de no respuesta es la calidad del “terreno”, es decir, la implementación de las encuestas por parte de entrevistadores. Hacer buenas encuestas es caro y lento, entre otras razones, porque para mantener la representatividad de una muestra aleatoria, es crucial que quienes hayan sido seleccionados sean los que contesten al encuesta. La encuesta CEP tiene, al menos en su manual de implementación, un proceso de fiscalización para asegurar que un encuestado sea “perseguido” varias veces (tres veces) antes de declarase “no respuesta”.

Lamentablemente, son pocas las encuestadoras que transparentan sus mecanismos internos para asegurar un criterio estandarizado que minimice la “no respuesta” (por ejemplo, cuántas veces se intenta contactar un individuo de la muestra antes de declararlo no respondiente) o que estén dispuestas a ser auditadas por un ente externo. Más grave aún es la posibilidad de que, en lugar de responder el individuo seleccionado, algunas respuestas de encuestas sean derechamente falseadas como ha sugerido un reciente artículo de TerceraDosis. Entrevistadores bien pagados y con los tiempos suficientes para realizar correctamente la recolección de respuestas son cruciales para evitar estos problemas.

RAZON 5. AJUSTES POST-ENCUESTA: LOS PESOS

Uno de los elementos que, en ocasiones, es el más opaco, es el de los ajustes posteriores que las encuestadoras realizan para calibrar sus estimaciones.

En el caso de muestras “no aleatorias” (la muestra no se escoge al azar) la representatividad de la muestra se consigue seleccionando encuestados en proporciones acordes con la población objetivo. Por ejemplo, si mi población tiene 50% mujeres y 50% hombres, mi muestra debe tener la misma proporción de mujeres y hombres.

El problema es que la muestra solo puede ser representativa en un número acotado de atributos conocidos (no se puede seleccionar por atributos desconocidos, obviamente).

Cuando las encuestas son con muestra aleatoria (es decir, la muestra se escoge al azar), estas tienden a ser representativas. El problema es que esta representatividad es, en realidad, solo en el plano de la expectativa. Es perfectamente posible que una muestra aleatoria de 1.000 ciudadanos, por casualidad, termine con todos los encuestados siendo de Santiago, o de sexo masculino u otra característica no representativa de la población.

Si bien la selección se puede realizar de forma de asegurar balance en ciertos atributos (una muestra estratificada, como la que realiza el CEP respecto a regiones y zonas urbanas/rurales), sigue siendo posible que para otros atributos no se alcance equilibrio.

Además, incluso si la muestra seleccionada originalmente era equilibrada, la no respuesta de algunos individuos puede implicar que se pierda el equilibrio y por ende su representatividad.

Para responder a todos estos problemas, las encuestadoras ocupan “pesos” para reequilibrar sus estimaciones. Los pesos, en teoría, permiten que encuestados que tengan los atributos subrepresentados en la muestra puedan usarse como “sustitutos” (imperfectos) para alcanzar las proporciones buscadas. Por ejemplo, si en la muestra no hay suficientes mujeres, se puede dar más peso a las respuestas de las mujeres en la muestra para subsanar este déficit.

El proceso de generación de pesos, tanto para muestras aleatorias como muestras no aleatorias, es complejo. Decidir por cuales atributos hay que compensar no es una tarea fácil y es un terreno fértil para cometer errores por acción u omisión.

Por ejemplo, en las elecciones presidenciales de Estados Unidos en 2016, se encontró que la explicación para buena parte del error de predicción (que significó la victoria de Donald Trump) se dio por no haber incluido en los pesos “la educación”, un atributo que se ha vuelto central para la definiciones electorales del último tiempo.

En Chile, un avance urgente y necesario sería tener un nivel mucho mayor de transparencia sobre cómo se generan los pesos que emplean las distintas encuestadoras. Además, las encuestadoras que no liberan sus datos debiesen, por lo menos, hacer públicas sus estimaciones con y sin pesos.

RAZÓN 6. EL PODER DE DECIDIR QUÉ SE COMUNICA Y CÓMO

El último punto de por qué las encuestas fallan no está relacionado directamente con ellas mismas.

Es importante entender a las encuestadoras como parte de un ecosistema que afecta la opinión publicada y pública. Las encuestadoras tienen un gran poder al decidir qué y cómo comunicar los resultados de sus estudios. Ya se mencionó cómo las encuestadoras tienen distintas maneras de expresar la incertidumbre asociada a sus hallazgos, pero su poder es mucho mayor que eso.

Las encuestas entregan sus resultados a medios de comunicación, resaltando aquellas preguntas y resultados que consideran más importantes. Para bien o para mal, muchos medios de comunicación reproducen los comunicados de las encuestadoras, casi sin revisar el detalle de los resultados. No solo eso. Las encuestadoras deciden si publicitar o no los resultados de sus estudios o si incluir o no todas las preguntas hechas. El peligro de que las encuestadoras realicen pronósticos y mediciones y no las hagan públicas por consideraciones interesadas es ciertamente real.

El efecto bola de nieve es importante. Las encuestadoras enfatizan unos resultados sobre otros (y publican unos resultados y no otros). Los medios reproducen estos resultados y comentaristas generan explicaciones sustantivas a estos resultados, marcando la discusión.

En este sentido, es fundamental un periodismo crítico y versado en estadística y métodos de encuestas. Hay un rol central en los medios de comunicación en evaluar críticamente la calidad y pertinencia de los resultados de encuestas y no ser meramente cajas de resonancia de los comunicados que envían estas instituciones.

LAS ENCUESTAS Y SU IMPORTANCIA PARA LA DEMOCRACIA

Las encuestas tienen demasiado poder para que sus conclusiones sean tomadas acríticamente.

Si bien la evidencia del efecto de estas sobre las preferencias de voto es mixta, pocos dudarían que son una gran herramienta de enmarque del debate público. Las encuestas apuntalan dónde los medios y el público ponen su atención. Y si bien la evidencia del impacto directo sobre el voto no es robusta, sí existe fuerte evidencia de que las encuestas afectan la fuerza de las campañas y su capacidad de convocar voluntarios y donantes.

Por otro lado, estas tienen un poder gigantesco para determinar los temas que se discuten en el espacio público. Recientemente, mientras la encuesta de Pulso Ciudadano preguntó por la acusación constitucional contra el presidente, la CADEM preguntó por el estado de sitio en la Araucanía, decretado por el gobierno. ¿Quién y cómo se decidió esto? Ciertamente, difundir que una u otra medida tiene altos niveles de apoyo afectará dramáticamente el tono del debate público.

La industria de las encuestas es un ejemplo de manual de asimetrías de información. Es virtualmente imposible para un observador externo saber la calidad y seriedad de los procedimientos que están detrás de las encuestas. En este sentido, el desafío de predecir elecciones entrega una oportunidad única para evaluar de forma objetiva el desempeño de una encuestadora.

A diferencia de otras mediciones, en este caso es posible determinar un grado de éxito y, de ese modo, castigar o premiar en términos de credibilidad a estos actores. El hecho de que luego del mal desempeño se haya optado por restarse del desafío de predecir elecciones es una mala señal en este sentido. Entre otras cosas esto implica que terminará siendo más exitosa la encuestadora que logre llamar más la atención de los medios, ya sea por sus contactos o por sus resultados sorpresivos. Sin el desafío de predecir un resultado contrastable, decir cosas erradas saldrá gratis. Para terminar, quisiera hacer referencia a un cuento corto que en 1955 Issac Asimov escribió, llamado “Sufragio Universal”. En este se imaginaba un futuro en el que las encuestas habían logrado avanzar tanto en su metodología que lograban predecir perfectamente las elecciones. La democracia se volvía así el gobierno de quienes las encuestas predecían que ganaría las elecciones y el acto de votar se volvía superfluo. La paradoja es que, debido a una serie de razones sociológicas y políticas, las encuestas en aquella época podrían haber predicho resultados electorales mejor de lo que lo hacen en varios países del mundo hoy. Sin embargo, el mensaje central del cuento, que destaca la forma en que encuestas se insertan en el corazón del funcionamiento democrático es más cierto hoy que nunca.

Fuente: https://terceradosis.cl/2021/10/21/...encuestas-estan-fallando-en-chile-y-el-mundo/

 

https://ellibero.cl/actualidad/ulti...-estrechan-los-resultados-en-ambas-papeletas/

https://www.t13.cl/noticia/plebisci...bo-rechazo-cinco-puntos-diferencia-09-10-2020