“Las encuestas en Chile se hacen para decir lo que la elite quiere”

Marta Lagos, economista y socióloga, aprendió con Eduardo Hamuy[1] las innumerables consideraciones que es necesario tener a la hora de aplicar encuestas en terreno. Hay cosas que desde la perspectiva académica no se ven. En 1984, ella y Carlos Huneeus le propusieron hacer encuestas en Chile, en CERC. “Él llegó con su gente y así aprendimos todo: Cómo ir a las casas, cómo conseguir la entrevista, cómo validarla, pues de ese proceso depende todo”. El proceso es delicado y caro.

“Cuando algún cliente me reprocha que cobro más que el resto, les respondo que nosotros no solo pagamos un honorario por cada encuesta, sino que a la gente que trabaja con nosotros le pagamos el transporte y, en los tiempos de Eduardo, les dábamos el almuerzo en una bolsita plática. O sea, todo el apoyo que la persona necesita para poder efectivamente ganarse las cinco lucas que le pagábamos por entrevista”.

-¿Cuáles son los principales problemas de una encuesta que aplica metodologías para considerarse representativa de una población determinada?
-Las encuestas cara a cara tienen “errores no muestrales”, que han sido abundantemente estudiados. Por ejemplo, la distorsión que produce que la persona responda presionada por el tiempo, o porque el vecino está mirando, o porque le pregunta un desconocido. Todo eso determina cómo responde. Y están los factores culturales. En África, por ejemplo, tú no puedes entrevistar a la mujer si no está el marido presente. En América Latina las mujeres pueden responder autónomamente, siempre y cuando no esté el esposo. Y además, hay condicionantes psicológicas: la actitud de quien habla tiene mucha influencia sobre quien responde. En la época de la dictadura, nosotros teníamos dos estudiantes de teatro que entrenaban a los encuestadores para tratar de ser neutros en su expresión corporal. Si mandas a una persona con corbata a encuestar en una población no va a tener el mismo resultado que si pertenece al entorno cultural que tú validas por su lenguaje, su expresión corporal. Incluso la hora importa, porque no da lo mismo ir a un pueblo minero y tocar la puerta a las 6 de la tarde, cuando empieza el frío y la gente no quiere recibir a nadie. Tampoco puedes enviar santiaguinos a regiones.

-¿Cuáles son los errores más comunes de los encuestadores?
-El más típico es acortar las preguntas. Como se paga poco y esa persona quiere maximizar su tiempo, entonces resume, no lee ningún encabezado. Y cada cual resume de una manera distinta. Eso se nota cuando corres regresiones y se produce un área gris demasiado amplia, que revela que no hay correlación entre los datos. El primer entrenamiento es que la persona que hace la entrevista entienda que es una especie de robot, que no puede saltarse ninguna palabra escrita en el cuestionario.

-Pero las personas no son robots
-Por eso, nadie debería hacer más de 25 entrevistas por estudio. Está comprobado que cuando llegaste a la 30, estás resumiendo el cuestionario y distorsionándolo.

Los errores no muestrales reflejan los valores de los encuestadores, aunque lean con exactitud las preguntas. Por eso es indispensable que el conjunto de gente que entreviste sea tan heterogénea como la población del país. Hay que dispersar los sesgos, si de dispersan suficientemente, dejan de tener influencia en los resultados.

-¿Qué es lo que se debiera hacer al detectar que un encuestador o encuestadora falseó un cuestionario?
-Si se detecta una encuesta fraudulenta o mal hecha, hay que repetir todas las que le diste a ese encuestador. Eso encarece el estudio.

Lo más duro en la tarea de aplicación de campo es decirle a un encuestador que ha cometido fraude y que su trabajo entero debe ser hecho de nuevo. Muchas veces la jefa de campo va a terreno de nuevo a ver al entrevistado para confirmar las distintas versiones de lo sucedido. La mayor parte de las veces el encuestador confiesa el fraude y se acaba el asunto.

Nosotros identificamos a las personas que han cometido fraude, para no contratarlas de nuevo, pero incluso una vez fueron a reclamar a El Mercurio. Vinieron del diario a averiguar lo que había pasado y después de ver la evidencia, no publicaron sus quejas. Cuando las encuestas pasaron del papel a las tablets, se perdió la evidencia del papel que es más concreto que la versión digital.

-¿Qué otros signos permiten detectar los fraudes?
-Un cambio repentino en las posiciones de las personas. Recuerdo un caso emblemático de una encuesta que se hicimos junto a Flacso en el contexto del plebiscito del 88, que afirmaba que los mormones habían aumentado enormemente en el sur de Chile, del 1% al 5%. Yo lo vi y dije: esto es fraude. Y tuve una tremenda pelea con Flacso por eso, pero al final descubrimos que los encuestadores contratados en esa zona eran mormones. Por eso otra cosa importante, es no contratar encuestadores mayoritariamente de un grupo, ya sean hombres, mujeres o jóvenes. Los encuestadores tienen que ser uniformemente diversos para que se disperse el error.

-¿Cuánto debiera pagarse a un encuestador por aplicar una encuesta compleja como la CEP?
-Para una entrevista de 45 minutos, hoy, pospandemia, no menos de 10.000 pesos, más locomoción y gastos administrativos. Yo trabajo con un equipo conocido de encuestadores y creo que solo 10 pueden hacer 5 a 8 encuestas diarias. Que alguien llegue con más de diez es una señal de alarma.


FRAUDE EN LA CASEN

-¿Te ha tocado detectar fraude en la aplicación de una encuesta?
-Si te sale que todas las encuestas se hicieron perfectamente, es que hay fraude, porque es imposible que no se cometa algún error. Recuerdo que en 2006, bajo el gobierno de Ricardo Lagos, nos tocó hacer la supervisión de la Casen, el proyecto número 0351, por encargo de Mideplan (hoy Ministerio de Desarrollo Social y Familia). Y detectamos un porcentaje de fraude. Esa fue la palabra que usé, porque es la que corresponde disciplinariamente, pero los responsables del gobierno no querían que lo llamáramos así. El fraude ahí fue fácil detectarlo, porque la Casen se hace a personas identificadas con dirección, nombre y apellido y entonces detectamos un grupo importante de encuestas falseadas. Me pidieron cambiar el informe y yo me negué. ¿Cómo te van a pedir que fiscalices y que después cambies el informe para atenuarlo, porque no aceptaban la palabra fraude?

-¿Crees que haría falta mayor fiscalización externa a las encuestas?
-Los estudios que no son electorales se pueden dar el lujo de tener supervisiones fraudulentas, débiles o inexistentes, porque en realidad si la Coca-Cola le gusta al 85% o al 78%, da lo mismo. En cambio, cuando estás haciendo predicción electoral, si te equivocas en un caso, te podrías equivocar en todo. Cuando nosotros hacíamos encuestas electorales supervisábamos el 100%. Lo habitual es fiscalizar el 20% de lo que hace cada encuestador, pero hay que distribuir el control entre el primer tercio, el segundo y el último, porque la gente se va relajando y aumentando la confianza a medida que avanza. Por eso, la última entrevista es la más importante. Es carísimo, porque tienes que ir con el entrevistador donde la persona encuestada, viajar si es necesario, y verificar cómo se hizo el trabajo.

¿Por teléfono es más fácil sortear la fiscalización?
-El año 88 vino la encuestadora del Partido Republicano, que yo conocía, una mujer con mucho prestigio en Washington DC. Ella instaló la metodología en el CEP, que por lo demás no es secreta: es la que está en los textos. Yo diría que la CEP lo hizo bien durante unos diez años, porque esa metodología se mantuvo vigente mientras había estabilidad política. Lentamente, el marco muestral fue perdiendo su vigor, la metodología no se renovó y los encargados del estudio, que antes eran personas con opinión, fueron reemplazadas por empleados que más bien son repetidores de datos. EL CEP siempre dijo que no era encuesta electoral, a pesar que usaban los resultados para fijar agenda, como la “madre de todas las encuestas”. Cuando los resultados no eran los de la elección, decían que era porque no era electoral. No se puede ser flaca y gorda a la vez. Pero en 1993 hicieron un exit poll sin la metodología gringa, y le dijeron a las seis de la tarde a Beltran Urenda que había perdido su senaturía, cuando a las 9 de la noche había sacado la primera mayoría. Escondieron ese error y sepultaron para siempre las encuestas de boca de urna ¡porque ellos se habían equivocado! No fueron capaces de crear una tradición de estudios de opinión pública, aunque tenían toda la plata del mundo. Es que no hay nada que pueda obviar el método. No hay atajos, caminos cortos, ni ahorros posibles. Cada vez que las encuestas se equivocan es porque ahorraron o porque hicieron mal la pega. No es cierto que sea por el tema del voto voluntario. Hay métodos para controlar ese factor. Lo que pasa es que hay gente que trata de saltarse pasos. Hoy la encuesta CEP ha perdido peso, no se atreven a hacer lo que hay que hacer ¡En diciembre pasado ni siquiera hicieron preguntas electorales! Que vuelvan a contratar a una encuestadora del partido republicano, hay excelentes, les puedo recomendar una.

-Los académicos dicen que la gente no decide su voto por las encuestas, ¿pero cuando la CEP le dio a Beatriz Sánchez un porcentaje tan distinto a las preferencias que realmente tenía, no crees que llevó a un grupo importante de personas a votar a “ganador”, con Guillier?
-Hay mucha literatura sobre el voto estratégico. Efectivamente, existe pero no son más de 500.000 votantes los que hacen ese análisis más sofisticado. En un universo de seis millones de votantes, ese grupo no tiene un peso significativo. Lo que la encuesta sí hace es conformar la opinión pública, especialmente hoy día en que está dominada por la agenda informativa. Todas las encuestas con preguntas dicotómicas confirman lo que quiere decir la elite y eso es muy manipulable. Las encuestas en Chile se hacen para decir lo que la elite quiere.


MANIPULACIÓN Y MANIPULADORES

-¿Qué opinas de las encuestas telefónicas que está haciendo Plaza Pública-Cadem cada semana?
-Mi sensación es que estas encuestas de 700 casos que hace la CADEM, en que ellos no reemplazan, según una ficha técnica que logré que me mandaran, tienen un sesgo de respuesta porque una de las cosas importantes es conseguir la opinión de quienes no quieren contestar y para eso hay que desarrollar una estrategia. Si solo aceptas la respuesta de los que quieren hablar, no estás captando a la gente que se siente minoría. Te lo grafico así: si yo me quiero vestir de azul, pero creo que el sentimiento mayoritario es en favor del amarillo, cuando me preguntan digo que prefiero el amarillo, pero a la hora de elegir, igual me visto de azul. Las encuestas electorales deben tener al menos mil casos (ese es el estándar ESOMAR-WAPOR) y cuando hay voto voluntario se debe calcular el votante probable. La encuesta CADEM no mide intención de voto propiamente, y puede estar distorsionando la carrera presidencial. No cumple con ninguna de esas dos condiciones metodológicas recomendadas por las asociaciones mundiales de estudios.

-¿Cómo se hace para manipular las encuestas?
-Está el caso de un famoso encuestador que le apostó a Felipe González que podía hacer que el nombre de su hijo, un completo desconocido, apareciera en las encuestas con entre un 5% a 10% de las menciones y efectivamente apareció con un 6%, porque cuando tú le muestras a la gente un listado de cuarenta personas y les preguntas si las conocen, la gente dice que sí porque cree que tendría que conocerlo.

¿Hay otra manera de hacer encuestas electorales o el problema de Chile es el mismo en todo el mundo?
-El caso de Chile es muy emblemático porque tienes a toda la elite conversando sobre la CADEM, una encuesta que no es propiamente electoral, pues no se ciñe a los métodos. Por mucho que tú le digas a Matamala y a la Mónica Rincón que la encuesta que están comentando no tiene validez como intención de voto, te miran con cara de: “Ya está la Marta ….hueveando ¡Cómo va a estar equivocado todo un país!”. Eso sucedió en un programa de CNN en vivo, con Itzkinson de CADEM presente. Pero es así. Las posibilidades de tergiversación de la realidad son infinitas. Las encuestas pueden crear realidades artificiales, como se hizo para las primarias donde nadie decía que no ganaban Jadue y Lavín. Esa fue una realidad artificial creada por encuestas.

Según CADEM habrían debido votar unos 6 millones de chilenos en la primaria para que ganaran Lavín y Jadue. Se entiende que no quieran seguir calculando el votante probable para el 21 de noviembre, porque se equivocaron tanto en las primarias… A pesar de que publicaron después de la elección un gráfico que decía que ellos habían acertado.

El 3 de noviembre, precisamente, voy a inaugurar el Congreso Anual de WAPOR para hablar de este tema, como key note speaker.

-Si dices que las encuestas no influyen significativamente en el votante. ¿Para qué sirve entonces la manipulación?
-Las encuestas en Chile hoy cumplen la función de fijar agenda y hacer bailar a las cuatro manzanas de Santiago. Hay un 30% del país hiperpolitizado, y un 70% despolitizado que a lo mejor con este declive moral que estamos viviendo, se quedan en la casa.

Las encuestas que se construyen con estas preguntas dicotómicas cumplen la función de copar la agenda. Si tú le preguntas a alguien: ¿Usted quiere la guerra o la paz? Te va a decir que la paz, pero eso no significa nada. CRITERIA, por ejemplo, la semana pasada hizo una pregunta respecto a la Convención Constitucional, con una redacción intelectual, con frases larguísimas, para decir que la confianza en esa institución iba a la baja. Te aseguro que si le dijeras a la gente: ‘explíqueme lo que le acabo de preguntar’, no sabría responder. Cuando consultas cosas que no están en la mente de las personas, estás construyendo una realidad inexistente. Les piden que digan si prefieren un régimen presidencial o parlamentario, ¿quién va a saber contestar eso? Hacer una pregunta que no está en el corazón de la opinión pública, es un típico error intelectual. Les ponen un listado de cosas y concluyen que para la gente el problema más importante es la corrupción, pero si haces la pregunta abierta la respuesta es: la dignidad de trato.

¿Eso se hace premeditadamente?
-Si no es manipulación, es falta de profesionalismo. Se construye una realidad artificial. Tú puedes tener un objetivo y diseñar una encuesta para que te dé el resultado que buscas. Al aplicarla, ya sabes lo que va a salir. Omitir ciertos tipos de preguntas es otra forma de manipular. La CEP, por ejemplo, desde sus comienzos no ha hecho una sola pregunta sobre el régimen de Pinochet. Esa es una manera de tergiversar. Y luego te hago preguntas dicotómicas que no te permiten expresar lo que piensas, entonces así puedes decir: el 80% está a favor o en contra de tal cosa.

-¿Cómo hay que mirar las encuestas para descubrir los trucos?
-Cuando tú tomas una fotografía correcta de la realidad, los resultados son incongruentes, contradictorios, porque la gente es así, no es cuadrada. La gente no tiene un concepto cerrado del mundo. Si le haces preguntas al principio y la misma, al final, la respuesta va a ser siempre distinta. Por eso que la secuencia de las preguntas también influye. En una encuesta electoral no le puedes preguntar primero por una lista de nombres cerrados y después, a quién le gustaría ver como presidente. Estos sondeos solo buscan imponer nombres que se desean instalar previamente. Eso es lo más peligroso de todo.

¿La regulación chilena no sirve para prevenir ese efecto?
-Es absurda. Te prohíben hacer encuestas 15 días antes de la votación, para que no se manipule al elector, cuando ya están los nombres en la papeleta y la manipulación ya ha ocurrido. En el período de selección de candidatos no hay ninguna regulación, ni siquiera de financiamiento, y es ahí cuando los distintos grupos hacen encuestas para medir a las personas de su lote que quieren poner como candidatos. Y luego dicen: el partido seleccionó a periquito porque tal encuesta muestra que la gente lo quiere. Así sacan las castañas con la mano del gato.

Si a la elite no le gusta el resultado de un sondeo, entonces te descalifica. Recuerdo la primera encuesta de drogas CERC que hicimos por encargo del Ministerio del Interior, en los años 90, que arrojó que el 13 % de los chilenos consumía marihuana. Un diputado de gobierno emplazó por los diarios a Belisario Velasco, que como subsecretario, era el responsable del estudio, que nos adjudicamos por concurso público. Nos citaron al Congreso a dar explicaciones y nosotros fuimos preparados para dar cuenta de la metodología y los aspectos técnicos. Después de escucharnos, el diputado en cuestión dijo: “Eso es imposible”. Y yo le pregunté: “¿Por qué lo afirma, qué antecedentes tiene?”. Y respondió: “Porque yo digo que solamente entre el 4% y el 5% los chilenos fuma marihuana”. Entonces, nada que hacer. Nos paramos y nos fuimos.

Otras veces, le señalas al que encarga la encuesta que faltan aspectos y te dicen que no, porque solo les interesa lo que quieren medir. Encuestas a la medida para presentar a los superiores y mostrar lo bien que hacen su trabajo.

UNA PROPUESTA INDECENTE

-Tú estás en este mercado. ¿Cómo haces las encuestas de opinión, entonces?
-Yo dejé de hacer encuestas de políticas públicas licitadas por Chile Compra. Nos dimos cuenta de que los cuestionarios eran eternos, las encuestadoras reclamaban que la gente no quería responderlos y la probabilidad de fraude era muy grande. El Estado elige la oferta más barata, en la que se puede pagar muy poco al encuestador. El cuestionario exigía más de lo que la psicología permitía soportar. La encuesta de drogas, por ejemplo, requería una visita de una hora y cuarto. Nadie resiste un interrogatorio tan largo. Y si los formularios eran tediosos, las supervisiones eran un dolor de cabeza. Si nos tomaba un mes aplicar el estudio, nos tardábamos tres en la fiscalización. Una encuesta bien hecha, bien aplicada, es cara y no hay nadie dispuesto a pagar lo que valen. Por otra parte están las encuestas que no son las de drogas, SIDA, CASEN, son totalmente discrecionales y vienen muchas veces con términos de referencia absurdos. En una ocasión reaccionamos simultánea y espontáneamente varias empresas/encuestadores diciendo ‘es absurdo lo que piden’.

Los ministerios no tienen estándares parejos, no hay una política metodológica, un piso mínimo. Son pocos los ejemplos de autoridades que quieren cosas de calidad y con realismo. Mi última buena experiencia en ese ámbito fue con Máximo Pacheco en Energía, que quería de verdad saber qué pasaba en la opinión pública respecto de su cartera. La peor de las experiencias fue con el Ministro de Transportes del gobierno de Lagos. Le fuimos a entregar los resultados de un enorme estudio que nos habíamos ganado por licitación sobre el lanzamiento del Transantiago, y cuando oyó lo resultados nos interurmpió dando “sus “ resultados. No había escuchado nada, y no le interesaban de verdad los datos. Él ya había tomado sus decisiones.

Es así como se puede construir una realidad diferente de la que se ve por la ventana, que muchas veces es más potente que las encuestas. Pero como me han dicho tantos ministros y presidentes de América Latina a lo largo de los años: “¿Dónde está el gráfico que dice eso?”

La desconfianza lleva a la producción de datos innecesarios, cuando basta mirar por la ventana.

Es por eso que me dediqué al diseño de mis propios instrumentos y desarrollé los Barómetros de opnión en múltiples ámbitos de la vida nacional. Así como estudios para privados que indagan sobre la sociedad. Ese es nuestro foco.

Y si te fijas, las empresas que dominan la agenda pública con sus encuestas de opinión, ¡las hacen gratis! ¿Por qué? Eso no sucede en ninguna otra parte del mundo. Nadie, ni los medios, los think tanks, o las empresas, contratan encuestas para saber qué pasa con la elección. Todo se basa en lo que se publica gratis, como nuestro Barómetro de la política. Sinceramente, el Barómetro de la política sigue los objetivos fijados por nosotros para conocer la realidad que nos interesa indagar. Esa no es necesariamente la misma que debe tener una encuesta meramente dirigida a predecir el resultado de la elección. Mientras participé 20 años en el Comparative Survey of Electoral Systems, la tarea era anticipar elecciones. Es por eso que es absurdo pretender que una encuestadora que hace tracking de temas de coyuntura tenga por objetivo invertir lo que se requiere, que en este caso implicaría hacer estudios de al menos 2000 casos para quedarse con unos 1000 que declaran votar y poder analizar con algo de robustez.

¿Por qué es importante que se pague lo que cuesta una encuesta?
-Porque si nadie las paga, nadie exige nada tampoco. Los medios las reciben gratis. En otros países, los grandes medios tienen departamentos especializados y hacen alianzas con empresas encuestadoras para hacer estudios que financian a medias, pero se hacen con apego a las metodologías de mayor prestigio académico. Los medios no son un buzón que publica todas las cosas que les mandan.

En Estados Unidos hay encuestadoras muy prestigiosas, pero pertenecen al Partido Demócrata o al Republicano. A mí el otro día me objetaron que opinara sobre política, porque le hago encuestas al Frente Amplio ¡Pero si de eso se trata! Que seas transparente sobre en qué sector te ubicas, a quién le haces estudios y que al opinar, sustentes tus argumentos. En Chile, las encuestadoras esconden a sus clientes, para dar la falsa impresión de neutralidad.

El CEP tiene un endowment creo que de 50 millones de dólares, aportados por los Matte y es la preferida de El Mercurio, La Tercera. Yo todavía guardo una carta que Eleodoro Matte me escribió a mano, de puño y letra, diciéndome: ¿Por qué me criticas tanto, cuando nuestras intenciones son honestas? En otra ocasión, Sebastián Piñera, con quien yo tenía una discusión por las metodologías de sus encuestas en la Fundación Futuro, me dijo: “Yo gano en un cuarto de hora lo que tú ganas en toda tu vida”.

Piñera acertó con la Fundación Futuro en la primera vuelta de 1999 y yo me equivoqué en 4 puntos respecto de Lavín, aunque acerté con Lagos. La derecha casi me mató esa vez, pero le debo a Longueria haber salido en la primera página del New York Times.

-¿Por qué?
-En esa época se daban los resultados en el Diego Portales. Yo estaba parada al fondo esa noche, junto a un periodista que no conocía. Cuando Longueira, como jefe de campaña, toma el podio para celebrar el triunfo (30 mil votos de diferencia con Lagos) sus primeras palabras fueron para atacarme. El periodista a mi lado me preguntó: «Who are you?”. Yo le contesté: “Soy la encuestadora que se acaba de equivocar en 4 puntos”. Le di 45% a Lavín y 48% a Lagos, y ambos empataron en 48%. El periodista era el corresponsal del NYT. Es la única vez que no he acertado en una elección. Para la segunda vuelta me fue bien con el pronóstico. Piñera no participó con encuestas en la segunda vuelta.

-¿Se resolvió así la disputa con Piñera?
-No. Un día me llamó y me ofreció un millón de dólares para que me fuera trabajar con él a la Fundación Futuro.

-¿Cómo en la película Una propuesta indecente?
-Claro. Lo recuerdo nítidamente. Estaba parada en mi oficina en la calle Darío Urzúa mirando al jardín, un día soleado. Imposible olvidar un llamado como ese. Me dijo: “Marta somos amigos”. “Mira Sebastián”, le respondí, “Yo no soy amiga tuya. No sé dónde vives, no conozco a tus hijos, no me has invitado nunca a tu cumpleaños ni yo tampoco a ti al mío. Así que dime tú, por favor, en qué consiste nuestra amistad. En segundo lugar, yo no voy a trabajar contigo jamás en la perra vida, ni por un millón de dólares. Hasta luego”. Tuvo la misma actitud que los Matte. Creen que porque eres hija, nieta de alguien, tienes que ser de cierta manera. No pueden creer que alguien pueda querer, realmente, ser objetiva. Las encuestas hoy día obedecen al marco conceptual fijado por este grupo de gente. Este mundo de las empresas encuestadoras está diseñado para darles la razón. Por eso que las encuestas no funcionan ni van a funcionar en Chile.

Fuente: https://terceradosis.cl/2021/10/21/...e-se-hacen-para-decir-lo-que-la-elite-quiere/

 

Boric no baja..., parece que has leído mal las encuestas

 

El guardia de seguridad terminó el turno parece, pero los militares de verdad todavía no reclaman por su jubilación