Existen muchas maneras de hacer una proyección sobre intención de voto a partir de una encuesta; lo que hace que sean mejores o peores es su adecuación a la historia electoral de un país y a su contexto político. No hay, por tanto, una fórmula que sea técnicamente mejor que otra en todo tiempo y lugar; se trata de una cuestión pragmática y, en cierto modo, artesanal. Por esto, tal vez, suele llamarse “cocina” de los datos a los ajustes que se hacen para llegar a una proyección electoral.
Esta circunstancia da lugar a un considerable margen de libertad para cualquier instituto de investigación de opinión pública a la hora de ofrecer su pronóstico empleando alguna de las posibles fórmulas que, en algún momento o en algún lugar, han sido consideradas aceptables; cuando no, en algún caso, para hacer una estimación de autor.
Esto, a su vez, convierte el ejercicio de la proyección electoral, en muy buena medida, en una cuestión de confianza. Necesitamos confiar en la institución que publica el dato.
¿Cómo se consigue la confianza? En primer lugar, y por encima de toda otra consideración, mediante la transparencia. Ni “el acierto medio de la casa”, ni “la calidad metodológica de las encuestas” (tamaño de muestra, trabajo de campo bien hecho, y mucho más) son condiciones suficientes para la confianza. Cierto que haríamos bien en no confiar en quien no dé una, pero en estos sondeos de temporada baja no hay contraste con la realidad, pues no hay elecciones a la vista; además de que el criterio del acierto medio solo vale para juzgar a quienes hacen muchas, por lo que nos llevaría siempre a confiar más en los Goliats del negocio que en los investigadores menos insistentes. También haríamos bien en desconfiar en quien trabaje con encuestas manifiestamente mal hechas, pero eso solo lo sabemos si hay transparencia, luego volvemos a lo mismo. La transparencia es el alfa y el omega de la confianza.
¿Qué otras cuestiones pueden ser relevantes? Bien, a una institución como el CIS, a diferencia de un instituto privado, que puede hacer lo que le dé la gana, los ciudadanos y la comunidad científica le exigen regularidad y comparabilidad. Dos encuestas pueden estar muy bien hechas, pero si un año preguntas por “la actitud hacia pagar impuestos” de una forma y el año siguiente de otra forma, o dejas de preguntarlo, te cargas una de las funciones esenciales de las encuestas, que es medir la variación de la opinión pública en el tiempo. Esto ha pasado en el CIS demasiadas veces a lo largo de su historia.
¿En qué consiste la transparencia? 1. En publicar los microdatos. 2. En publicar exhaustivas tablas con el cuestionario, los resultados brutos y la documentación técnica sobre la muestra y el trabajo de campo. 3. En explicar cómo se hacen las estimaciones cuando, como en el caso del voto, se combina más de una variable, se producen ponderaciones, etc. 4. En documentar los cambios de metodología que afecten a las series temporales. Todo esto no lo decimos nosotros, sino los grandes consorcios internacionales de investigación en opinión pública, que plantean estos requisitos para pertenecer a la “élite” de las encuestas.
¿Es el CIS transparente? 1. El CIS publica los microdatos desde 2008 (y sería escándalo, además de tragedia, que dejara de hacerlo). 2. El CIS publica el cuestionario, abundantes tablas con los cruces y documentación técnica de cierto detalle; aunque se podría mejorar algo en esto último, cumple muy bien. 3. En esto el CIS, desde julio, ha realizado un notable progreso que hemos celebrado en este blog, al dar una explicación, aunque sea sucinta, sobre el método de estimación de la intención de voto. 4. El CIS apenas se ocupa de explicar los cambios en las series y tiene un registro tristemente irregular de series temporales.
¿Por qué es polémica la estimación de voto del CIS de septiembre? En nuestra opinión, porque el método utilizado para hacer la proyección de voto es muy distinto al empleado la última vez, en julio pasado. Si en julio se proyectó la intención de voto ponderando la muestra por recuerdo de voto, en septiembre se ha dejado de hacerlo y, simplemente, se han tomado dos variables: la intención directa de voto (lo que la gente dice que votaría) y la simpatía partidista de los que no dicen nada sobre el voto. Se agregan y se supone que el resto de la muestra no iría a votar (la participación supuesta es del 73,6%, dato ilusionante que no se alcanza desde 2008, cosa que habría, tal vez, que explicar). La operación básica queda anotada -aunque con cierta oscuridad, sobre todo para el lego- en la documentación del CIS. Pero no se justifica, y ese es el problema. Requeriría un documento de cierta sustancia el hacerlo.
En segundo lugar, porque el método tal vez no sea adecuado, y justificar su introducción podría ser difícil. Siendo esto importante, lo es menos si se trata de un método regular, lo que permite estudiar la variación, o se explican los cambios cuando se hagan. Como suele decirse, da igual que la báscula pese de más o de menos: para controlar el peso durante el régimen, basta con usar siempre la misma. También se ha producido un cambio de periodicidad, que no afecta al caso, y un cambio de la muestra (de 2500 ha crecido a 3000) que es una mejora en precisión y que tal vez podría explicarse un poco más, pero que no lesiona la integridad científica de los datos.
Como creemos que queda claro por lo anterior, no es una justificación adecuada decir que los datos antes “se cocinaban” y ahora no. Todo lo que no sea reportar la respuesta a una pregunta sin ponderar conlleva un tratamiento de datos. En este caso, sumar dos variables y suponer una tasa de participación concreta para hacer un pronóstico electoral. No hacer nada sería no hacer pronósticos. Esa fue la política seguida por el CEO de Cataluña durante algunos años: dar los datos tal cual se recogen de los ciudadanos y que las interpretaciones las haga quien quiera, pero no firmarlas desde el ejecutivo. Es una opción que el CIS podría considerar.
¿Es la primera vez que sucede esto? No, ha sucedido muchas veces. Tiempo ha habido en el que no se daban dos estimaciones seguidas hechas con la misma fórmula, aunque eso siempre ha sido difícil de trazar dada la falta de una mínima anotación sobre los procedimientos; lo que, en este caso, no ha faltado. Solo que puede que este sea el salto más grande entre métodos distintos (con y sin ponderación de muestra) y sin que se haga evidente su justificación.
¿Qué nos gustaría que hiciera el CIS? Lo esencial es no jugar con la confianza de los ciudadanos y la comunidad científica, caminando, como hasta ahora, en la dirección de un funcionamiento transparente y responsable. Más documentación mejor que menos, más datos mejor que menos, más explicaciones mejor que menos, más regularidad mejor que menos. Así es imposible equivocarse. También sería bueno que los representantes de los ciudadanos enviasen a sus mejores sociólogos o politólogos, que los tienen, a la Comisión Constitucional del Congreso, donde el CIS rinde cuentas, a hacer sus críticas y propuestas técnicas, cosa que sería más útil que los debates políticos en la prensa, aunque no los excluya.
En el medio plazo, el CIS debe plantearse el problema de su autonomía con respecto al ciclo político. Hemos mencionado los problemas con sus registros de series temporales, y es un perfecto indicador de lo que nos preocupa. Lo mismo se deja de preguntar sobre la Monarquía que se pregunta sobre el aborto de siete maneras distintas en intervalos irregulares (no podemos saber nada de cómo evoluciona esta actitud en la opinión pública española, que ya es decir) que nunca se retoman preguntas sobre la memoria histórica que una vez se hicieron.... Los ejemplos pueden darse por cientos, sin exageración alguna. Entre las pocas series regulares de verdad destaca la intención de voto, los problemas de los españoles, la valoración del gobierno y del clima político o económico, la religiosidad…. Podría haber centenares, pero una inspección de su base de datos histórica muestra más agujeros, si se permite la expresión, que un queso suizo, pompas que se producen por los frecuentes cambios en interés, dirección, orientación científica, estilo administrativo y sentido de la oportunidad política de los responsables de la institución. El CIS es una mina de oro de valor incalculable para la ciencia social, cómo sería si no tuviera tantos pozos ciegos.
Que esto se mejore independizando a su dirección, mejorando su rendición de cuentas ante otras instituciones, modificando su estructura y dirección… no lo vamos a decidir hoy. Sea como sea, nuestro deseo y esperanza es que el CIS siga aumentando su valor científico y siga manteniendo la confianza del público a través de la más rigurosa transparencia sobre todo lo que hace.
