Por qué no te tienes que fiar de las puntuaciones al comprar tecnología

La página DxOMark es como el Santo Grial de las comparativas: si un dispositivo tiene mayor nota, es que será mejor. La web ha alcanzado tanta fama que se utiliza como referencia en multitud de análisis, ya sean de medios especializados o de usuarios independientes. Pero, ¿debemos orientarnos por una cifra? Según, Marques Brownlee (MKBHD), un reconocido youtuber especializado en tecnología, los datos pueden no ser tan objetivos como parecen.

Todo comenzó con una de las puntuaciones más recientes de DxOMark: la del Google Pixel 2. Según la consultora, el móvil alcanzaba una puntuación de 98 superando así a grandes pesos pesados como el Note 8 o el iPhone 8 Plus. Como consecuencia, el resultado del estudio no tardó en aparecer en diferentes páginas de referencia del sector. La situación no pasó desapercibida para Brownlee, que publicó un vídeo donde habló de “la verdad tras calificaciones sobre smartphones de DxOMark”.

El youtuber menciona que en sus puntuaciones “intentan ser lo más objetivos que pueden”, utilizando diferentes pruebas para determinar la calidad de un dispositivo. El problema es que DxOMark combina las subcategorías, pero no haciendo una media entre todos los apartados, sino utilizando un algoritmo que determina qué es más importante para esa cifra global. Quizá otorgue más valor al color o al zoom, todo depende del software utilizado por la consultora. “La decisión de cómo ordenan lo que tiene importancia es algo es algo subjetivo”, explica Brownlee.

La objetividad, ese animal fantástico

“Es muy difícil hacer algo a la perfección porque siempre hay criterios subjetivos”, explica a eldiario.es Rubén Sánchez, periodista y portavoz de FACUA. El defensor de los consumidores asegura que fiarse de estas clasificaciones es como “cuando decides leer un periódico u otro”, ya que “la información puede estar comprada y tú no lo sabes”.

En la misma línea se sitúa Ángel Barbero, quien opina que “las valoraciones de tecnología han estado pervertidas durante años por ser una manera de hacer negocio”. El profesor del EAE Business School señala que esta es la forma que tienen muchos medios para “monetizar sin mostrar publicidad o hacerlo de forma encubierta”.

Entonces, ¿debemos tomar las puntuaciones como referencias? “Nosotros ni lo aconsejamos ni dejamos de aconsejar, porque es bastante complicado trasladar un criterio de fiabilidad a estos casos”, indica Sánchez. Continúa diciendo que ante el análisis de un producto existen tres opciones posibles: “que lo haya pagado la compañía de turno, que el periodista no tenga criterio y que sea un estudio de poca calidad, o que esté bien hecho”.

El inconveniente, según Barbero, es que “las pruebas las realiza una persona que no es científico y que no ha establecido un modelo que todo el mundo considere un estándar”. Por ello, en ocasiones las reviews muestran cosas que “se convierten en incompatibilidades”, dice el docente. Además, cree que, si quien analiza el producto lo hace en base como a este le parece, “al final condiciona mucho qué persona haga el test”.

En el caso de DxOMark, como aclara Sánchez, el inconveniente es “que la ponderación parte de una premisa incorrecta”. Entonces, ¿son culpables los medios que le utilizan como referencia? “Quizá el periodista no tiene culpa de que esté o no pagado, pero publica algo de una página que puede subvencionada pensando que está basado en estudios solventes”, expone el defensor del consumidor.

Aun así, la información tergiversada y sujeta a intereses empresariales no es algo nuevo en el sector. Según Sánchez, “ahora tenemos todo en Internet. ¿Que esa información puede estar tergiversada? Sí, pero eso ha pasado toda la vida”. Ángel Barbero también cree lo que las publicaciones tradicionales de ordenadores funcionaban de esa manera: “tú me compras publicidad y yo voy a hablar de tu último portátil o pantalla para decir que es la leche”.

Cuando los analistas son también consultores

Otro de los aspectos señalados por Marques Brownlee es que DxOMark también trabaja como una consultora. Es decir, que asesora a los fabricantes sobre cómo deben construir sus dispositivos para obtener el mayor rendimiento posible. Para el portavoz de FACUA, esto es “elaborar los productos a la manera de quien va a promocionarlo”.

Como apunta Barbero, la estrategia de grandes compañías de análisis, como puede ser Gartner, también se basa en que las empresas paguen para participar en sus estudios. “En algunos casos hay una perversión del modelo: el fabricante al que estoy valorando también es mi cliente”, dice el profesor. Además, esto también condiciona la dureza de las críticas: “no pueden destructivas, porque quieren que cuando saquen algo nuevo vuelvan a pagarles”, sostiene.

Conseguir la mayor nota posible se convierte en un círculo vicioso entre fabricantes y consultoras: los primeros dependen de los segundos y viceversa. El docente del EAE Business School explica que llega un momento en el que “los test de mercado están tan estandarizados” que las marcas prepararan sus productos “conscientemente para que funcionen bien en ellos”.

¿Tenemos los usuarios la culpa?

En la era de los 140 caracteres (o quizá 280) existe un problema derivado de la inmediatez: buscamos la información directa y sin rodeos. “Tenemos una saturación de información”, piensa Sánchez. Menciona además que “antiguamente te comprabas una o dos revistas y a lo mejor consultabas con el vendedor de turno”, pero eso ha cambiado. Para destacar en un océano de datos, los medios especializados ofrecen puntuaciones basadas en cifras y conclusiones divididas entre “pros” y “contras”. Es una forma más inmediata, pero también más superficial.

“Tenemos parte importante de culpa, porque cuando vamos a comparar dos tecnologías necesitamos elementos objetivos para hacerlo”, dice Ángel Barbero. Buscar la excelencia en determinadas especificaciones deriva en una competición por obtener lo que, sobre el papel, destaca como más vanguardista. Esto no solo ocurre con smartphones, también con videojuegos, televisores, ordenadores, o incluso con automóviles. “Es como el que compra un coche de ocho cilindros en vez de seis porque son más”, pone de ejemplo el docente.

Entonces, ¿cómo evitar ser engañado? El defensor de los consumidores destaca un factor que define como vital: la transparencia. “Es clave, ya que se tienen que conocer con exactitud los elementos que utiliza esa empresa para elaborar sus reportajes”, explica. También lo piensa Barbero, ya que quizá el analista está valorando factores que para el usuario carecen de importancia. “Quizá estás teniendo en cuenta cómo genera 3D o realidad virtual, pero yo nunca voy a utilizar el móvil para esto y entonces me da igual”, menciona el profesor.

Las necesidades de cada persona son distintas, algo que también se traslada al tipo de dispositivo que pueden buscar. Según el docente del EAE Business School, “es difícil hacer un único criterio genérico para todo el mundo, porque luego valoramos con prioridades diferentes”. Prioridades llenas de matices que, por muy objetivo que sea el estudio, difícilmente se transmiten con una cifra.