Una buena foto de portada

Cuando alguien te enseña la foto de su casa recién reformada, te enseña solo el resultado final, no las que las que salieron movidas, la del cuarto donde no cabía la cama, la del baño antes de que llegara el fontanero. Te enseña una. Y la casa es esa, muy chula por cierto.

Pero si lo que quieres saber es cuánto cuesta reformar una casa, esa foto no te sirve de nada.

Llevo unas semanas con una manía: cuando alguien me enseña un documento con cifras, antes de mirar si los números están bien, miro cuáles hay y cuáles no. Qué se ha cuantificado y qué se ha dejado en palabras. Ese mapa dice para quién está escrito el documento mejor que el propio texto.

Se lo he aplicado a mi sector y he encontrado algo que no esperaba.

Dos documentos, dos mapas

Coge la web de cualquiera que venda optimización de conversión. Están los casos de éxito, y están las preguntas frecuentes. Mira qué está cuantificado en cada sitio.

En los casos de éxito, el resultado. "Aumentamos la conversión un 743%". "Un 102%". "Un 51%" "Un 49,73%", con sus dos decimales y todo. "La satisfacción del cliente subió un 140%", que ya me contarás sobre qué escala.

Lo que no lleva número en ningún caso de éxito que haya visto, y he mirado bastantes: cuántos tests se hicieron para llegar a ese. Cuánta gente pasó por el experimento. Cuánto duró. Qué pasó con el ingreso, que es distinto de la tasa de conversión y no siempre va en la misma dirección.

Ahora vete a la FAQ de esa misma empresa. Ahí los números son otros.

Que "hacen falta varios cientos de conversiones por variante para poder detectar mejoras moderadas". Que "cada test necesita entre dos y cuatro semanas de recorrido". Que "solo una parte de las variantes gana". Que "el número de tests al mes no correlaciona con el impacto en ingresos". Que quien te prometa tests concluyentes con poco tráfico te está vendiendo ruido.

Todo eso es correcto y está bien explicado. No tengo ninguna pega. Es más: es el mejor material que he leído esta semana sobre cómo funciona esto de verdad.

Está en las preguntas frecuentes.

No está en los casos de éxito.

No es que uno sea honesto y el otro no

Aquí es donde tuve que corregirme, porque yo iba a escribir que el sector no cuenta esto. Y resulta que sí lo cuenta, en el sitio donde le conviene contarlo.

El caso de éxito le habla a quien todavía está decidiendo si contratar. Ahí el proceso resta: cuarenta tests para cinco ganadores suena a poco cuando compites contra un titular de tres cifras que está a un clic.

La FAQ le habla a quien ya está decidiendo cómo, o a quien conviene espantar antes de firmar. Ahí el proceso protege: filtra al cliente con diez conversiones al mes que iba a pedir milagros y a quedarse descontento, y te ahorra un proyecto que iba a salir mal.

Misma empresa, mismos hechos, dos mapas de cifras opuestos. Ninguno miente. Cada uno cuantifica lo que le sirve al lector que espera.

El sector ya sabe. Lo tiene escrito. Lo guarda en la página que nadie lee.

Lo que dicen los que miden

Hay un tercer documento que conviene mirar, y tiene su propio mapa.

Optimizely publicó este verano el agregado de 127.000 experimentos que han corrido por su software. El 12% produce una mejora estadísticamente significativa en la métrica principal. Entre el 35 y el 40% llega a un resultado claro en cualquier dirección, o sea que seis de cada diez tests no concluyen nada. Y un test tiene aproximadamente la misma probabilidad de salir peor que de salir mejor. El experimento ganador medio de los ligados a ingresos mueve un 0,4% del ingreso digital.

Optimizely también vende. Vende licencias de software de experimentación. Y ahí está lo interesante de su mapa: a ellos les conviene cuantificar el fracaso, porque su argumento es que por eso necesitas un programa continuo y no cuatro tests. Escriben, con todas las letras, que si nueve de cada diez de tus tests están ganando es que algo va mal.

Tres partes interesadas, tres mapas distintos. No hay ninguna neutral. Pero cuando los intereses empujan en direcciones opuestas, el hueco entre los tres mapas es donde está la información.

Funciona fuera de aquí

Esta semana me topé con el mismo movimiento en un sitio que no tiene nada que ver.

Yelp anunció que la inteligencia artificial que contesta el teléfono de los restaurantes ya aguanta que la interrumpas. La nota va cargada de números. Un millón de llamadas gestionadas. Decenas de millones de contactos. Miles de millones de dólares de valor atribuido.

Al llegar a los resultados dice que hay una mejora en la gestión de llamadas y una reducción de transferencias. Sin cifra.

Es lo único de toda la nota que va con letra en vez de con número. También es lo único que mediría si el producto hace lo que promete.

No hace falta saber nada de restaurantes ni de telefonía para leer ese mapa. Todo cuantificado menos una cosa, y esa cosa es la que hay que preguntar.

El caso de éxito que nadie puede publicar

Imagina que mañana una agencia publica un caso completo. Cuarenta tests lanzados, cinco ganadores, incremento medio sostenido, doce semanas, conversiones por variante.

Sería el caso más honesto del mercado. Y perdería contra el 743% del de al lado, que tampoco miente.

Por eso esto no se arregla llamando tramposo a nadie. No hay ningún incentivo individual para dar el primer paso, y el que lo dé, paga. Un caso de éxito no es un informe, es un anuncio, y llevamos años leyéndolo como si fuera lo primero.

Cómo se lee

Delante de cualquier documento con cifras, antes de comprobar si los números están bien, haz el mapa.

Qué está cuantificado. Qué se ha quedado en palabras. Y qué necesita conseguir de ti el que lo firma.

Casi siempre encajan. El hueco no suele estar donde el dato es malo: está donde el dato no le sirve al destinatario que esperaban.

Y cuando el único hueco de un documento lleno de números es justo el que mediría si la cosa funciona, no hace falta que nadie mienta para que te lleves una idea equivocada.

---

Sobre lo que he escrito

Optimizely, «Top 10 takeaways from running 127,000 experiments». Publicado el 20 de julio de 2026, actualizado el 18 de agosto de 2026. Consultado el 9 de septiembre de 2026 en la fuente original, no en resúmenes de terceros. De ahí salen el 12% de mejoras significativas sobre la métrica principal, la tasa de resultados concluyentes del 35 al 40%, la afirmación de que un resultado negativo es aproximadamente tan probable como uno positivo, el 0,4% de incremento medio en ingreso digital por experimento ganador y la advertencia sobre programas donde gana nueve de cada diez tests. La página no especifica el número de empresas de la muestra; la cifra de 1.100 que circula en resúmenes de terceros no la he podido confirmar en la fuente primaria y por eso no aparece aquí.

Kohavi, Deng y Vermeer, «A/B Testing Intuition Busters: Common Misunderstandings in Online Controlled Experiments», KDD 2022. Tasa mediana de éxito en torno al 10% en organizaciones que experimentan a escala, y el cálculo de que con un alfa de 0,05 y potencia del 80% un resultado significativo es falso positivo alrededor del 22% de las veces. Esta fuente no tiene producto asociado.

Yelp. Nota de prensa distribuida el 9 de septiembre de 2026 sobre la integración del modelo de voz de OpenAI en sus productos para restaurantes y negocios de servicios. Las cifras citadas y la ausencia de cifra en el párrafo de resultados corresponden al texto publicado ese día. No sé si esa ausencia es una decisión de redacción o un error de maquetación, y el artículo no lo afirma: describe lo que dice la nota que leyó todo el mundo.

Los casos de éxito y las FAQ. Consultados el 9 de septiembre de 2026 en páginas públicas de agencias y herramientas del sector, españolas e internacionales. No los enlazo ni los nombro a propósito. El artículo describe un patrón de formato, no la conducta de ninguna empresa concreta, y poner nombres convertiría un argumento sobre incentivos en una lista de acusados. Cualquiera puede reproducir la búsqueda en diez minutos.

Lo que no sé. No he encontrado ningún estudio sectorial español sobre experimentación o CRO. Lo que existe en España son rankings de agencias, varios de ellos publicados por agencias que aparecen en su propio ranking. Si alguien conoce uno independiente, me interesa.