Visibilidad en IA
Un dato que acierta la media y falla el caso
Una herramienta puede fallar en cuatro de cada diez preguntas y aun así darte el total correcto. Lo comprobé el mismo día, con las mismas diez preguntas.
Qué estoy midiendo
Tengo un experimento en marcha para medir si una empresa de software B2B aparece cuando le haces a ChatGPT las preguntas típicas de su sector. Quién ofrece este servicio en España. Qué software necesito para cumplir con tal normativa. Alternativas a este ERP.
La métrica es simple: sale o no sale. Diez preguntas en el núcleo ligero, treinta y dos en la ronda completa. Un número.
Las dos formas de sacar ese número
Se puede preguntar al motor directamente, con una cuenta real, y anotar lo que responde. O se puede mirar los resultados de búsqueda web para esas mismas consultas y dar por hecho que el motor dirá algo parecido, porque al fin y al cabo bebe de ahí.
La segunda es mucho más barata y mucho más rápida de automatizar. Es la que llevan dentro bastantes de las herramientas de visibilidad en IA que están saliendo al mercado.
Yo usaba la segunda como proxy. El 21 de agosto las ejecuté las dos en paralelo, mismo día, mismas diez preguntas.
El resultado
Siete de diez por las dos vías.
Comparadas una a una, cuatro no coincidían.
En una pregunta el proxy decía que la empresa no aparecía en una consulta por zona geográfica. Yo ya estaba preparando una propuesta de contenido para cerrar ese hueco. En el motor real aparecía la primera, citando explícitamente el parque tecnológico donde tiene la sede. El hueco no existía.
Y al revés. Una pregunta sobre un producto propio donde el proxy la daba como primera resultó ser una donde el motor real ni siquiera la identifica, porque hay varios productos con ese nombre en distintos países y la respuesta advierte de la ambigüedad en vez de resolverla. Ese sí era un problema, más grave que el anterior, y el proxy me lo había ocultado dándome un acierto.
Lo incómodo para quien paga
El total cuadra.
Si compruebas el número, el número está bien. Siete de diez es siete de diez. Para pillar el fallo tienes que ir pregunta por pregunta, que es exactamente el trabajo que pagaste por no hacer.
Y el error no se distribuye al azar en algo que dé igual. Se concentra justo en el uso para el que compras la herramienta: decidir qué hueco atacar primero. El agregado sirve para poner un número en un informe. El detalle sirve para decidir. La herramienta acierta lo primero y falla lo segundo.
Qué hago ahora
El proxy no se va a la basura, cambia de función. Como radar amplio sigue siendo útil: me ha dado nombres de competidores y estructura de mercado que no tenía, y eso es información válida aunque el share of answer pregunta a pregunta no lo sea.
Lo que ya no hace es decidir. Para elegir qué contenido escribir, el dato tiene que venir del motor real, aunque cueste más recogerlo.
Con una advertencia sobre mi propio dato: son diez preguntas, un día, un motor. No es una ley sobre todas las herramientas del mercado. Es una comprobación que cualquiera puede repetir en una tarde con su propio caso, y que yo no había visto que nadie publicara.
Un dato que acierta la media y falla el caso no es una medición. Es una sensación con decimales.