IA en investigación CRO: qué automatizar y qué no
La IA multiplica las hipótesis de CRO, pero la mayoría de los experimentos fallan. Qué delegar, qué validar y cómo gobernar el flujo con criterio.
Ivan Lima · Experto en Transformación Digital
Más hipótesis no significa mejores experimentos.
La IA ya puede auditar recorridos, agrupar hallazgos y proponer pruebas en minutos. Pero si la mayoría de los experimentos no mueve la métrica, el valor no está en generar más ideas, sino en decidir mejor cuáles merecen tráfico, presupuesto y horas de desarrollo.
Lunes por la mañana. El equipo de marketing presenta, satisfecho, el resultado de su nuevo agente de IA: sesenta ideas de prueba, cada una con un puntaje de prioridad y evidencia citada. Hace un mes tenían doce.
El problema es que su sitio tiene tráfico para correr, con poder estadístico suficiente, apenas unas cuantas pruebas al mes. Y cada una consume horas de desarrollo que también pide producto, operaciones y el equipo de seguridad.
Sesenta ideas no son una ventaja si no sabe cuáles cinco ejecutar primero.
Este artículo no discute si la IA sirve para la investigación de optimización de conversión (CRO). Sirve. Discute dónde delegar sin perder el control de la decisión, con evidencia que usted puede llevar a la conversación con marketing, finanzas y el directorio.
| Cifra | Qué significa |
|---|---|
| ~1 de cada 3 | Proporción de experimentos en Microsoft que mejoraron la métrica que buscaban impactar; en Booking.com, Google Ads, Netflix y Bing la cifra cae a 10–15% |
| 21,2% | Coincidencia entre los problemas detectados por expertos humanos y por GPT-4o en una evaluación heurística, aunque el modelo encontró 27 problemas adicionales |
| 30% | Proyectos de IA generativa que Gartner proyectó abandonados tras la prueba de concepto a fines de 2025, por mala calidad de datos, controles de riesgo insuficientes, costos crecientes o valor de negocio poco claro |
| ~6% | Empresas que McKinsey identifica como “alto desempeño” en IA, es decir, que reportan valor empresarial significativo |
El cuello de botella nunca fue generar ideas
Empiece por la cifra más incómoda de la experimentación digital. Ronny Kohavi, quien dirigió experimentación en Microsoft, Amazon y Airbnb, ha documentado que en Bing la tasa de fracaso rondaba el 85% y en Airbnb llegó al 92%. Son organizaciones con equipos de investigación dedicados.
La lectura para un líder de TI es directa. La capacidad de experimentación es un recurso finito: tráfico, tiempo de ejecución, horas de desarrollo y atención del equipo de QA. Cada prueba mal elegida ocupa un espacio que otra hipótesis mejor pudo usar.
Una IA que triplica el número de ideas sin mejorar su calidad no acelera el programa. Lo congestiona.
El costo de una mala hipótesis no es la prueba que falla, es la prueba buena que no se corrió.
Mapee el proceso antes de elegir el modelo
En un taller reciente de CXL, el presidente de la organización, Hesh Fekry, y el consultor de experimentación Ruben de Boer construyeron un flujo con IA sobre ResearchXL, un marco de investigación que combina analítica, encuestas, pruebas de usuario y revisión experta. Lo primero que hicieron no fue abrir un agente: fue dibujar un diagrama de carriles con cada etapa, sus responsables, herramientas y tiempos.
Con el proceso visible, la frontera aparece sola. Hay tareas operativas, repetitivas y verificables, y hay tareas de juicio. Solo las primeras se convierten en instrucciones para el modelo.
No es un detalle metodológico. McKinsey encontró que las empresas de alto desempeño en IA tienen casi tres veces más probabilidad de haber rediseñado de fondo sus flujos de trabajo. La herramienta llega después del rediseño, no antes.
Qué delegar: tres tareas con bajo costo de error
El taller automatizó tres etapas encadenadas. Las tres comparten un rasgo: si la IA se equivoca, el error se detecta antes de que cueste dinero.
- Revisión heurística. Auditar recorridos de usuario contra criterios de relevancia, claridad, fricción y motivación. El agente revisó cinco recorridos completos en unos 30 minutos; un taller humano equivalente toma horas solo en prepararse. Es el método con menos peso en la jerarquía de evidencia: lo hacen pocas personas, sin volumen de datos y con sesgo individual. Por eso es el punto de partida más seguro.
- Análisis temático. Agrupar hallazgos de encuestas, analítica, mapas de calor, grabaciones y revisiones en temas. Convierte cientos de observaciones sueltas en patrones trazables a sus fuentes. Cuando varios métodos independientes apuntan al mismo tema, la evidencia se fortalece.
- Clasificación de ideas. Traducir temas en acciones: implementar directamente, instrumentar, probar, formular hipótesis o investigar más. Útil como borrador inicial del backlog, nunca como backlog final.
El análisis temático tiene un beneficio que pocos mencionan: cambia la conversación con el negocio. En lugar de “agreguemos testimonios”, el equipo discute qué problema del cliente intenta resolver. Ese es un lenguaje que el directorio entiende.
La evidencia sobre la IA como evaluador es contradictoria, y eso es útil
Dos estudios publicados en 2025 llegaron a conclusiones aparentemente opuestas.
En el primero, un método de evaluación heurística con modelos multimodales identificó entre 73% y 77% de los problemas de usabilidad en dos aplicaciones, por encima de cinco evaluadores humanos experimentados (57% y 63%). Sin embargo, tuvo dificultades para reconocer algunos componentes de interfaz y convenciones de diseño, y para detectar problemas que se extienden entre pantallas.
En el segundo, con un diseño distinto, GPT-4o solo coincidió con una fracción menor de los hallazgos de los expertos, aunque aportó problemas nuevos.
La conclusión profesional no es elegir un estudio. Es reconocer que el resultado depende del método, del prompt y del contexto, y que la IA ve cosas distintas a las que ve un humano. Eso la convierte en un evaluador adicional valioso, no en un sustituto. Los problemas de flujo, los que cruzan varias pantallas, son justamente los que más afectan la conversión en procesos de compra o registro.
Un 42% no es una medición
El agente del taller asignaba puntajes como 42% o 53% a cada recorrido. Los decimales sugieren medición. No lo son: son juicios subjetivos expresados con apariencia de rigor.
Hay una ironía aquí. El marco de priorización PXL, creado por el propio CXL, usa deliberadamente una escala binaria para evitar el error de tendencia central, y asigna menos puntaje a las ideas que nacen de opiniones. Un modelo que devuelve porcentajes finos reintroduce exactamente la subjetividad que esos marcos intentan eliminar.
El segundo límite es más profundo. La IA puede verificar si una página usa urgencia o prueba social, porque esos elementos están en los marcos. No puede saber si a su cliente le importan. Un hallazgo correcto según el marco puede ser irrelevante para la conversión.
| La IA aporta | El equipo decide |
|---|---|
| Cobertura y consistencia al aplicar un marco | Qué problemas pesan en su negocio |
| Un puntaje inicial para ordenar | Si ese orden resiste la evidencia real |
| Patrones entre muchas fuentes | Si el patrón refleja al cliente o al prompt |
Un puntaje con decimales no es más exacto. Solo es más difícil de cuestionar en una reunión.
Lo que no se delega: la voz del cliente y la decisión
El taller dejó fuera, de forma explícita, cualquier técnica que reemplace la opinión de clientes reales, como entrevistas simuladas. La evidencia respalda esa línea.
Nielsen Norman Group repitió tres estudios ya realizados con participantes reales usando usuarios sintéticos. Los valores declarados por esos usuarios simulados resultaron demasiado superficiales para actuar sobre ellos, y los participantes artificiales afirmaron haber terminado todos los cursos, algo que ningún grupo real hace.
Existe además una falla más silenciosa, que De Boer llamó “investigación como decoración”: el modelo llega primero a una buena práctica y luego busca datos que la respalden. La secuencia correcta es la inversa: evidencia, hallazgo, hipótesis, prueba.
El síntoma es fácil de reconocer. Ideas genéricas que servirían para cualquier sitio, con citas de datos que parecen añadidas al final.
Cuatro compuertas de calidad
La tentación es construir un agente único, entregarle toda la información y aceptar lo que devuelva. El enfoque profesional es el de un pipeline con compuertas:
- Tras la revisión heurística. El equipo incorpora su propia investigación y el contexto que el modelo no tiene, como restricciones regulatorias o cambios de precio recientes.
- Tras el análisis temático. Alguien verifica que cada tema tenga sentido de negocio y fuentes reales, no solo coherencia textual.
- Antes de generar ideas. Se agrega lo que la IA omitió, en especial problemas que cruzan pantallas o canales.
- Al priorizar. Una persona define el orden final con un marco explícito y evidencia trazable.
Esto coincide con lo que McKinsey observa en las organizaciones que capturan valor: tienen más probabilidad de contar con procesos definidos para determinar cuándo los resultados de un modelo requieren validación humana. La compuerta no es burocracia. Es la diferencia entre corregir un supuesto en minutos o descubrirlo después de un trimestre de pruebas mal enfocadas.
Lo que esto le exige a TI
La investigación CRO suele vivir en marketing, pero las decisiones que determinan si el flujo es confiable pasan por su área.
- Datos personales. Grabaciones de sesión, encuestas y exportaciones de analítica contienen información de clientes. Defina qué puede enviarse a un modelo externo, con qué anonimización y bajo qué contrato, conforme a la normativa de protección de datos de cada país donde opera.
- Calidad de instrumentación. Si el etiquetado de eventos está roto, el análisis temático agrupará ruido con mucha elocuencia. No es casual que la mala calidad de datos encabece las causas de abandono de proyectos de IA generativa que señala Gartner.
- Trazabilidad. Cada tema y cada idea deben rastrearse hasta su fuente. Lo que no se puede auditar no debería llegar al directorio.
- Arquitectura modular. Etapas separadas con salidas revisables son más fáciles de mantener, versionar y corregir que un agente monolítico.
- Capacidad de ejecución. Un backlog inflado por IA termina como demanda sobre su equipo de desarrollo. Acordar un límite de pruebas por ciclo protege esa capacidad.
Objeciones razonables
“Si la IA encontró más problemas que los expertos en un estudio, ¿para qué mantener analistas?” Porque encontrar problemas nunca fue la parte cara. Con tasas de éxito de experimentos que rara vez superan un tercio, el valor está en elegir qué probar. La IA libera horas operativas; el analista las reinvierte en priorización y validación, donde se gana o se pierde el retorno.
“Los usuarios sintéticos son más baratos. ¿Por qué no usarlos al menos para filtrar?” Úselos para preparar entrevistas o familiarizarse con el vocabulario de un segmento. No para validar conceptos. La evidencia disponible muestra respuestas excesivamente positivas y superficiales, justo el tipo de sesgo que lleva a lanzar pruebas que no mueven nada.
“Esto es responsabilidad de marketing.” Hasta que alguien conecta datos de clientes a un modelo sin revisión, o hasta que sesenta ideas aterrizan en el sprint de desarrollo. Gobierno de datos, calidad de instrumentación y capacidad de ejecución son responsabilidades compartidas, y TI tiene las herramientas para ejercerlas.
La velocidad no reemplaza el criterio
La IA ya revisa más recorridos, ordena más investigación y propone más pruebas de las que cualquier equipo produciría a mano. Conviene aprovecharlo.
Pero en experimentación, la restricción nunca fue la cantidad de ideas. Fue la calidad de la decisión sobre cuáles merecen tráfico, presupuesto y horas de desarrollo. Las organizaciones que entiendan esa diferencia usarán la IA para decidir mejor. Las demás solo fallarán más rápido.
Automatice la operación. Conserve la decisión.
Su primer paso esta semana: reúnase con el responsable de CRO y dibujen el diagrama de carriles de su proceso de investigación. Marquen qué tareas son operativas y cuáles requieren juicio. Elijan la revisión heurística como piloto, definan las cuatro compuertas antes de escribir el primer prompt, acuerden qué datos pueden salir hacia el modelo y fijen cuántas pruebas por ciclo puede absorber su equipo de desarrollo.
Fuentes
- Reslan, T. (2026). AI for CRO research: what to automate (and what not to). CXL.
- Zhong, R., McDonald, D. W. y Hsieh, G. (2025). Synthetic Heuristic Evaluation: A Comparison between AI- and Human-Powered Usability Evaluation. arXiv.
- Guerino, G. et al. (2025). Can GPT-4o Evaluate Usability Like Human Experts?. arXiv.
- Kohavi, R. y Thomke, S. (2017). The Surprising Power of Online Experiments. Harvard Business Review. Cifras de tasas de éxito citadas en Product Growth.
- Nielsen Norman Group. Synthetic Users: If, When, and How to Use AI-Generated “Research”. Resumen en PM Toolkit.
- Gartner (2024). Gartner Predicts 30% of Generative AI Projects Will Be Abandoned After Proof of Concept By End of 2025.
- McKinsey & Company (2025). The State of AI in 2025. Cobertura en IT Brief.
- CXL. PXL: A Better Way to Prioritize Your A/B Tests.
- Speero. ResearchXL.
