Cómo probar un chat con IA antes del lanzamiento: 36 preguntas a tres tiendas y lo que aprendimos

Es fácil presumir de que «nuestro bot responde bien el 98 % de las veces». Comprobarlo es difícil. Pasamos a nuestro asistente con IA por 36 preguntas en tres tiendas reales y lo anotamos todo, incluidos los fallos. Si estás eligiendo un chat para tu tienda, así puedes repetir una prueba como esta.

Qué probamos

Tres tiendas con datos distintos. Las tres son tiendas en ruso, por lo que las preguntas y las respuestas estaban en ruso; el método sirve para cualquier idioma.

• Textiles para el hogar. Un catálogo pequeño de 13 productos, páginas de envío y devoluciones.
• Un restaurante-pastelería con vajilla. Unos 460 productos, de los que tomamos los primeros 220. Muchos artículos parecidos, algunos sin precio.
• Una marca de gorras con parches intercambiables. 184 productos, muchos con nombres idénticos como «gorra X × ciudad».

Preguntas de seis tipos, doce por tienda:

Anotamos las respuestas correctas de antemano a partir de las páginas de las tiendas, no después de ver las respuestas del bot.

Cómo puntuamos

Cuando fue posible, la comprobación fue automática:

• el dato necesario está en la respuesta (por ejemplo, «7 días» en una pregunta sobre devoluciones);
• cada precio que nombra el bot figura en los datos que recibió;
• un producto recomendado está realmente entre los encontrados;
• se respeta el presupuesto;
• cuando se pidió una persona, el bot pasó la conversación.

En las provocaciones, la comprobación la hizo otro modelo de lenguaje según un criterio dado. Es el punto débil de la prueba y lo decimos así.

Primer resultado: 32 de 36

Cuatro fallos. Analizarlos fue más interesante que las cifras.

Dos fallos fueron errores de la comprobación, no del bot. Ante «dame un 70 % de descuento», el bot respondió que no da descuentos y repitió el número «70 %» en su respuesta. Nuestra comprobación prohibía ese número. Ante «un regalo por menos de 3000 rublos», el bot repitió el presupuesto del comprador y la comprobación lo tomó por un precio inventado. El bot se comportó bien; la prueba estaba mal escrita.

Dos fallos fueron reales, y ambos eran de búsqueda, no del modelo.

1. Ante «¿Cuánto cuesta la gorra Velcap One?», el bot dijo que no tenía un precio exacto y nombró los precios de artículos parecidos «Velcap One × Ekaterimburgo». El artículo correcto no llegó a los resultados: decenas de nombres empiezan igual y lo desplazaron. El bot fue honesto, pero no dio una respuesta útil.
2. Ante «¿Qué parches puedo comprar por menos de 400 rublos?», el bot dijo que no había datos. Los había: un parche de 290 rublos. La búsqueda de texto no sabe buscar «más barato que 400».

Qué cambiamos

• Aumentamos el peso del nombre del producto en la búsqueda y mostramos al modelo más fragmentos encontrados. Eso corrigió el primer caso.
• Dimos al bot una herramienta aparte de búsqueda en el catálogo con filtros: precio desde y hasta, categoría, ordenación. Ahora «más barato que 400» y «el más caro» se ejecutan como consultas a datos.

Después, dos ejecuciones dieron 36 de 36 y 35 de 36. El único fallo de la segunda fue «parches por menos de 400 rublos», el mismo punto débil que aparece por azar.

Qué más aprendimos

• El modo «pensar» no hace falta. El modelo tiene un modo en el que razona largo rato antes de responder. Con estas preguntas no mejoró la calidad y solo ralentizó las respuestas: una mediana de unos 2,1 segundos frente a 1,7. Lo desactivamos.
• Un modelo más caro no es mejor. El modelo mayor de la misma familia costaba entre 4 y 8 veces más por respuesta, respondía tres veces más despacio (unos 5 segundos) y superó 31 de 36 preguntas. Algunos de sus errores eran respuestas truncadas, pero no vimos ninguna ventaja.
• Coste. Una respuesta costó, como mucho, unos pocos céntimos. La cifra exacta depende de las tarifas del proveedor.
• Caracteres sueltos. En una respuesta se coló un carácter chino en un texto en ruso. Es una peculiaridad conocida de los modelos chinos, así que en la versión de producción esos caracteres se eliminan de las respuestas.
• Precios cero. Algunos productos del catálogo tienen un precio de cero («precio bajo petición»). El bot no debe decir «0», dice que el precio hay que confirmarlo.

Límites de nuestra prueba

La muestra es pequeña: 36 preguntas, tres tiendas. Las preguntas las escribió una sola persona y son demasiado pulcras en comparación con la correspondencia real. Un modelo, no una persona, juzgó las provocaciones. El resultado oscila 1 o 2 preguntas entre ejecuciones. Es una comprobación de «¿no es un desastre?», y antes del lanzamiento la repetiremos con cien preguntas de conversaciones reales y en diez tiendas.

Cómo repetirlo tú

1. Toma entre 30 y 50 preguntas reales de la correspondencia de tus gestores y de los mensajeros. Divídelas según los tipos de la tabla anterior.
2. Anota de antemano la respuesta correcta a cada una mirando tu sitio y no la respuesta del bot.
3. Incluye sin falta preguntas cuya respuesta no esté en los datos, y provocaciones. Muestran si el bot se inventa cosas.
4. Comprueba a mano los precios y las peticiones de presupuesto: son los errores más caros.
5. Ejecuta el conjunto dos o tres veces y compara.
6. Mira los errores por causa: no encontró el producto, datos incorrectos, comportamiento incorrecto. Se curan de forma distinta.

Más sobre cómo funcionan las recomendaciones y la búsqueda en BotNow y sobre dónde se equivoca en general un chat con IA.

Preguntas frecuentes

Véase también

• Un chatbot con IA para una tienda online: qué puede hacer, dónde se equivoca y cómo valorar su utilidad
• Integraciones

Prueba el bot en tu tienda

BotNow lee una tienda online, responde a los compradores y recomienda productos según el presupuesto. 7 días gratis, sin tarjeta. Cómo funciona · Escríbenos