Leer un precio de una tienda online es fácil. Lo difícil llega cuando se juntan datos de muchas tiendas, las páginas cambian y aun así quieres ofrecer una evolución de precios fiable. Con preguntas así me encontré en PriceFeed.
Por qué cuenta la calidad de los datos
Quien vigila precios toma decisiones con ellos. Un comerciante baja su precio porque el panel le dice que la competencia se ha abaratado, y si el número está mal, regala margen por culpa de un fallo en un parser. Por eso tengo una regla firme. Lo que el sistema no puede leer con seguridad, no lo muestra. El usuario ve un hueco en el historial y sabe interpretarlo. Con un precio falso no tiene esa oportunidad y actúa en consecuencia. En un monitor de precios la exactitud es el propio producto, y los datos falsos pueden influir en decisiones y restar confianza al análisis.
Las fuentes de error son banales. Una tienda muestra precios con impuestos y la siguiente sin ellos. Los gastos de envío unas veces van dentro del precio y otras en una nota al pie. En el código fuente de la página, el precio antiguo tachado aparece antes que el actual, y un crawler descuidado se queda con la primera coincidencia. En PriceFeed, unos algoritmos sincronizan y comprueban los datos de las distintas fuentes. Para empezar, te aconsejo contrastar cada valor nuevo con el historial previo del mismo producto. Si un televisor baja de un día para otro a la décima parte, casi nunca es una oferta. Lo normal es que el separador decimal esté en el sitio equivocado.
Acceso y fuentes de datos
Muchas tiendas se defienden de las consultas automáticas. Limitan las peticiones o bloquean direcciones, y tras la siguiente remodelación de la web la consulta ya no encuentra nada. Por eso, la primera consulta que funciona demuestra poco. Una fuente es fiable cuando lleva semanas funcionando bajo vigilancia. Y que una consulta funcione en lo técnico no significa que puedas usar esos datos como quieras. Lee las condiciones de uso de la fuente y aclara la parte legal antes de construir un producto sobre ella.
Las consultas fallidas forman parte del funcionamiento normal, así que construye el sistema contando con ellas. Cada error recibe un mensaje que se entienda, los reintentos llegan con intervalos cada vez más largos y, si una fuente falla durante más tiempo, alguien se entera. No consultes más a menudo de lo necesario, porque la tienda del otro lado también paga esa carga. Si existe una interfaz oficial o un feed de datos, úsalo. Casi siempre es más estable que cualquier crawler.
Cuando las tiendas cambian sus páginas
Un crawler necesita mantenimiento porque las tiendas cambian sus páginas una y otra vez. En algún lugar, el equipo de marketing reorganiza la ficha de producto, el precio se muda a otro elemento y tu parser devuelve campos vacíos o, peor aún, el número de artículo como precio. Con millones de productos eso pasa cualquier martes normal. De ahí salen dos costumbres. La primera es leer antes que nada los datos estructurados que las tiendas escriben en sus páginas para los buscadores, porque casi siempre sobreviven a un rediseño. La otra es vigilar cada fuente por separado. Si ayer una tienda entregaba precio para casi todos sus productos y hoy solo para la mitad, alguien tiene que recibir un aviso antes de que pregunte el primer cliente. Con un crawler, el mantenimiento es el trabajo de verdad.
No todos los precios se consultan con la misma frecuencia
Para PriceFeed elegimos un stack que procesa millones de datos, dentro de una arquitectura en la nube con caché y balanceo de carga. Las dos cosas suenan a libro de texto. Con datos de precios, la caché consiste sobre todo en preguntarse con sinceridad cuánto de fresco tiene que estar un valor. Un precio que lleva semanas sin moverse no necesita una petición cada minuto. Con un producto muy disputado la cosa cambia. Quien trata todos los productos por igual paga muchas peticiones que sobran y, encima, sufre más bloqueos.
El balanceo de carga resuelve el otro extremo. Los crawlers y los usuarios acceden a los mismos datos a la vez, y los dos tienen sus horas punta. Separa la escritura de la lectura lo antes posible. Los crawlers entregan a una cola, la validación recoge los datos de ahí y el panel lee de su propio conjunto de datos ya preparado. Así, una pasada del crawler puede tardar más de lo previsto sin que ningún cliente lo note en el tiempo de carga. Reparte también la carga entre varias máquinas antes de que la primera llegue a su límite.
Cómo se vuelven útiles los datos
En lo técnico, capturar los datos suele ser lo que más trabajo cuesta. A los usuarios, en cambio, les importa lo que pueden hacer después con la información. Lo que se compra es la respuesta a una pregunta como «¿qué competidor está más barato que yo desde ayer?». En PriceFeed, una base de usuarios amplia necesita en cada caso una parte distinta de los mismos datos. Por eso, en el panel y en el sistema de notificaciones cada usuario filtra lo que quiere ver y decide cuándo recibe un aviso.
El responsable de compras quiere ver un grupo de productos. La dirección prefiere una curva del trimestre. Millones de precios bien leídos no le sirven a ninguno de los dos si están en una tabla sin filtros. Así que trabaja pronto en la interfaz y mira cómo la maneja un usuario real. Vas a notar que se salta la mitad de tus análisis y busca un único número. Ese número va arriba del todo. Los datos históricos y las comparativas de precios pueden esperar un nivel más abajo hasta que alguien los necesite.
Por dónde empezaría hoy
Con pocas fuentes y con una monitorización que funcione desde el primer día. Con cinco tiendas encuentras un error en una hora, con quinientas lo buscas durante una semana. Guarda también los datos en bruto. Si solo almacenas el precio extraído y el parser estuvo mal tres semanas, has perdido tres semanas de historial. Con la respuesta original de la tienda guardada, simplemente vuelves a leerlas. El almacenamiento cuesta poco. Un hueco en el historial de precios de un cliente te cuesta la conversación sobre la renovación del contrato.
Aclara antes de empezar qué fuentes puedes usar. Las condiciones de uso, el robots.txt y la situación legal tienen que estar sobre la mesa antes de escribir la primera línea de código. Haz también bien las cuentas de los costes continuos. Servidores, vigilancia y mantenimiento se pagan cada mes, aunque todavía no haya ningún cliente pagando.
