---
title: "Was mich Crawler für Millionen Produkte gelehrt haben"
description: "Was ich beim Crawlen von Millionen Produktpreisen für PriceFeed gelernt habe: Datenqualität, gesperrte Zugriffe, wechselnde Seiten und Wartung."
canonical: "https://benjaminschleier.com/de/blog/preise-crawlen-pricefeed/"
language: "de"
date: "2026-11-12"
---

# Was mich Crawler für Millionen Produkte gelehrt haben

Software

Benjamin Schleier · 12. November 2026 · 5 Minuten Lesezeit

Einen Preis aus einem Onlineshop auszulesen ist einfach. Schwierig wird es, wenn Daten aus vielen Shops zusammenkommen, Seiten sich ändern und man trotzdem verlässliche Preisverläufe anbieten will. Mit solchen Fragen habe ich mich bei PriceFeed beschäftigt.

## Warum die Datenqualität zählt

Wer Preise beobachtet, trifft damit Entscheidungen. Ein Händler senkt seinen Preis, weil das Dashboard zeigt, dass der Wettbewerb günstiger geworden ist. Stimmt die Zahl nicht, verschenkt er Marge wegen eines Fehlers in einem Parser. Daraus folgt für mich eine harte Regel. Was das System nicht sicher lesen kann, zeigt es nicht an. Eine Lücke im Verlauf sieht der Nutzer und kann sie einordnen. Bei einem falschen Preis hat er diese Chance nicht, er handelt danach. Genauigkeit ist bei einem Preistracker das Produkt selbst, und falsche Daten können Entscheidungen beeinflussen und das Vertrauen in die Auswertung schmälern.

Die Fehlerquellen sind banal. Der eine Shop zeigt Bruttopreise, der nächste netto. Versandkosten stecken mal im Preis und mal in einer Fußnote. Im Quelltext steht der durchgestrichene Altpreis vor dem aktuellen, und ein unvorsichtiger Crawler nimmt den ersten Treffer. Bei PriceFeed synchronisieren und prüfen Algorithmen die Daten aus den verschiedenen Quellen. Mein Rat für den Anfang ist schlicht. Lass jeden neuen Wert gegen den bisherigen Verlauf desselben Produkts laufen. Fällt ein Fernseher über Nacht auf ein Zehntel, ist das fast nie ein Angebot. Meistens steht ein Komma an der falschen Stelle.

## Zugriff und Datenquellen

Viele Shops wehren sich gegen automatische Abrufe. Sie drosseln Anfragen oder sperren Adressen, und nach dem nächsten Umbau der Seite läuft der Abruf ins Leere. Der erste erfolgreiche Abruf beweist deshalb wenig. Eine Quelle gilt erst als zuverlässig, wenn sie über Wochen überwacht läuft. Und dass ein Abruf technisch gelingt, heißt noch lange nicht, dass du die Daten so nutzen darfst. Lies die Nutzungsbedingungen der Quelle und kläre die rechtliche Seite, bevor du darauf ein Produkt baust.

Fehlgeschlagene Abrufe sind der Normalbetrieb. Bau das System so, dass es damit rechnet. Jeder Fehler bekommt eine verständliche Meldung, wiederholt wird mit wachsendem Abstand, und fällt eine Quelle länger aus, erfährt es jemand. Ruf außerdem nicht häufiger ab als nötig, der Shop am anderen Ende bezahlt die Last mit. Gibt es eine offizielle Schnittstelle oder einen Datenfeed, nimm ihn. Das ist fast immer stabiler als jeder Crawler.

## Wenn Shops ihre Seiten ändern

Ein Crawler braucht Wartung, weil Shops ihre Seiten immer wieder verändern. Irgendwo stellt das Marketing die Produktseite um, der Preis wandert in ein anderes Element, und dein Parser liefert ab sofort leere Felder oder, schlimmer, die Artikelnummer als Preis. Bei Millionen von Produkten passiert das an jedem beliebigen Dienstag. Zwei Gewohnheiten helfen. Lies zuerst die strukturierten Daten, die Shops für Suchmaschinen in ihre Seiten schreiben, denn die überleben ein Redesign meistens. Und überwache jede Quelle einzeln. Hat ein Shop gestern für fast jedes Produkt einen Preis geliefert und heute nur noch für die Hälfte, muss jemand eine Nachricht bekommen, bevor der erste Kunde fragt. Wartung ist bei einem Crawler die eigentliche Arbeit.

## Nicht jeden Preis gleich häufig abrufen

Für PriceFeed haben wir einen Stack gewählt, der Millionen Datenpunkte in Echtzeit verarbeitet, in einer Cloud-Architektur mit Caching und Lastverteilung. Beides klingt nach Lehrbuch. Caching heißt bei Preisdaten vor allem, ehrlich zu fragen, wie frisch ein Wert sein muss. Ein Preis, der sich seit Wochen nicht bewegt hat, braucht keinen Abruf im Minutentakt. Bei einem umkämpften Produkt sieht das anders aus. Wer alle Produkte gleich behandelt, bezahlt für eine Menge überflüssiger Anfragen und wird nebenbei öfter blockiert.

Lastverteilung löst das andere Ende. Crawler und Nutzer greifen gleichzeitig auf dieselben Daten zu, und beide haben ihre Stoßzeiten. Trenne das Schreiben vom Lesen, so früh es geht. Die Crawler liefern in eine Warteschlange, die Prüfung holt sich die Daten von dort, und das Dashboard liest aus einem eigenen, vorbereiteten Bestand. Dann darf ein Crawl-Lauf ruhig länger dauern als geplant, ohne dass ein Kunde es an seiner Ladezeit merkt. Verteile die Last außerdem auf mehrere Maschinen, bevor die erste am Anschlag läuft.

## Wie die Daten nutzbar werden

Die Erfassung der Daten kostet technisch oft die meiste Arbeit. Für die Nutzer zählt allerdings, was sie anschließend mit den Informationen anfangen können. Gekauft wird die Antwort auf eine Frage wie „Welcher Wettbewerber ist seit gestern billiger als ich?“. Bei PriceFeed braucht eine breite Nutzerbasis jeweils einen anderen Ausschnitt derselben Daten. Im Dashboard und im Benachrichtigungssystem filtern Nutzer deshalb selbst und legen fest, was sie sehen wollen und wann sie eine Nachricht bekommen.

Der Einkäufer will eine Warengruppe sehen, die Geschäftsführung eine Kurve über das Quartal. Millionen sauber gelesener Preise helfen keinem von beiden, wenn sie in einer Tabelle ohne Filter liegen. Arbeite deshalb früh an der Oberfläche und sieh einem echten Nutzer zu, wie er sie bedient. Du wirst merken, dass er die Hälfte deiner Auswertungen überspringt und nach einer einzigen Zahl sucht. Diese Zahl gehört nach oben. Historische Daten und Preisvergleiche dürfen eine Ebene tiefer warten, bis jemand sie braucht.

## Womit ich heute anfangen würde

Mit wenigen Quellen und einer Überwachung, die vom ersten Tag an mitläuft. Fehler findest du bei fünf Shops in einer Stunde, bei fünfhundert suchst du eine Woche. Heb außerdem die Rohdaten auf. Speicherst du nur den ausgelesenen Preis und lag der Parser drei Wochen lang falsch, sind drei Wochen Verlauf verloren. Mit der gespeicherten Antwort des Shops liest du sie einfach neu aus. Speicherplatz kostet wenig. Ein Loch in der Preishistorie eines Kunden kostet dich das Gespräch über die Vertragsverlängerung.

Kläre vor dem Start, welche Quellen du überhaupt nutzen darfst. Nutzungsbedingungen, robots.txt und die Rechtslage gehören auf den Tisch, bevor die erste Zeile Code steht. Rechne außerdem die laufenden Kosten ehrlich durch. Server, Überwachung und Wartung fallen jeden Monat an, auch wenn noch kein Kunde zahlt.

- Crawler
- Preisdaten
- SaaS
- E-Commerce

## Weiterlesen

- [Was KI-Agenten im Betrieb wirklich abnehmen](https://benjaminschleier.com/de/blog/ki-agenten-im-betrieb/) · KI · 19. November 2026 · 3 Min.
- [Wie klein dein erstes Release sein sollte](https://benjaminschleier.com/de/blog/mvp-erstes-release/) · Startups · 5. November 2026 · 4 Min.
- [Wo kleine Unternehmen wirklich angreifbar sind](https://benjaminschleier.com/de/blog/it-sicherheit-kleine-unternehmen/) · IT-Sicherheit · 29. Oktober 2026 · 4 Min.
