CyberslideBot
Der Crawler des Preisvergleichs Cyberslide
Kennung
Unser Crawler meldet sich mit dem User-Agent
CyberslideBot/2.0 (+https://cyberslide.de/bot)
Das Produkt-Token für die robots.txt ist CyberslideBot.
Welche Shops wir abrufen
- Partner-Shops, deren Betreiber das Crawling im Händlerportal ausdrücklich beauftragt hat („Shop crawlen lassen“).
- Einzelne weitere Shops, die unsere Redaktion manuell ausgewählt hat. Wir suchen nicht automatisch nach neuen Shops. Ihre Angebote sind im Preisvergleich als „Ohne Partnerschaft“ mit dem Zeitpunkt der letzten Preisprüfung gekennzeichnet („maßgeblich ist der Preis im Shop“), werden nie als „Bester Preis“ hervorgehoben, solange es ein Partner-Angebot gibt, und nur angezeigt, solange der Preis höchstens 48 Stunden alt ist. Diese Shops zahlen nichts für die Listung; jeder Klick führt direkt zum Shop.
- Umfang bei Shops ohne Partnerschaft: Meist vergleichen wir nur Produkte, die wir bereits aus anderen Quellen kennen (gleiche GTIN). Bei einzelnen Shops – vor allem Marken-Shops, die direkt an Endkunden verkaufen – listen wir alle gefundenen Produkte wie eine Produktsuchmaschine: Produktname, Preis, Verfügbarkeit, Versandkosten (soweit angegeben), GTIN/Marke und den Link zur Produktseite im Shop. Beschreibungen übernehmen wir nicht, Produktbilder zeigen wir nur als kleines Vorschaubild.
Was der Bot erfasst – und was nicht
- Nur strukturierte Produktdaten nach schema.org (Product/Offer als JSON-LD oder Microdata) bzw. OpenGraph-Produkt-Tags: Produktname, Preis, Währung, Verfügbarkeit, GTIN/MPN, Marke, Versandkosten (OfferShippingDetails), kanonische URL.
- Produktbilder: Wir übernehmen höchstens die Adresse des Hauptbilds. Stammt das Bild nur von einem Shop ohne Partnerschaft, zeigen wir es ausschließlich als kleines Vorschaubild (höchstens 200 × 200 Pixel), das unser Bildserver in dieser Größe ausliefert und zwischenspeichert – ohne Großansicht und ohne Weitergabe an Dritte (z. B. an Google-Shopping-Feeds).
- Shop-Logo: Um Angebote eindeutig einem Shop zuzuordnen, übernehmen wir für gelistete Shops ohne hinterlegtes Logo einmalig das auf der Startseite angegebene Logo (schema.org
logobzw. App-Icon) und speichern eine Kopie auf unserem Server – Besucher laden es also nie von Ihrem Server. Abruf höchstens wöchentlich, unter Beachtung der robots.txt. Nach einem Opt-out (unten) oder einemDisallowlöschen wir das Logo und zeigen nur noch den Shopnamen. - Keine Fließtexte: Beschreibungen übernehmen wir bei Partner-Shops höchstens als kurzen Auszug, bei Shops ohne Partnerschaft gar nicht.
- Keine Logins, keine Formulare, keine Warenkörbe, keine personenbezogenen Daten.
Rücksichtsvolles Crawling
- Die robots.txt wird vor jedem Durchlauf gelesen (höchstens 24 Stunden zwischengespeichert), einschließlich
DisallowundCrawl-delay. - Höchstens eine Anfrage gleichzeitig pro Shop, standardmäßig höchstens eine Anfrage alle 2 Sekunden.
- Bei HTTP 429 oder 503 pausiert der Bot (auch nach
Retry-After). - Bedingte Anfragen (ETag/Last-Modified): unveränderte Seiten werden nicht erneut übertragen.
noindex,noaiundnofollow(Meta-Robots oderX-Robots-Tag) werden beachtet.- TDM-Nutzungsvorbehalt nach dem W3C-Standard TDMRep wird beachtet: der HTTP-Header
tdm-reservation: 1, das Meta-Tag<meta name="tdm-reservation" content="1">und die Datei/.well-known/tdmrep.json. Bei Shops ohne Partnerschaft gilt ein solcher Vorbehalt wienoaials Widerspruch.
Bot aussperren per robots.txt
Ein Disallow für unseren Bot gilt als Widerspruch: Wir crawlen den Shop dann nicht mehr und entfernen bereits erfasste Angebote. Dasselbe gilt bei Shops ohne Partnerschaft für noindex/noai oder einen TDM-Nutzungsvorbehalt auf der Startseite.
User-agent: CyberslideBot Disallow: /
Shop entfernen / vom Crawling ausschließen
Als Betreiber können Sie Ihren Shop hier ausschließen. Nach der Bestätigung crawlen wir die Domain nicht mehr und entfernen alle automatisch erfassten Angebote innerhalb von 24 Stunden – Produkte, die nur Ihr Shop bei uns angeboten hat, löschen wir zusammen mit den Vorschaubildern.
Sie möchten gelistet werden?
Als Partner bestimmen Sie selbst, welche Daten wir verwenden: per Produktfeed, Shopify-App oder beauftragtem Crawling. Mehr für Händler
Fragen zum Bot: bot@cyberslide.de