Zum Inhalt springen
Cyberslide
Cyberslide

CSS von Cyberslide · Unabhängiger Preisvergleich mit Angeboten aus über 1.000 Shops

CyberslideBot

Der Crawler des Preisvergleichs Cyberslide

Kennung

Unser Crawler meldet sich mit dem User-Agent

CyberslideBot/2.0 (+https://cyberslide.de/bot)

Das Produkt-Token für die robots.txt ist CyberslideBot.

Welche Shops wir abrufen

  • Partner-Shops, deren Betreiber das Crawling im Händlerportal ausdrücklich beauftragt hat („Shop crawlen lassen“).
  • Einzelne weitere Shops, die unsere Redaktion manuell ausgewählt hat. Wir suchen nicht automatisch nach neuen Shops. Ihre Angebote sind im Preisvergleich als „Nicht verifiziert – automatisch von der Shop-Website erfasst“ gekennzeichnet, werden nie als „Bester Preis“ hervorgehoben, solange es ein Partner-Angebot gibt, und nur angezeigt, solange der Preis höchstens 48 Stunden alt ist.

Was der Bot erfasst – und was nicht

  • Nur strukturierte Produktdaten nach schema.org (Product/Offer als JSON-LD oder Microdata) bzw. OpenGraph-Produkt-Tags: Produktname, Preis, Währung, Verfügbarkeit, GTIN/MPN, Marke, Versandkosten (OfferShippingDetails), kanonische URL.
  • Bilder werden nie heruntergeladen oder gespeichert. Wir verlinken höchstens das Hauptbild des Produkts.
  • Keine Fließtexte: Beschreibungen übernehmen wir bei Partner-Shops höchstens als kurzen Auszug, bei Shops ohne Partnerschaft gar nicht.
  • Keine Logins, keine Formulare, keine Warenkörbe, keine personenbezogenen Daten.

Rücksichtsvolles Crawling

  • Die robots.txt wird vor jedem Durchlauf gelesen (höchstens 24 Stunden zwischengespeichert), einschließlich Disallow und Crawl-delay.
  • Höchstens eine Anfrage gleichzeitig pro Shop, standardmäßig höchstens eine Anfrage alle 2 Sekunden.
  • Bei HTTP 429 oder 503 pausiert der Bot (auch nach Retry-After).
  • Bedingte Anfragen (ETag/Last-Modified): unveränderte Seiten werden nicht erneut übertragen.
  • noindex, noai und nofollow (Meta-Robots oder X-Robots-Tag) werden beachtet.

Bot aussperren per robots.txt

Ein Disallow für unseren Bot gilt als Widerspruch: Wir crawlen den Shop dann nicht mehr und entfernen bereits erfasste Angebote.

User-agent: CyberslideBot
Disallow: /

Shop vom Crawling ausschließen

Als Betreiber können Sie Ihren Shop hier ausschließen. Nach der Bestätigung crawlen wir die Domain nicht mehr und entfernen alle automatisch erfassten Angebote innerhalb von 24 Stunden.

Nachweis, dass Sie den Shop betreiben

Wir verwenden die Adresse nur für die Bestätigung und löschen sie danach.

Sie möchten gelistet werden?

Als Partner bestimmen Sie selbst, welche Daten wir verwenden: per Produktfeed, Shopify-App oder beauftragtem Crawling. Mehr für Händler

Fragen zum Bot: bot@cyberslide.de