Zum Hauptinhalt springen

DotBot (Moz) — die verifizierte Crawler-Range, Vier-Quellen-Methodik und warum das ganze /24

von Shopbetreibern für Shopbetreiber.

Die IP-Range des Moz-Crawlers DotBot (Moz Link Explorer) zum Blocken oder Allowlisten — plus warum Moz keine offizielle IP-Liste publiziert und wie wir die Range 216.244.66.0/24 über vier unabhängige Quellen verifiziert haben, inklusive eigener SafeLine-WAF-Telemetrie.

DotBot ist der Crawler von Moz für den Link-Index hinter Moz Link Explorer — er sammelt Backlink-Daten (Domain/Page Authority), die Moz an zahlende Kunden verkauft. Moz publiziert keine offizielle IP-Liste. Wir haben die aktive Range deshalb über vier unabhängige Quellen verifiziert — inklusive unserer eigenen WAF-Telemetrie — und auf ein einziges /24 festgenagelt. Teil unseres PARC-Security-Feeds.

dotbot.json — Feed ansehen   Moz-Doku zu DotBot →

Die Range

Ein einziger Eintrag — 216.244.66.0/24 (256 IPs), Wowrack-Pool Seattle, AS23033:

216.244.66.0/24

Kein Aggregat aus zig Subnetzen, keine /32-Streuliste: ein sauberer, vollständig belegter Crawler-Pool.

Keine offizielle Liste — Moz sagt „blockt per User-Agent“

Moz veröffentlicht keine IP-Range für DotBot; die Support-Linie lautet sinngemäß „die IPs ändern sich, blockt per User-Agent". Ein Reverse-DNS gegen *.moz.com greift ebenfalls nicht — die Crawler-IPs tragen keinen moz.com-PTR. Die Verifikation muss also von außen kommen. Genau das haben wir gemacht.

Vier Quellen, ein Konsens

QuelleBefund
1 · Multilingual-Recherche (8 Sprachen: DE/EN/RU/FR/ES/CN/IT/JP)Drittquellen (webrobots.de, Cloudflare Radar, DataDome, BotDetector, darkvisitors, Foren). Aktiver Cluster eindeutig in 216.244.66.x.
2 · Eigene SafeLine-Telemetrie (60 h, 10.495 geblockte Hits)Über alle Multi-Tenant-Shops kam jeder geblockte DotBot-Request aus einem /24: 216.244.66.0/24. Null Hits aus anderen Pools.
3 · Subnet-Scan (ICMP + Reverse-DNS, alle 256 IPs)256/256 alive, 0 Customer-Hostnames im /24 — sauberer Crawler-Pool, keine Fremdkunden.
4 · Cleantalk-Spam-DB35 IPs im selben /24 aktuell als Bot eingestuft — vollständige Überlappung mit Quellen 1+2.

Das Besondere an Quelle 2: das sind unsere eigenen WAF-Logs aus dem laufenden Betrieb (artplants, inna-glas, showking u. a.) — keine Sekundärquelle, sondern direkte Beobachtung. ~390 Hits/h, der Crawler rotiert: eine IP, 5–6 Multi-Domain-Requests, dann Wechsel innerhalb des /24.

Warum das ganze /24 — nicht eine /32-Liste

  • Voller Pool belegt: alle 256 IPs antworten ICMP, alle gehören laut PTR zu Wowrack, keine Drittparteien → ein /24-Block ist kollateralfrei.
  • Rotation belegt: SafeLine-Live zeigte IPs, die in keiner Recherche-Liste standen (.198, .228, .230, .250) — eine Einzel-/32-Liste wäre garantiert unvollständig.
  • Cleantalk bestätigt Bot-IPs, die wir selbst noch nicht gesehen haben — der Pool ist breiter als die eigene Telemetrie.
  • Operationell einfach: ein Eintrag, kein Nachpflegen bei IP-Wechsel innerhalb des Subnets. Aktuell rotieren ~10 % aktiv, der Rest steht als Reserve bereit.

Warum andere Pools NICHT im Feed sind

In der Recherche tauchten weitere Wowrack-Subnetze (208.115.111.0/24, 208.115.113.0/24) und 75 verstreute AWS-/24 auf. Die sind bewusst draußen:

  • Null Live-Hits in unserer SafeLine-Telemetrie aus diesen Bereichen.
  • 208.115.x sind Mischpools mit echten Drittkunden (245 bzw. 66 Customer-PTRs, u. a. Mail-Gateways) — ein /24-Block dort wäre gefährliche Kollateralblockade.
  • AWS-Treffer sind verstreute Drittquellen-Nennungen ohne eigene Bestätigung; Cleantalk meldet dort aktuell null Aktivität.

Taucht eine dieser IPs künftig in der WAF auf, ergänzen wir den Feed — bis dahin bleibt er auf das belegte, saubere /24 beschränkt.

User-Agent & Verhalten

Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)

Robots-Token: DotBot. Einstieg meist über /robots.txt; offiziell „robots.txt-konform", in der Praxis gemischte Berichte. Als zweite Schicht zur IP-Sperre bietet sich ein User-Agent-Block auf DotBot/ an (z. B. in SafeLine).

Quellen

← Zurück zu PARC Security   Kontakt aufnehmen