MJ12bot — „nicht IP-identifizierbar" stimmt nicht: 90 FCrDNS-Knoten
von Shopbetreibern für Shopbetreiber.
Majestic nennt MJ12bot einen verteilten Crawler ohne IP-Liste. Empirisch falsch: der Live-Kern self-identifiziert per FCrDNS crawl-*.mj12bot.com, 72% auf OVH. Trianguliert aus Logs, multilingualer Recherche und 1,7 Mio. Blacklist-IPs → 90 Knoten.
MJ12bot ist der Backlink-Crawler von Majestic (UK). Majestic schreibt, er sei ein „community based distributed crawler" und „nicht per IP blockbar". Empirisch stimmt das nicht: der aktuelle Kern self-identifiziert sauber per FCrDNS crawl-<zufall>.mj12bot.com und sitzt zu 72 % auf OVH (AS16276) plus Veloxserv. Teil unseres PARC-Security-Feeds.
mj12bot.json — Feed ansehen mj12bot.com →
Verifikation — jede IP einzeln
Das PTR-Muster crawl-<zufall>.mj12bot.com ist FCrDNS-bestätigt (Reverse + Forward-A-Record zurück auf dieselbe IP) — nur Majestic kann das setzen. Wir haben die Flotte aus drei unabhängigen Quellen trianguliert:
Access-Logs (eigene Seiten) 250 beobachtet → 72 FCrDNS
+ multilinguale Recherche Foren/Crawler-DBs (RU/ZH/DE/EN) → 90
+ 1,7 Mio. Blacklist-IPs AbuseIPDB-500k, ipsum, CINS, FireHOL 2-4,
(Gegenprobe) blocklist.de, HaGeZi TIF u.a. → +0 neu
Die Blacklists brachten nichts — und das ist die eigentliche Erkenntnis: MJ12 ist zu „höflich" für Abuse-Listen (respektiert robots.txt, rate-limitet), taucht dort kaum auf. Die Identifikation läuft rein über das FCrDNS-Muster. Stale Alt-Knoten (Netifys ~144 enthält historische Hetzner-/Contabo-/Residential-IPs, die heute nicht mehr auf mj12bot.com reversen) nehmen wir nicht — sonst träfe man fremde/Kunden-IPs. Rollierend re-verifiziert (OVH rotiert).