Semrush Bot — verifizierte IP-Ranges, ASN-Prüfung und die Googlebot-Imitation

Semrush ist eines der größten SEO-/Backlink-Tools — und sein Crawler gehört zu den aktivsten kommerziellen Bots im Web. Hier die verifizierten IP-Ranges (Teil unseres PARC-Security-Feeds) und, wichtiger noch: wie man den Bot sicher erkennt. Denn Semrush crawlt seit Jahren auch mit gefälschtem Googlebot-User-Agent — eine Erkennung allein über den User-Agent ist daher wertlos.

semrush.json — Feed ansehen   Offizielle Semrush-Bot-Seite →

Die verifizierten Ranges

Insgesamt 1.539 IPs in 6 × /24 plus 3 einzelnen /32:

85.208.96.0/24      185.170.167.0/24
85.208.97.0/24      185.191.171.0/24
85.208.98.0/24      46.229.173.66/32
85.208.99.0/24      46.229.173.67/32
                    46.229.173.68/32

Wir haben die Liste gegen Hoster-, Foren- und Abuse-Quellen in über 40 Sprachen abgeglichen (offizielle Semrush-KB, AbuseIPDB, Netify, CleanTalk sowie russische, chinesische, koreanische und bulgarische Hosting-Foren). Ergebnis: keine einzige dort dokumentierte Semrush-Crawler-IP lag außerhalb dieser sechs /24 + drei /32. Der Feed deckt die weltweit dokumentierten Ranges vollständig ab.

Belegte Sichtungen (Auswahl) und ihr Abgleich gegen den Feed:

Last-Impact

In Hoster-Auswertungen (u. a. bulgarische und russische Hosting-Foren) taucht SemrushBot regelmäßig als spürbare Last auf — Stichproben mit ~42.000 Requests in zwei Stunden pro Server, einzelne URLs mehrfach hundertfach getroffen, ~500 MB RAM dauerhaft pro vHost (nach dem Block fällt der Verbrauch auf ~50 MB). Zusammen mit AhrefsBot bis zu 40 % des Request-Volumens betroffener vHosts. In russischen und ukrainischen Hoster-Foren wird der Bot über Jahre hinweg übereinstimmend als DDoS-artige Last beschrieben (vollständige Site-Scans mehrfach pro Woche). Ob man Semrush allowlistet oder blockt, ist eine bewusste Entscheidung.

Erkennung: niemals per User-Agent, immer per Source-IP

Semrush selbst sagt es deutlich: „verification of their bots boils down to validation by ASN check, with the IP addresses needing to be in AS209366". Der Grund ist unbequem — Semrush imitiert seit mindestens 2019 den Googlebot-User-Agent von eigenen IPs aus:

• 2019 — GitHub-Issue nginx-ultimate-bad-bot-blocker #328: SiteAudit-IPs aus 46.229.173.x mit Googlebot-User-Agent und PTR siteaudit.crawler.semrush.com.
• 2021 — John Mueller (Google), „Bots that impersonate Googlebot".
• 2025-11-04 — op111.net Live-Log: 85.208.98.228 crawlt mit Googlebot-User-Agent, PTR 101.siteaudit.bot.semrush.com.

Konsequenz: Crawler-Validierung nie nur per User-Agent. Immer die Source-IP gegen die ASN bzw. gegen diesen Feed prüfen.

ASN-Quellen

• AS209366 — SEMrush CY LTD (RIPE): Semrush' eigene ASN, originiert 5 der /24 (85.208.96/97/99.0/24, 185.170.167.0/24, 185.191.171.0/24). BGP + RIPE + RPKI valid. Semrush rotiert innerhalb der Allokation und setzt PTR nur auf den aktuell aktiven Crawler-IPs.
• AS396982 — Google LLC / GCP (ARIN): MOAS-Origin für 85.208.98.0/24. Das RIPE-Route-Objekt ist AS209366 (Semrush), das BGP-Announcement läuft über Google Cloud — Semrush hostet diesen Block auf GCP.
• AS39572 — DataWeb Global Group B.V. (RIPE): langjähriger NL-Hosting-Partner. Die drei /32 46.229.173.66/67/68 sind bidirektional FCrDNS-bestätigt als siteaudit.bot.semrush.com und daher einzeln im Feed — der Rest dieser Allokation gehört fremden Hostingkunden (siehe unten).
• AS30161 — Semrush Inc. (ARIN, US-Tochter): 2020 allokiert, aber seit Dezember 2018 nicht mehr im globalen BGP propagiert (0 originierte Prefixes) — Reserve-/Zombie-ASN ohne operative IPs. Der Vollständigkeit halber gelistet, kein Block-Impact.

FCrDNS-Methodik und Ergebnis

Zusätzlich zur ASN-Prüfung scannen wir alle 1.536 IPs der sechs /24 plus die 256 IPs in 46.229.173.0/24 per Vor- und Rückwärts-DNS (Resolver 8.8.8.8 und 1.1.1.1), Suffix-Match *.bot.semrush.com mit Forward-Verifikation zurück auf die Original-IP.

Verteilung der aktiven Crawler-PTRs:

Die drei PTR-leeren /24 sind ASN-allokiert, aber ohne aktive Crawler-PTRs — Reserve bzw. Outgoing-NAT. Sie bleiben im Feed, weil Semrush innerhalb der Allokation rotiert.

User-Agent-Tokens

Zwölf bekannte Tokens: SemrushBot, SiteAuditBot, SemrushBot-BA, SemrushBot-SI, SemrushBot-SWA, SemrushBot-BM, SemrushBot-CT, SplitSignalBot, SemrushBot-OCOB, SemrushBot-FT, RyteBot, SemrushBot-ESI. SemrushBot-BM (Backlink Monitoring) korreliert mit dem PTR-Sub-Pool *.bm.bot.semrush.com aus dem FCrDNS-Scan oben; SemrushBot-CT ist das Content-Marketing-Toolkit.

Per robots.txt blockierbar (Beispiel: User-agent: SemrushBot → Disallow: /). Semrush unterstützt allerdings kein crawl-delay. Die Versionskennung im User-Agent ist über die Jahre von SemrushBot/2~bl (bis ~2021) auf heute SemrushBot/7~bl gewandert — beide können in älteren Logs auftauchen.

Historische Ranges — bewusst NICHT im Feed

46.229.160.0/20 und 192.243.48.0/20 (AS39572 DataWeb) waren bis 2019/2020 Semrush’ Stealth-Crawler-Pool unter dem alten rDNS-Suffix crawler.semrush.com. Heute sind sie formal DataWeb-Hosting-Allokation mit buntem Mix fremder Kunden (Affiliate-Tracking, Adult, Casino, DGA-Cluster) und nur noch ~10 Semrush-Service-IPs. Ein Block der kompletten /20 wäre Kollateralschaden — die drei nachweislich aktiven SiteAudit-/32 sind separat aufgenommen, der Rest bleibt draußen.

Adobe-Übernahme

Adobe hat Semrush am 28. April 2026 abgeschlossen übernommen. Mittelfristig sind Migrationen Richtung Adobe-Infrastruktur möglich — wir behalten die Feed-Pflege im Auge und revalidieren regelmäßig.

Quellen

• Semrush Bot — offiziell
• Semrush Site-Audit-Troubleshooting
• BGP.he.net — AS209366 SEMrush CY LTD
• BGP.he.net — AS30161 Semrush Inc. (inaktiv)
• Jump.bg — Bot-Last und Schutz (Last-Daten)
• BGP.he.net — 85.208.98.0/24 (MOAS)
• Netify — Semrush Bot Crawler Info
• GitHub #328 — Semrush als Fake-Googlebot (2019)
• John Mueller — Bots that impersonate Googlebot
• Adobe schließt Semrush-Übernahme ab (April 2026)

← Zurück zu PARC Security   Kontakt aufnehmen