Meta-Crawler (Facebook · Instagram · WhatsApp · Threads) — die 5 Bots, ASN-Verifikation und IP-Ranges
von Shopbetreibern für Shopbetreiber.
Die fünf Crawler von Meta Platforms (FacebookExternalHit, Meta-WebIndexer, Meta-ExternalAds, Meta-ExternalAgent, Meta-ExternalFetcher) — zum Allowlisten oder Blocken, warum Meta keine offizielle IP-Liste publiziert und wie der PARC-Feed die Prefixes aller fünf Meta-ASNs (AS-FACEBOOK) aggregiert.
Meta Platforms betreibt für Facebook, Instagram, Messenger, Threads und WhatsApp fünf verschiedene Crawler — vom harmlosen Link-Preview-Bot bis zum AI-Training-Scraper. Meta publiziert die User-Agent-Tokens offiziell, aber keine IP-Liste: Verifikation läuft laut Meta-Doku über die ASN. Hier die fünf Bots, was man mit ihnen tun sollte, und wie unser PARC-Security-Feed die Ranges aller fünf Meta-ASNs zusammenfasst.
meta.json — Feed ansehen Offizielle Meta-Crawler-Doku →
Die fünf Meta-Crawler
| Crawler | User-Agent | Zweck | robots.txt |
|---|---|---|---|
| FacebookExternalHit | facebookexternalhit/1.1 | Link-Previews beim Teilen (Open Graph) | kann sie bei Security-/Integrity-Checks ignorieren |
| Meta-WebIndexer | meta-webindexer/1.1 | Indexierung für Meta-AI-Search | befolgt robots.txt |
| Meta-ExternalAds | meta-externalads/1.1 | Werbe-/Geschäfts-Optimierung | befolgt robots.txt |
| Meta-ExternalAgent | meta-externalagent/1.1 | AI-Training (Llama u. a.) + AI-Indexierung | befolgt robots.txt |
| Meta-ExternalFetcher | meta-externalfetcher/1.1 | user-getriggerte AI-Fetches | umgeht robots.txt (user-getriggert) |
Allowlisten oder blocken?
Anders als ein Security-Scanner ist Meta nicht pauschal „rein oder raus" — die fünf Crawler haben unterschiedliche Use-Cases (siehe Tabelle oben): FacebookExternalHit erzeugt die Link-Previews beim Teilen auf Facebook/Instagram/WhatsApp, Meta-WebIndexer betrifft die Sichtbarkeit in Meta-AI-Search, Meta-ExternalAgent und Meta-ExternalFetcher AI-Training bzw. user-getriggerte AI-Fetches (Meta-ExternalFetcher umgeht robots.txt), Meta-ExternalAds die Ads-Optimierung.
Der Feed liefert die IP-Basis; die Feinsteuerung pro Crawler läuft über den User-Agent.
Keine offizielle IP-Liste — Verifikation per ASN
Meta veröffentlicht keine IP-Liste wie Google oder Cloudflare. Die offizielle Doku sagt klar: „You should not rely solely on the user-agent and should also verify that the IP address is linked to AS32934 (Facebook, Inc.)." User-Agent allein ist also wertlos (trivial fälschbar) — die belastbare Prüfung ist die ASN-Zugehörigkeit.
Das ist für Operatoren mit ASN-fähiger Firewall einfach. Für Setups ohne ASN-Block-Support (z. B. SafeLine WAF) braucht es aber eine flache IP-Liste — und genau die liefert dieser Feed, aggregiert aus allen Meta-ASNs.
ASN-Konstellation (AS-SET AS-FACEBOOK)
Meta pflegt im RADB ein AS-SET AS-FACEBOOK (Maintainer MAINT-AS32934, noc@fb.com), das fünf ASNs zusammenfasst:
- AS32934 — Facebook, Inc.: Haupt-Backbone (US), der Großteil der Prefixes. Dies ist die ASN, gegen die Meta die Crawler-Verifikation empfiehlt.
- AS54115 — Facebook (Corporate): US, kleinere Allokation inkl. der Sub-Allocation AS-FACEBOOK-CORP.
- AS63293 — Meta (CDN Network): US, das CDN-/Edge-Netz.
- AS34825 — Facebook Israel Ltd: IL (ehem. Onavo), nur IRR-Eintrag, derzeit BGP-inaktiv — der Vollständigkeit halber aufgenommen.
- AS11917 — WhatsApp: US, ebenfalls nur IRR, BGP-inaktiv.
Verifikation: ASN plus PTR-Muster
Neben dem ASN-Match lassen sich viele Meta-Edge-IPs auch per FCrDNS bestätigen. Das (nicht offiziell dokumentierte, aber im Feld stabile) PTR-Schema:
edge-{typ}-shv-{NN}-{stadt}{idx}.facebook.com— z. B.edge-dgw-shv-02-fra3.facebook.com(Frankfurt),edge-secure-shv-01-iad3.facebook.comxx-fbcdn-shv-{NN}-{stadt}.fbcdn.net— CDN-Front-End
Wie bei BitSight ist ein Teil der IPs FCrDNS-aktiv (Edge-Server für End-User-Traffic), ein anderer Teil PTR-leer (Backend-/Crawler-Worker ohne öffentliche Auflösung). Alle gehören zu AS-FACEBOOK — deshalb ist im Feed der ASN-Ansatz die verlässliche Basis, nicht ein reiner FCrDNS-Filter.
Wie der Feed entsteht
75 IPv4-Prefixes + 42 IPv6-Prefixes = 117 Einträge
Quellen und Schritte:
- Offizielle Meta-Crawler-Doku → fünf User-Agents (keine IP-Liste).
- AS-SET
AS-FACEBOOKaus dem RADB (von Meta selbst gepflegt) → fünf Member-ASNs. - RIPE-Stat
announced-prefixesje ASN für die BGP-aktiven Netze (AS32934/54115/63293). - RIPE-Stat
as-routing-consistencyfür die zwei IRR-only-ASNs (AS34825 + AS11917). - CIDR-Aggregation (
netaddr.IPSet) — fasst benachbarte /24 zu /22, /21 usw. zusammen und reduziert die Listenlänge um über 60 % (aus ~300+ Sub-Allocations werden 75 IPv4-Prefixes).
So bleibt der Feed kurz, deckt aber den gesamten Meta-Adressraum ab.