# =================================== # Generator: http://pixelfolk.net/tools/robots # Erstellt am: 25.11.2019, 14:54 # Webseite: https://http://hering-mt.de/ # =================================== Sitemap: https://hering-mt.de/share/sitemap.xml # =================================== # Folgende Seiten sollen nicht indexiert werden: # =================================== User-agent: * Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /temp/ Disallow: /files/Broschüren_PDF/ # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: WebReaper User-agent: WebCopier User-agent: Offline Explorer User-agent: HTTrack User-agent: Microsoft.URL.Control User-agent: EmailCollector User-agent: penthesilea Disallow: /