![Crawler-Steuerung mit robots.txt – Regeln verstehen und Auswirkungen kennen](https://www.afs-akademie.org/wp-content/uploads/2024/08/Titelbild-Crawler_Steuerung-mit-robots.txt-377x212.png)
1. Kurzeinführung Üblicherweise interessieren sich nur zwei Parteien für diese unscheinbare Textdatei: Entweder Crawler oder Personen, die sich mit Suchmaschinenoptimierung befassen. Wenn du diesen Artikel liest, gehörst du vermutlich zu einer dieser Parteien. Wenn du ein Crawler bist, dann befolgst du hoffentlich bereits die Regeln aus dem Robots Exclusion Protocol. Wenn du ein Mensch bist, […]