Darüber hinaus kann das Crawlen und Indexieren eurer Bilder länger dauern.
Diese Strategie wird die Indizierung und das Crawlen durch Suchmaschinen verbessern.
This strategy will improve its indexing and crawling by search engines.
Standardmäßig gibt es keine Beschränkungen für das Crawlen durch bestimmte Crawler.
By default, there are no restrictions for crawling for the designated crawlers.
Diese Meta-Tags können die Funktionsweise beim Crawlen und Indexieren durch Suchmaschinen steuern.
These meta tags can control the behavior of search engine crawling and indexing.
Um das Crawlen in Aktion zu sehen, kannst Du dieses Tool verwenden.
To see a crawl in action, you can use this tool.
Geben Sie das Verhalten für das Crawlen dieses Inhaltstyps an.
Specify the behavior for crawling this type of content.
Verwenden Sie erweiterte Einstellungen, um Regeln für das Crawlen festzulegen.
Google verarbeitet diese Informationen beim Crawlen Ihrer Seite.
Google processes this information when it crawls your page.
Google hat möglicherweise Probleme beim Crawlen Ihrer Website.
Google might have problems crawling your site.
Wenn das Crawlen erlaubt ist, kann der Seitenabruf aus anderen Gründen dennoch fehlschlagen.
If crawling is allowed, page fetch might still fail for various reasons.
Falls das Crawlen nicht erlaubt ist, wird in diesem Feld immer ein Fehler angezeigt.
If crawling is not allowed, this field will always show a failure.
Selbstverständlich hat dieses Modul keinen Einfluss auf das Crawlen von Suchmaschinen.
Of course, this module has no influence on the crawling of search engines.
Beispielsweise ist es sinnvoll, das Crawlen der Skripts von unendlichen Kalendern zu unterbinden.
For example, you may want to disallow crawling of infinite calendar scripts.
