Sitemaps zeigen einem Webcrawler, welche Seiten gecrawlt werden können.
Sitemaps show a web crawler which pages they can crawl.
Zudem helfen ausgehende Links dem Webcrawler, das Thema einer Seite einzugrenzen.
Outbound links also helps the web crawler to determine the site's theme.
Robozilla ist ein Webcrawler, der das Verzeichnis regelmäßig auf nicht mehr funktionierende und veraltete Links überprüft.
Robozilla is a webcrawler that periodically scans the directory for broken and outdated links.
Falls nun der Webcrawler die Datei spider-trap/index.php anfordert wird der Client für die Seite gesperrt.
If webcrawler demand the file spider-trap/index.php so he is blocked for the website...
Websites werden viermal jährlich mit einem Webcrawler archiviert.
Websites are archived four times a year using a web crawler.
Webcrawler sind so programmiert, dass sie solchen ausgehenden Hyperlinks folgen.
Aber! Seht mal, was mein kleiner Webcrawler gefunden hat.
But check out what my little web crawler has caught up.
Die meisten Webcrawler halten sich an das Robots-Exclusion-Standard-Protokoll.
Most web crawlers adhere to the robots exclusion standard protocol.
Webcrawler und Suchmaschinen sind beispielsweise Bots.
Am Ende der dritten Einheit werden wir also einen Webcrawler konstruiert haben.
So by the end of unit three we'll have built a web crawler.
Metatags geben dem Webcrawler der Suchmaschinen Hinweise und Anweisungen zu einer Website.
Meta tags give a search engine's web crawler information and instructions relating to a website.
Das wollen wir also machen, um einen Webcrawler zu bauen
So that's what we want to do to build a web crawler.
Was die Webcrawler jedoch nicht kennen, ist die angesprochene Nutzergruppe.
What the web crawler, however, cannot understand, is the user group being appealed to.
