HTTrack uses a Web crawler to download a website.
Für das Herunterladen nutzt HTTrack einen sogenannten Webcrawler.
Outbound links also helps the web crawler to determine the site's theme.
Zudem helfen ausgehende Links dem Webcrawler, das Thema einer Seite einzugrenzen.
The framework is based on a Web intermediary for analyzing and modifying transferred data and a programmable Web crawler, which compiles additional relevant information for users based on rules.
Das Framework beruht auf einem Web-Intermediary zur Analyse und Modifikation übertragener Daten und einem programmierbaren Web-Crawler, der regelbasiert Informationen für Anwender zusammenstellen kann.
But the decision to revisit a URL - however much resources you have - is a matter of compromise for a web crawler.
Aber die Entscheidung, eine URL erneut aufzurufen - egal wie viele Ressourcen Sie haben - ist für einen Web-Crawler eine Frage des Kompromisses.
Sitemaps show a web crawler which pages they can crawl.
Sitemaps zeigen einem Webcrawler, welche Seiten gecrawlt werden können.
Websites are archived four times a year using a web crawler.
Websites werden viermal jährlich mit einem Webcrawler archiviert.
But check out what my little web crawler has caught up.
Aber! Seht mal, was mein kleiner Webcrawler gefunden hat.
So by the end of unit three we'll have built a web crawler.
Am Ende der dritten Einheit werden wir also einen Webcrawler konstruiert haben.
Meta tags give a search engine's web crawler information and instructions relating to a website.
Metatags geben dem Webcrawler der Suchmaschinen Hinweise und Anweisungen zu einer Website.
So that's what we want to do to build a web crawler.
Das wollen wir also machen, um einen Webcrawler zu bauen
What a web crawler is, it's a program that collects content from the web.
Ein Webcrawler ist ein Programm, das Inhalte aus dem Netz sammelt.
What the web crawler, however, cannot understand, is the user group being appealed to.
Was die Webcrawler jedoch nicht kennen, ist die angesprochene Nutzergruppe.
The web crawler will visit the website periodically and look for new content for its index.
Der Webcrawler wird die Webseite regelmäßig besuchen und nach neunen Inhalten für den Index suchen.