The web crawler we're building is focused on simplicity.
For a real web crawler, this is a big challenge.
Today, I built a web crawler that auto-populates a spreadsheet with stock prices.
Hoy, creé una araña web que rellena automáticamente una hoja de cálculos con precios de inventario.
The discovery approach is analogous to the front of exploration in a web crawler and it is able to find the most similar instances to the available seeds.
Este procedimiento es semejante al frente de exploración de una araña web y permite encontrar las instancias más parecidas a las semillas con las evidencias disponibles.
So that's what we want to do to build a web crawler.
Así que eso es lo que queremos hacer para construir un rastreador web.
Add some keywords to it to get noticed by the web crawler.
Agregue un poco de palabras clave para darse a conocer por el rastreador web.
Understand how a web crawler chooses which pages to crawl
Entender cómo elige un rastreador web las páginas que va a rastrear
I couldn't find if they use their own web crawler but they are worth mentioning.
No pude encontrar si usan su propio rastreador web pero merece la pena mencionarlos.
There are also many less common web crawler bots, some of which aren't associated with any search engine.
También hay muchos bots de rastreador web menos comunes, algunos que incluso no están asociados con un motor de búsqueda.
And all the pages that we can find with our web crawler are found by following the links.
Y todas las páginas que podemos encontrar con nuestro rastreador web se encuentran siguiendo los enlaces.
This is the alphabetically ordered list of generic search engines that have their own web crawler
Esta es la lista en orden alfabético de buscadores genéricos que tienen un rastreador web propio
And, one concrete example of that I'll give you from building a web crawler
Y, les daré un ejemplo en concreto desde la perspectiva de la creación de un rastreador web.
However, a web crawler will follow certain policies that make it more selective about which pages to crawl, in what order to crawl them, and how often they should crawl them again to check for content updates.
Sin embargo, un rastreador web seguirá ciertas políticas que lo hacen más selectivo acerca de qué páginas rastrear, en qué orden hacerlo y con qué frecuencia debe rastrearlas nuevamente para buscar actualizaciones de contenido.