You can work around this situation by spoofing the user-agent string.
Vous pouvez contourner cette situation en usurpant la chaîne user-agent.
The user-agent performs local lookups whenever a binary file is downloaded.
Le user-agent effectue une vérification locale lorsqu'un fichier binaire est téléchargé.
If there is no such record, it will obey the first entry with a User-agent of" ".
En l'absence d'un tel enregistrement, il suit la règle de la première entrée avec agent utilisateur « ».
User-agent or user should choose one of them.
Redirection Checker Check status code and redirection of your website based on user-agent.
Vérifiez le code d'état et la redirection de votre site web basé sur utilisateur-agent.
Random User-Agent strings is another tactic that is often used by click fraudsters.
Les cordes aléatoires d'Utilisateur-Agent est une autre tactique qui est souvent employée par des fraudeurs de clic.
At least one disallow line must be present for each User-agent directive to be correct.
Au moins une ligne disallow doit être présente pour chaque directive User-agent directive pour que ce soit correct.
The character ( ) is allowed only in the User-agent field.
L'astérisque ( ) quant à elle est acceptée uniquement dans le champ User-agent.
A robots.txt file consists of one or more blocks of rules, each beginning with a User-agent line that specifies the target of the rules.
Un fichier robots.txt se compose d'un ou de plusieurs blocs de règles, chacun commençant par une ligne User-agent qui indique la cible des règles.
User agent token is used in the User-agent: line in robots.txt to match a crawler type when writing crawl rules for your site.
Le jeton user-agent est utilisé dans la ligne User-agent: du fichier robots.txt pour correspondre à un type de robot d'exploration lors de l'écriture des règles d'exploration pour votre site.
These rules apply to all bots (note the "User-agent: " string).
Ces règles s'appliquent à tous les robots (comme indiqué par la chaîne "User-agent: ").
A robots.txt file consists of one or more groups, each beginning with a User-agent line that specifies the target of the groups. Here is a file with two group; inline comments explain each group
Un fichier robots.txt se compose d'un ou de plusieurs groupes, chacun commençant par une ligne User-agent qui indique la cible des règles. Voici un fichier comprenant deux groupes. Les commentaires intégrés expliquent chacun d'eux
In the first example, the User-agent will be logged if the HTTP status code is 400 or 501.
Dans le premier exemple, le User-agent sera enregistré si le code d'état HTTP est 400 ou 501.