There are no settings to make in the proxy or the user-agent.
It is not recommended to serve different robots.txt files based on the user-agent or other attributes.
No es recomendable presentar diferentes archivos robots.txt en función del agente de usuario o de otros atributos.
The group is terminated by a user-agent line or end of file.
El grupo se termina con una línea de usuario-agente o con el final de archivo.
The current literature highlights the user-agent interaction as a new form of collaboration, given the pro-activity and autonomy of agents.
Literatura reciente destaca la interacción usuario-agente en forma de colaboración, dada la pro-actividad y autonomía de los agentes.
The user-agent may update its cached headers for this resource with the new ones.
El agente de usuario puede actualizar sus encabezados en caché para este recurso con los nuevos valores.
If you do not define a group for the custom user-agent in your robots.txt file, the default set in the group apply.
Si no define un grupo para el agente de usuario personalizado en su archivo robots.txt, se aplicará el conjunto predeterminado del grupo.
Letting the browser choose a format is simpler, quicker, and potentially more reliable than using a server-side support database with user-agent detection.
Dejar que el navegador elija el formato es más simple, rápido y posiblemente más fiable que usar una base de datos en un servidor con detección de usuario-agente.
Select the user-agent you want to simulate in the dropdown list to the right of the text box.
Selecciona el agente de usuario que quieras simular en la lista desplegable que hay a la derecha del cuadro de texto.
The crawler must determine the correct group of records by finding the group with the most specific user-agent that still matches.
El rastreador debe determinar cuál es el grupo de registros correcto buscando el que tenga el usuario-agente más específico con el que coincida.
A user-agent (e.g., a speech reader) may be present in front of the description.
Un usuario-agente (e.g., a speech reader) puede estar presente en frente de la descripción.
Specific crawlers are also known as user-agents (a crawler uses its user-agent to request a page.)
Los rastreadores específicos también se conocen como "usuarios-agentes" (un rastreador utiliza su usuario-agente para solicitar acceso a una página).
You can specify the behavior per bot (user agent) by indicating a user-agent name.
Puedes indicar un nombre de usuario-agente para especificar el comportamiento por bot (usuario-agente).
Change the user-agent while running your test and convert a self-signed certificate to a trusted certificate
Cambiar el agente de usuario durante la ejecución de la prueba y convertir un certificado autofirmado a un certificado de confianza