Cómo bloquear Bots Maliciosos utilizando User Agents y Cloudflare

Si tienes una página web, seguro que te has pasado por los logs de Apache o Nginx y has empezado a ver cómo han pasado por tu web multitud de Bad Bots para hacer scraping de tu contenido, pera análisis SEO, para comprobaciones de seguridad, spamming… De todo. Y, aunque no puedes bloquear todos sus intentos (hay cientos de bots recorriendo internet), sí que puede minimizar el impacto en tu web mediante la configuración de unas sencillas reglas en Cloudflare (o en tu archivo .htaccess del servidor).

¿Por qué prefiero hacerlo en Cloudflare? Primero, porque este dominio está gestionado mediante los DNS de Cloudflare. Segundo, porque es mejor bloquear estos bots gracias a la infraestructura de Cloudflare y en nuestro servidor: nos ahorramos recursos. Cloudflare proporciona protección a nivel de red, incluyendo mitigación de ataques DDoS y otras amenazas antes de que lleguen a tu servidor, y la gestión de sus reglas es muy sencilla. Te vas a tu panel de control y todo viene muy bien explicado. Además, te va a ofrecer estadísticas de los bloqueos.

• Te puede interesar: Cómo bloquear bots, SPAM y tráfico malicioso con el firewall CSF y LFD

¿Quieres comprobar si estás afectado por el tráfico de estos Bots maliciosos? Solo tienes que ir a los logs de tu servidor. Si tienes Apache, normalmente las puedes encontrar en:

/var/log/apache2/access.log
/var/log/httpd/access.log

Dependiendo de tu sistema operativo Linux (Debian, Ubuntu o Red Hat, Rocky Linux, Alma Linux). Si usas PHP-FPM en tu servidor, estos logs se pueden haber trasladado a logs individuales:

/var/log/php-fpm/ejemplo_access.log

En esos logs, vas a encontrar todos los User Agents (Agentes de usuario) de todos los bots que visitan tu web.

¡Ojo! Lo que para mí puede ser un bot malicioso, a lo mejor para ti no lo es. Tienes que adaptar estas reglas a tu entorno. Un ejemplo. ¿Usas herramientas SEO como Ahrefs o SEMrush? Pues entonces debes quitar sus User Agents del listado. Luego te cuento más.

Vale. Mucha gente opta por incluir reglas de bloqueo directamente en .htaccess en su servidor, como por ejemplo las que ofrecen en Perishable Press y su 8G Firewall Addon. Esta configuración tiene muchas opciones, pero hay una específica para User Agents:

# 8G FIREWALL v1.3 20240222
# https://perishablepress.com/8g-firewall/

# 8G:[USER AGENT]
<IfModule mod_rewrite.c>

	RewriteCond %{HTTP_USER_AGENT} ([a-z0-9]{2000,}) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (&lt;|%0a|%0d|%27|%3c|%3e|%00|0x00|\\\x22) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (ahrefs|archiver|curl|libwww-perl|pycurl|scan) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (oppo\sa33|(c99|php|web)shell|site((.){0,2})copier) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (base64_decode|bin/bash|disconnect|eval|unserializ) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (acapbot|acoonbot|alexibot|asterias|attackbot|awario|backdor|becomebot|binlar|blackwidow|blekkobot|blex|blowfish|bullseye|bunnys|butterfly|careerbot|casper) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (checkpriv|cheesebot|cherrypick|chinaclaw|choppy|clshttp|cmsworld|copernic|copyrightcheck|cosmos|crescent|datacha|(\b)demon(\b)|diavol|discobot|dittospyder) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (dotbot|dotnetdotcom|dumbot|econtext|emailcollector|emailsiphon|emailwolf|eolasbot|eventures|extract|eyenetie|feedfinder|flaming|flashget|flicky|foobot|fuck) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (g00g1e|getright|gigabot|go-ahead-got|gozilla|grabnet|grafula|harvest|heritrix|httracks?|icarus6j|jetbot|jetcar|jikespider|kmccrew|leechftp|libweb|liebaofast) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (linkscan|linkwalker|loader|lwp-download|majestic|masscan|miner|mechanize|mj12bot|morfeus|moveoverbot|netmechanic|netspider|nicerspro|nikto|ninja|nominet|nutch) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (octopus|pagegrabber|petalbot|planetwork|postrank|proximic|purebot|queryn|queryseeker|radian6|radiation|realdownload|remoteview|rogerbot|scan|scooter|seekerspid) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (semalt|siclab|sindice|sistrix|sitebot|siteexplorer|sitesnagger|skygrid|smartdownload|snoopy|sosospider|spankbot|spbot|sqlmap|stackrambler|stripper|sucker|surftbot) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (sux0r|suzukacz|suzuran|takeout|teleport|telesoft|true_robots|turingos|turnit|vampire|vikspider|voideye|webleacher|webreaper|webstripper|webvac|webviewer|webwhacker) [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} (winhttp|wwwoffle|woxbot|xaldon|xxxyy|yamanalab|yioopbot|youda|zeus|zmeu|zune|zyborg) [NC]

	RewriteRule .* - [F]

	# RewriteRule .* /nG_log.php?log [END,NE,E=nG_USER_AGENT:%1]

</IfModule>

Es una opción a considerar adaptando las reglas a tus necesidades. En mi caso, prefiero la opción de Cloudflare, pero los User Agents que han elegido en Perishable Press te pueden servir de guía para crear tu propia lista. Es un listado con relativamente pocos User Agents y es bastante manejable.

Si quieres listados más grandes, también los tienes, por ejemplo, el de https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/blob/master/_generator_lists/bad-user-agents.list, con casi 700 User Agents. ¡Ojo! Nunca es recomendable ponerlos tal cual. Analiza tus necesidades. También puedes consultar: https://community.cloudflare.com/t/top-50-user-agents-to-block/222594.

¿Puedes hacer estos bloqueos en robots.txt? Puedes intentarlo, pero muchos de ellos se lo van a saltar a la torera. Este archivo debe estar ubicado en la raíz de tu servidor web (por ejemplo, https://www.tusitio.com/robots.txt) y tendrías que poner algo como esto:

User-agent: ahrefs
Disallow: /

User-agent: alexibot
Disallow: /

User-agent: aspiegelbot
Disallow: /

• También te puede interesar: Cómo configurar las Cache Rules de Cloudflare para WordPress o Cache Everything en las nuevas Cache Rules de Cloudflare

Configuración en Cloudflare para bloquear Bots Maliciosos utilizando User Agents

¿De verdad tenemos que hacer todo esto si Cloudflare ya tiene un par de modos de luchar contra los bots: Bot Fight Mode y Super Bot Fight Mode? Pues sí, porque entre los «buenos bots» que tienen en su listado tenemos algunas opciones que no me gustan nada, cómo AhrefsBot, DataForSEO, ContentKing, Botify o Awario. ¡Ojo! Siempre puedes personalizar la regla del WAF con (cf.client.bot), que llama directamente a su listado. Puede ser útil en algunas ocasiones. El problema es que está lista no está publicada en su totalidad, así que no podemos saber si hay otros bots que no nos gusten.

Lo primero que tienes que tener en cuenta, es que las reglas del WAF de Cloudflare solo pueden contener hasta 4000 caracteres, y que no admiten Regex en sus planes gratuitos (solo en los empresariales).

Vale. Lo primero que tenemos que hacer es ir al panel de Cloudflare, sección Security > WAF:

En mi caso, ya tengo configuradas tres reglas. Las dos primeras las tengo con User Agents que ya he comprobado que me afectan, y que no rompen nada de mi configuración. En la tercera regla, pruebo nuevos User Agents y veo de vez en cuando que están bloqueando. En las estadísticas ves los bloqueos de las últimas 24 horas. En mi caso no he puesto bloqueo, sino que se les presenta a estos bots un desafío Managed Challenge, que normalmente es suficiente para pararlos. Lo he dejado así por si hay algún falso positivo.

¿Qué tienes que hacer tú? Pincha en Create Rule y copia lo siguiente. Lo he dividido en tres reglas. Analízalas y decide si quieres usar los mismos User Agents que yo. Es decir, tienes que crear 3 reglas diferentes y pegar en cada una de ellas una de estas configuraciones de bloqueo (tienes que ponerlo en Edit Expression):

Regla 1

(http.user_agent contains "ahrefs") or (http.user_agent contains "acapbot") or (http.user_agent contains "acoonbot") or (http.user_agent contains "alexibot") or (http.user_agent contains "asterias") or (http.user_agent contains "attackbot") or (http.user_agent contains "awario") or (http.user_agent contains "backdor") or (http.user_agent contains "becomebot") or (http.user_agent contains "binlar") or (http.user_agent contains "blackwidow") or (http.user_agent contains "blekkobot") or (http.user_agent contains "blex") or (http.user_agent contains "blowfish") or (http.user_agent contains "bullseye") or (http.user_agent contains "bunnys") or (http.user_agent contains "butterfly") or (http.user_agent contains "careerbot") or (http.user_agent contains "casper") or (http.user_agent contains "whatcms") or (http.user_agent contains "trendictionbot") or (http.user_agent contains "linkfluence") or (http.user_agent contains "magpie-crawler") or (http.user_agent contains "mediatoolkitbot") or (http.user_agent contains "aspiegelbot") or (http.user_agent contains "domainstatsbot") or (http.user_agent contains "cincraw") or (http.user_agent contains "nimbostratus") or (http.user_agent contains "checkpriv") or (http.user_agent contains "cheesebot") or (http.user_agent contains "cherrypick") or (http.user_agent contains "chinaclaw") or (http.user_agent contains "choppy") or (http.user_agent contains "clshttp") or (http.user_agent contains "cmsworld") or (http.user_agent contains "copernic") or (http.user_agent contains "copyrightcheck") or (http.user_agent contains "cosmos") or (http.user_agent contains "crescent") or (http.user_agent contains "datacha") or (http.user_agent contains "demon") or (http.user_agent contains "diavol") or (http.user_agent contains "discobot") or (http.user_agent contains "dittospyder") or (http.user_agent contains "dotbot") or (http.user_agent contains "dotnetdotcom") or (http.user_agent contains "dumbot") or (http.user_agent contains "econtext") or (http.user_agent contains "emailcollector") or (http.user_agent contains "emailsiphon") or (http.user_agent contains "emailwolf") or (http.user_agent contains "eolasbot") or (http.user_agent contains "eventures") or (http.user_agent contains "extract") or (http.user_agent contains "eyenetie") or (http.user_agent contains "feedfinder") or (http.user_agent contains "flaming") or (http.user_agent contains "flashget") or (http.user_agent contains "flicky") or (http.user_agent contains "foobot") or (http.user_agent contains "fuck") or (http.user_agent contains "g00g1e") or (http.user_agent contains "getright") or (http.user_agent contains "gigabot") or (http.user_agent contains "go-ahead-got") or (http.user_agent contains "gozilla") or (http.user_agent contains "grabnet") or (http.user_agent contains "grafula") or (http.user_agent contains "harvest") or (http.user_agent contains "heritrix") or (http.user_agent contains "httrack") or (http.user_agent contains "icarus6j") or (http.user_agent contains "jetbot") or (http.user_agent contains "jetcar") or (http.user_agent contains "jikespider") or (http.user_agent contains "kmccrew") or (http.user_agent contains "leechftp") or (http.user_agent contains "libweb") or (http.user_agent contains "liebaofast") or (http.user_agent contains "linkscan") or (http.user_agent contains "linkwalker") or (http.user_agent contains "loader") or (http.user_agent contains "lwp-download") or (http.user_agent contains "majestic") or (http.user_agent contains "masscan") or (http.user_agent contains "miner") or (http.user_agent contains "mechanize") or (http.user_agent contains "mj12bot") or (http.user_agent contains "morfeus") or (http.user_agent contains "moveoverbot") or (http.user_agent contains "netmechanic") or (http.user_agent contains "netspider") or (http.user_agent contains "nicerspro") or (http.user_agent contains "nikto")

• Acción a elegir: Te recomiendo Managed Challenge o Block.
• Le das a Deploy para que se ponga en marcha.

Regla 2

(http.user_agent contains "ninja") or (http.user_agent contains "nominet") or (http.user_agent contains "nutch") or (http.user_agent contains "octopus") or (http.user_agent contains "pagegrabber") or (http.user_agent contains "petalbot") or (http.user_agent contains "planetwork") or (http.user_agent contains "postrank") or (http.user_agent contains "proximic") or (http.user_agent contains "purebot") or (http.user_agent contains "queryn") or (http.user_agent contains "queryseeker") or (http.user_agent contains "radian6") or (http.user_agent contains "radiation") or (http.user_agent contains "realdownload") or (http.user_agent contains "remoteview") or (http.user_agent contains "rogerbot") or (http.user_agent contains "scooter") or (http.user_agent contains "seekerspid") or (http.user_agent contains "serpstatbot") or (http.user_agent contains "semrush") or (http.user_agent contains "semalt") or (http.user_agent contains "siclab") or (http.user_agent contains "sindice") or (http.user_agent contains "sistrix") or (http.user_agent contains "sitebot") or (http.user_agent contains "siteexplorer") or (http.user_agent contains "sitesnagger") or (http.user_agent contains "skygrid") or (http.user_agent contains "smartdownload") or (http.user_agent contains "snoopy") or (http.user_agent contains "sosospider") or (http.user_agent contains "spankbot") or (http.user_agent contains "spbot") or (http.user_agent contains "sqlmap") or (http.user_agent contains "stackrambler") or (http.user_agent contains "stripper") or (http.user_agent contains "sucker") or (http.user_agent contains "surftbot") or (http.user_agent contains "sux0r") or (http.user_agent contains "suzukacz") or (http.user_agent contains "suzuran") or (http.user_agent contains "takeout") or (http.user_agent contains "teleport") or (http.user_agent contains "telesoft") or (http.user_agent contains "true_robots") or (http.user_agent contains "turingos") or (http.user_agent contains "turnit") or (http.user_agent contains "vampire") or (http.user_agent contains "vikspider") or (http.user_agent contains "voideye") or (http.user_agent contains "webleacher") or (http.user_agent contains "webreaper") or (http.user_agent contains "webstripper") or (http.user_agent contains "webvac") or (http.user_agent contains "webviewer") or (http.user_agent contains "webwhacker") or (http.user_agent contains "winhttp") or (http.user_agent contains "wwwoffle") or (http.user_agent contains "woxbot") or (http.user_agent contains "xaldon") or (http.user_agent contains "xxxyy") or (http.user_agent contains "yamanalab") or (http.user_agent contains "yioopbot") or (http.user_agent contains "youda") or (http.user_agent contains "zeus") or (http.user_agent contains "zmeu") or (http.user_agent contains "zune") or (http.user_agent contains "zyborg")

• Acción a elegir: Te recomiendo Managed Challenge o Block.
• Le das a Deploy para que se ponga en marcha.

Regla 3

(http.user_agent contains "internet-structure-research-project-bot") or (http.user_agent contains "sqlmap") or (http.user_agent contains "nessus") or (http.user_agent contains "masscan") or (http.user_agent contains "megaindex") or (http.user_agent contains "scrapy") or (http.user_agent contains "voluumdsp") or (http.user_agent contains "barkrowler") or (http.user_agent contains "semanticbot") or (http.user_agent contains "cocolyzebot") or (http.user_agent contains "domcopbot") or (http.user_agent contains "riddler") or (http.user_agent contains "pubmatic") or (http.user_agent contains "moatbot") or (http.user_agent contains "ltx71") or (http.user_agent contains "bomborabot") or (http.user_agent contains "seekport") or (http.user_agent contains "gulperbot") or (http.user_agent contains "rasabot") or (http.user_agent contains "zoominfobot") or (http.user_agent contains "coccocbot") or (http.user_agent contains "tineye") or (http.user_agent contains "webtechbot") or (http.user_agent contains "clickagy") or (http.user_agent contains "sbl-bot") or (http.user_agent contains "semantic-visions") or (http.user_agent contains "expanseinc") or (http.user_agent contains "screaming") or (http.user_agent contains "okhttp") or (http.user_agent contains "dataforseo") or (http.user_agent contains "contentking") or (http.user_agent contains "siteauditbot") or (http.user_agent contains "botify")

• Acción a elegir: Te recomiendo Managed Challenge o Block.
• Le das a Deploy para que se ponga en marcha.

¿Qué estás poniendo en estas reglas de bloqueo? Un ejemplo:

1. http.user_agent: Es el encabezado HTTP que indica el agente de usuario, que describe el navegador web, bot o cualquier otra herramienta que realiza la solicitud. Este encabezado incluye información sobre el software y, a veces, sobre el sistema operativo del cliente.
2. contains «ahrefs»: Esta parte de la expresión verifica si el agente de usuario contiene la cadena «ahrefs».
   • AhrefsBot: Es un bot utilizado por Ahrefs, una herramienta de análisis SEO que rastrea sitios web para recopilar datos sobre enlaces, contenido y otras métricas SEO. Aunque es legítimo, puede consumir muchos recursos del servidor debido a su naturaleza intensiva de rastreo.
3. or: Operador lógico que indica que si cualquiera de las condiciones evaluadas es verdadera, la expresión completa se considera verdadera.

Todo esto es mucho más sencillo de implementar en Cloudflare que en tú .htaccess. En cuanto le des a Deploy, el Firewall de Cloudflare se pondrá como un loco a bloquear estos bots. Si pinchas en las estadísticas, lo puedes comprobar:

• Te puede interesar: Cómo desactivar rendimiento de Cloudflare en wp-admin (WordPress) o Configuración de mod_remoteip con Apache y Cloudflare.

Listado de User Agents de Bots que he elegido

¿Tienes que poner todos Agentes de Usuarios de todos estos bots? Tienes que valorarlo tú mismo. Aquí te dejo una tabla explicándote que hace cada uno de los que elegido yo, e indicándote de 0 a 10 (siendo 10 la puntuación más alta) si merece la pena bloquearlos o no (con una puntuación de 7 a 10 los bloquearía).