Gran pregunta: ¿Por qué Google está bloqueando tu proxy? ¿Por qué los buscadores online bloquean los proxies? Te pongo en situación.
Estás usando tu proxy con un programa como Scrapebox, GSA Search Engine Ranker o SEnuke y has modificado el intervalo de uso de los proxy y los timeouts y le das a «scrape» para conseguir localizar unas buenas keywords o el top resultados en las SERP para determinadas palabras clave. O te pones a programar en Python usando BeautifulSoup + Requests o Scrapy y se te ha olvidado usar varios proxies en una lista y cambiarlos en cada solicitud.
Pasan 10 minutos y empiezan a aparecer errores por todos lados y no consigues seguir sacando información de Google, Bing o Yahoo… ¿Qué está pasando? Están bloqueando tu proxy… algo que Google hace con mucha facilidad (Bing suele ser más permisivo con los proxy). Te puede interesar leer mi entrada: Proxy vs. VPN.
¿Cuál es el problema? Google, Bing y otros buscadores solo quieren que los humanos visiten sus páginas. No quieren que programas automáticos extraigan datos de sus servidores. No quieren que los bots lleven a cabo ataques automáticos a sus servicios.
Métodos para superar el bloqueo de proxy en buscadores (Google, Bing…) al usar programas para recopilar datos online
1.-Usa proxy dedicados (privados)
Esto es evidente. Si usas proxy gratuitos o compartidos, es posible que Google te haga un bloqueo en poco tiempo porque más gente está usándolos para lo mismo que tú. En el caso de los proxy privados, es tu responsabilidad cuidarlos y configurar tus programas de manera adecuada, por ejemplo, haciendo el scraping del buscador de manera más lenta.
Vas a tener que usar una IP dedicada, y posiblemente un buen número de proxy para que no te pillen. Hace unos años podías usar 5 proxy para sacar información de Google. Ahora mismo necesitarás como mínimo 10 proxy para iniciarte en el mundo del scraping, 50 proxy para llegar a un nivel intermedio y 100 proxy si las cosas se están poniendo serias. En función de la velocidad con la que quieras sacar tus datos, más o menos proxy vas a necesitar.
También hay que intentar conseguir el rango de IP más amplio posible en varios datacenter… y asegurarnos que nuestro proveedor de proxy no está vendiendo más IP de las que debería. ¡Ojo! Deberías de tener en cuenta que hay que rotar los proxy, aunque esto lo suelen hacer todos los programas que se dedican a esto.
2.-No uses un proxy gratuito o compartido
Está muy bien eso de empezar a buscar proxy gratuitos… pero te habrás dado cuenta de que al poco tiempo están completamente quemados de toda la gente que los están usando. Además, suponen un riesgo para tu seguridad (malware). Con los proxy compartidos sucede algo similar, pero dependerá del buen hacer de tus compañeros de proxy.
- Con un proxy gratuito, el buscador de turno se da cuenta enseguida de que hay, 10, 20 o 100 personas intentando recabar datos…
- Los proxy compartidos cuestan menos, pero los compartes con más gente… y es posible que no hayan configurado bien su programa de scraping… No te pierdas: Proxy compartido vs. Proxy privado: Diferencias y cuál debes elegir
3.-Evita usar muchos modificadores de búsqueda
¿Esto qué quiere decir? Por ejemplo, con Google puedes filtrar las keywords mediante comandos como inurl, intitule, related, etc. Cada vez que añades uno de estos modificadores, estás añadiendo posibilidades a un posible bloqueo del buscador, ya que la búsqueda se vuelve más compleja. Google se da cuenta de que quieres mucha información… y adiós al proxy… bloqueado durante 24 horas, 48 horas o para siempre…
Intenta hacer la búsqueda como si fueras un ser humano de carne y hueso, o al menos configura los tiempos de scraping de tu programa con unos valores lo suficientemente elevados para que no se note…
4.-Cambia los «User Agents» e implementa retrasos aleatorios entre solicitudes
Igual que varias las IP, también sería interesante cambiar los «User Agents«. Los «agentes de usuario» son unos identificadores que los navegadores envían a los servidores y que
contienen información como el tipo de navegador y o el sistema operativo. Es importante cambiar este tipo de parámetros si estás haciendo un scraping “duro”. Si usas muchos proxy, intenta cambiar esta información para que Google no se dé cuenta de lo que estás haciendo.
También deberías simular el comportamiento humano: somos poco predecibles muchas veces, así que deberías introducir pausas aleatorias entre las solicitudes. Esto te ayudará a evitar bloqueos.
5.- Usa frameworks como Scrapy o Beautiful Soup
Tienes que aprender a programar en Python, pero si lo haces, puedes utilizar frameworks como Scrapy, que te van a permitir la gestión de proxies, la rotación de agentes de usuario y el almacenamiento de datos en diversos formatos de manera automática después de haberlo programado correctamente.
6.-Elige bien tu proveedor de proxy
De cajón de pino. Este año estoy recomendando dos, myprivateproxy y buyproxies. Están entre los mejores proxy privados del año.
1.-MyPrivateProxy.net
Te recomiendo que visites myprivateproxy.net, el que estoy usando en la actualidad. Por ahora ningún problema. No se han caído en ningún momento, la velocidad es buena y te los pueden cambiar todos los meses en caso de bloqueo.
Tienen varios planes disponibles. Puedes empezar por los más baratos. El plan de 1 solo proxy es suficiente si solo lo quieres usar para navegar online o sortear algún tipo de control geográfico. En el caso de querer usarlo para programas SEO, vas a necesitar como mínimo 5, y posiblemente te quedes corto en función de tus necesidades, sobre todo si quieres obtener palabras clave de Google u otro buscador con programas como Scrapebox.
Puedes utilizar los proxy con autenticación IP y mediante usuario y contraseña, por lo que son bastante cómodos de configurar.
¿Cuánto cuestan los proxy privados de myprivateproxy?
Puedes contratar desde 1 proxy privado por 2.49 $ por mes y luego subir a paquetes de 5 proxy (11,75 $ por mes), 10 proxy(23,70 $ por mes), 20 proxy (44,20 $ por mes), etc.
- Si haces un poco por 6 meses o anual, el precio se rebaja sustancialmente.
- Los servidores están colocados por todo el mundo en países «confiables»: EE. UU. y 8 ubicaciones europeas
- Cada ciclo de pago te cambian las IP de los proxy.
- Puedes darte de baja cuando quieras de manera sencilla.
- Proxy con autenticación IP y mediante usuario y contraseña
- Plugins para Firefox y Chrome
- Integración API
- Buen soporte
2.-Buyproxies.org
La segunda opción que recomiendo y que también uso es buyproxies.org, otro de los proveedores con más solera en este mundillo. Ofrecen proxy HTTPS compartidos y proxy privados por precios razonables y buenas velocidades. Rebajas en el precio si contratas por varios meses.
También, puedes utilizar los proxy con autenticación IP y mediante usuario y contraseña, por lo que son bastante cómodos de configurar.
¿Cuánto cuestan los proxy privados de buyproxies?
Puedes contratar desde 5 proxy por 10 $ mes, hasta 100 proxy por 150 $ (proxy privados)
- Servidores en países reconocibles (USA y Europa)
- Te cambian las IP en cada ciclo de pago
- Acceso con dos ordenadores
- Te das de baja de manera sencilla
- Proxy con autenticación IP y mediante usuario y contraseña
- Integración API
- Dispone de una extensión para Chrome
