有些网站屏蔽了selenium webdriver,这是怎么回事?[英] Some websites block selenium webdriver, how does this work?

问题描述

因此,我正在尝试使用网络爬网网站来构建以寻找的优惠/产品列表,但是我注意到我尝试加载的某些网站不会.如何阻止Selenium WebDriver HTTP请求的网站?他们看标题或其他东西吗?您能给我一个逐步的硒webdriver发送请求以及服务器如何接收它们/能够阻止它们的方法吗?

推荐答案

Selenium使用真实的Web浏览器(通常是Firefox或Chrome)来提出其请求,因此该网站可能不知道您在幕后使用Selenium.

如果网站阻止您,这可能是由于您的使用模式(即,您每分钟提出1000个请求来堵塞他们的Web服务器.这很粗鲁.不要这样做!)

一个例外是,如果您使用htmlunitdriver在"无头"模式下使用硒.网站可以检测到.

其他推荐答案

由于您的AWS IP,网站很可能会阻止您. 不仅告诉网站有人可能会在编程中刮擦它们,而且大多数网站的查询数量有限,他们将从任何1个IP地址接受. 您很可能需要一项代理服务才能通过请求.

本文地址:https://www.itbaoku.cn/post/1740079.html