这里要介绍一个python库selenium，本文使用的版本是 2440先安装pip install U selenium下面用三个例子来说明其用法例0打开一个Firefox浏览器载入所给url地址的页面from selenium import webdriverbrowser = webdr。

基于API接口的数据采集许多网站提供API接口来提供数据访问服务，网络爬虫可以通过调用API接口获取数据与直接采集Web页面相比，通过API接口获取数据更为高效和稳定基于无头浏览器的数据采集无头浏览器是一种无界面的浏览器。

selenium介绍selenium是一个web自动化测试工具，支持很多种语言，我们在这里可以使用python的selenium做爬虫使用，爬取简书的过程中，它的工作原理是不断注入js代码，让页面源源不断的加载，最后再提取所有的a标签首先你得在。

selenium webdriver的硬伤在于它无法真正判断页面上的元素什么时候能生成完毕，换句话说 ，假如获取页面上的元素失败，而这个元素是由js，ajax生成并且是未知的情况下例如要抓取网页关键词，但是关键词的内容是什么，一共有。

WebKit 是一个开源的浏览器引擎，python提供了许多库可以调用这个引擎，dryscrape便是其中之一，它调用webkit引擎来处理包含js等的网页2 selenium web测试框架 selenium是一个web测试框架，它允许调用本地的浏览器引擎发送网页。

尝试每一个request都点开看一下 就是你要构造的数据 FormData就是你要构造的数据 把数据构造好然后使用post函数发送给网站 这个得到的是一个网页格式的数据而这个发放返回的是json数据，然后编码成dict格式 提取出数据就。

onclick=quotfuntion1funtion2quot 或者如果有先后顺序的话，可以里面调用2 function1 XX funtion2。

抓取动态页面有两种常用的方法，一是通过JavaScript逆向工程获取动态数据接口真实的访问路径，另一种是利用selenium库模拟真实浏览器，获取JavaScript渲染后的内容但selenium库用起来比较繁琐，抓取速度相对较慢，所以第一种。

一查看相应的js代码，用python获取原始数据之后，模仿js编写相应的python代码二通过接口api获得数据，直接使用python获取接口数据并处理三终极方法使用 Selenium和PhantomJS执行网页js代码，然后再获取数据，这种方法100。