当使用爬虫抓取网页时，一般只能获取到网页源代码，而无法获取到经过浏览器渲染后的页面内容如果要获取经过浏览器渲染后的内容，需要使用一个浏览器渲染引擎如Selenium来模拟浏览器行为，从而获取到完整的页面内容另外。

selenium 查找页面元素方法 1 Selenium by查找元素 特别强调一下Byxpath绝对路径以单号表示，而下面要讲的相对路径则以表示，这个区别非常重要另外需要多说一句的是，当xpath的路径以开头时，表示让Xpath解。

这时我们就要用到wait，而在 Selenium 中，我们一共有三种等待，分别是固定等待隐式等待和显式等待timesleep 固定等待，本质让当前的线程睡眠，实质是线程的阻塞blocking，用wait 方式实现缺点网络条件好。

另外，爬取网易云推荐使用selenium，因为我们在做爬取网易云热评的操作时，此时请求得到的代码是父网页的源代码，这时是请求不到子网页的源代码的，也得不到我们需要提取的信息，这是因为selenium打开页面后，默认是在父级frame。

selenium的一大优点就是能获取网页渲染后的源代码，即执行操作后的源代码普通的通过 url解析网页的方式只能获取给定的数据，不能实现与用户之间的交互selenium通过获取渲染后的网页源码，并通过丰富的查找工具，个人认为最好。

在使用selenium webdriver进行元素定位时，通常使用findElement或findElements方法结合By类返回的元素句柄来定位元素其中By类的常用定位方式共八种，现分别介绍如下 1 Byname 假设我们要测试的页面源码如下 Google Search 当我们要用。