Selenium打开一个页面之后，默认是在父页面进行操作，此时如果这个页面还有子页面，想要获取子页面的节点元素信息则需要切换到子页面进行擦走，这时候switch_toframe就来了如果想回到父页面，用switch_toparent_frame。

您可以按照以下步骤来配置八爪鱼采集器进行数据采集1 打开八爪鱼采集器，并创建一个新的采集任务2 在任务设置中，输入要采集的网址作为采集的起始网址3 配置采集规则可以使用智能识别功能，让八爪鱼自动识别页面的。

没有不能查看源代码的网页，点一下F12或者1抓包，找到真正的url，模拟post或get2用selenium+phantomjs 或firefox 或chrome。

模拟浏览器，动态获取，可以使用大杀器selenium工具 使用这种方法可以实现只要能看到就能抓取到，如鼠标滑过，异步加载等，因为他的行为可以与浏览器一模一样，但是这种方式的效率却是最低的，一般不到实在没有办法的时候不推荐。

这个可以通过浏览器自带的f12 ，或者通过鼠标右键，审计元素获得当前html源代码 答题不易，互相理解，您的采纳是我前进的动力 如果我的回答没能帮助您，请继续追问 您也可以向我们团队发出请求，会有更专业的人来为您解答。

from selenium import webdriver browser = webdriverChromebrowsergetquot#album？id=quotbrowserswitch_to_frame#39g_iframe#39print#39专辑名字#39， browserfind_element_by_class_name#39。

对于某些浏览器来说，Web kit就是其底层的网页渲染工具Web kit是QT库的一部分，因此如果你已经安装QT和PyQT4库，那么你可以直接运行之1环境准备Linuxsudo aptget install pythonqt4Windows第一步下载whl。

当使用爬虫抓取网页时，一般只能获取到网页源代码，而无法获取到经过浏览器渲染后的页面内容如果要获取经过浏览器渲染后的内容，需要使用一个浏览器渲染引擎如Selenium来模拟浏览器行为，从而获取到完整的页面内容另外。

解决方案1用浏览器打开你那个连接完整加载，通过 查看源 找到你要的数据记住标记，比如某个元素，selenium+python获取到页面代码再去判断查找你的标记就知道是否加载完了用python selenium提取网页中的所有标签中的超。

这里主要根据是当我们鼠标放在以某tag为根节点的源码的上时，上面的页面对应的界面元素会有相应标记方法缺点写出的locator可能并不是页面的唯一，这样selenium运行就难以识别。

选择用selenium，但是没找到selenium的webdriver下取得所有资源加载链接的方法selenium包下有一个selenium模块查看源码时看到有个get_all_links方法但是一直没找到这个模块的用法最后，求解答谢谢大家方法不成的话，就。

因此，我们需要用到动态网页抓取的两种技术通过浏览器审查元素解析真实网页地址和使用selenium模拟浏览器的方法本章首先介绍动态网页的实例，让读者了解什么是动态抓取，然后使用上述两种动态网页抓取技术获取动态网页的数据4。

于是乎，小年轻们就都来到了selenium大神的校场“大神就是大神，连名字我都念不全，洋气“，“诶诶诶，听说大神进店就包场呀，好霸气！”刚来就听到其他小年轻在底下悄悄议论，小年轻们不禁向主席台投去了崇拜的目光。

如果确定是有的话，可能是页面加载比较慢还没加载出来，selenium默认是不会等待对象出现的，需要在找对象前加一些等待时间另外如果页面上有iframe的话需要先切换进去才能找到里面的对象。

这篇文章主要介绍了Python3实现抓取javascript动态生成的html网页功能，结合实例形式分析了Python3使用selenium库针对javascript动态生成的HTML网页元素进行抓取的相关操作技巧，需要的朋友可以参考下本文实例讲述了Python3实现抓取javascript。

整个网页代码啥样的代码中只出现两个div那就用css选择器，看下面。

你安装firepath，会自动显示出xpath路径，然后用find element by xpath定位，再click点击就可以了。