1、1首先，打开散标数据，如下，爬取的信息主要包括年利率借款标题期限金额和进度这5个字段信息右键对应元素进行检查，可以看出所有的数据嵌套在div标签中，如下打开网页源码，我们按Ctrl+F查找对应的数据，会发现所查。

2、另外，爬取网易云推荐使用selenium，因为我们在做爬取网易云热评的操作时，此时请求得到的代码是父网页的源代码，这时是请求不到子网页的源代码的，也得不到我们需要提取的信息，这是因为selenium打开页面后，默认是在父级frame。

3、不用说，当然是把脚本转为java代码了，在E clipse中重新开始搞选择一个测试框架有Junit和TestNg两个选择，公司用的是junit，所以，不用多说，我就用junit验证selenium脚本的运行结果并且，Junit和Test。

4、模拟浏览器，动态获取，可以使用大杀器selenium工具 使用这种方法可以实现只要能看到就能抓取到，如鼠标滑过，异步加载等，因为他的行为可以与浏览器一模一样，但是这种方式的效率却是最低的，一般不到实在没有办法的时候不推荐。

5、给re的数据类型有错，希望值是字符串，提供的确实其他类型。

6、没有不能查看源代码的网页，点一下F12或者1抓包，找到真正的url，模拟post或get2用selenium+phantomjs 或firefox 或chrome。

7、一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面，下面实现一个简单的爬。

8、driverpage_source是只能获取源码的如果是需要加载的，你需要用匹配，比如browserfind_elements_by_xpath。

9、当使用爬虫抓取网页时，一般只能获取到网页源代码，而无法获取到经过浏览器渲染后的页面内容如果要获取经过浏览器渲染后的内容，需要使用一个浏览器渲染引擎如Selenium来模拟浏览器行为，从而获取到完整的页面内容另外。

10、无界面mechanicalsoup1html无界面RoboBrowser_test0html有界面selenium5html无界面的快，但是。

11、没错，简书的文章并不是常规的。

12、6 运行采集任务确认设置无误后，可以启动采集任务，让八爪鱼开始采集数据7 等待采集完成八爪鱼将根据设置的规则自动抓取页面上的数据，并将其保存到本地或导出到指定的数据库等八爪鱼采集器是一款功能全面操作。

13、js动态无法加载python爬取数据运行显示页面不存在的原因是js动态无法加载直接找网页上请求对应数据的接口URL，请求即可。

14、这个可以通过浏览器自带的f12 ，或者通过鼠标右键，审计元素获得当前html源代码 答题不易，互相理解，您的采纳是我前进的动力 如果我的回答没能帮助您，请继续追问 您也可以向我们团队发出请求，会有更专业的人来为您解答。

15、这个读不了网页元素，是因为你的网页都没有打开它怎么去读取元素建议用chrome来做这些页面操作，会比较好用，没有这么多问题，IE和Firefox对这个webdriver支持不太好，会有很多问题。