打开网页源码中，可以发现数据不在网页源码中，按F12抓包分析时，才发现在一个json文件中，如下2获取到json文件的url后，我们就可以爬取对应数据了，这里使用的包与上面类似，因为是json文件，所以还用了json这个包解析。

生成Request的时候与一般的网页是相同的，提交Request后scrapy就会下载相应的网页生成Response，这时只用解析responsebody按照解析json的方法就可以提取数据了代码示例如下以京东为例，其中的parse_phone_price和parse_commnets是通过json提取的。

点击运行这个程序，效果如下，已经成功爬取到我们需要的数据至此，我们就完成了利用python网络爬虫来获取网站数据总的来说，整个过程非常简单，python内置了许多网络爬虫包和框架scrapy等，可以快速获取网站数据，非常适合。

以下代码调试通过import pandas as pdimport json demo = #39quotprogrammersquot quotfirstNamequot quotBrettquot，quotlastNamequot quotMcLaughlinquot，quotemailquot quotaaaaquot， quotfirstNamequot quotJasonquot，quotlastNamequot quotHunterquot，quotemailquot quot。

Python爬取网页动态数据 很多种情况下，网页数据都是动态加载的，直接爬取网页是提取不到任何数据的，这时就需要抓包分析，找到动态加载的数据，一般情况下就是一个json文件当然，也可能是其他类型的文件，像xml等，然后。