小编典典

使用python抓取ajax页面

scrapy

我已经看过有关刮Ajax的问题,但是这里没有提到python。我考虑过使用scrapy,我相信他们有一些关于该主题的文档,但是正如你所看到的,该网站已经关闭。所以我不知道该怎么办。我要执行以下操作:

我只有一个网址,例如example.com,你可以通过单击“提交”来逐页浏览,由于使用ajax来显示内容,因此该网址不会更改。我想抓取每个页面的内容,怎么做?

可以说我只想抓取数字,除了scrapy以外,还有其他方法可以做到吗?如果没有,你能不能给我一个有关如何做到这一点的片段,仅仅是因为他们的网站关闭了,所以我找不到文档。


阅读 551

收藏
2020-04-08

共1个答案

小编典典

首先,scrapy文档可在http://doc.codingdict.com/scrapy/index.html。

谈到在抓取Web时处理Ajax。基本上,这个想法很简单:

  • 打开浏览器开发者工具的“网络”标签
  • 前往目标地点
  • 单击提交按钮,查看将向服务器XHR发送什么请求
  • XHR在你的蜘蛛中模拟此请求
2020-04-08