注册 |登录

lucheng918的个人博客分享 http://blog.sciencenet.cn/u/lucheng918

博文

tab页切换的网页如何使用火车头抓取

已有 2407 次阅读 2015-5-23 11:06 |个人分类:爬虫|系统分类:科研笔记|关键词:学者| Fiddler

例如：

http://my.39.net/yanfuhai2011

要抓取医生的回复信息，这时候需要使用一个抓包工具，推荐Fiddler。从抓包工具的信息中提取地址：

http://ask.39.net/my/person/docdetail.aspx?pageIndex=1&typeId=1&mid=12472352&stateId=1&time=Sat%20May%2023%202015%2010%3A52%3A00%20GMT+0800%20%28%u4E2D%u56FD%u6807%u51C6%u65F6%u95F4%29

抓取页面如下：


修改typeId就可以切换四个tab页，修改pageindex可以变换页码

 



https://m.sciencenet.cn/blog-780964-892540.html

上一篇：几个不错的政府网站展现形式
下一篇：德温特专利数据库的由来
收藏 分享

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-15 20:36

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部