爬虫
爬虫

批量爬取某网站漂亮姐姐图片并保存至本地

1.前言 最近群友在群里发来几张小姐姐的写真,看了一下发现太好看了,私聊之后群友竟然直接把网站抛给我,那我可就不客气了,立马开工 2.站点分析 我们要爬取的是某个模特的主页,主页中有各个主题的写真,其子页面为各个不同主题的写真,打开之后发现子页面之间规则是不同的,有的页面是一页会显示所有的图片,有的 …

爬取淘宝商品信息

1.前言 这几天学习了Re库,正好可以用这个爬取淘宝的实例来加深一下印象,因为自己能力还不够,所以是跟着大佬们的脚步一起做的,对代码进行分析然后弄明白,在能力范围内也进行了一定的修改。 2.案例分析 先给出大佬的博客: https://buwenbuhuo.blog.csdn.net/article …

爬取2020软科中国大学排名

1.前言 因为这几天在学爬虫相关知识,正好课程有个实例,爬取软科中国大学排名,然后以表格形式输出,但是因为是前几年的课程,实例对应的网页源代码也不一样了,正好拿来练练手,提高实战能力。 2.案例分析 2.1.分析目标站点 首先,爬取站点要遵守robots协议,而查看后发现本站并没有相应的robots …