IP访问频率限制是网页中最常用的反爬虫手段,当爬虫的IP被目标服务器ban掉之后,我们的爬虫代码是没办法继续正常执行的。解决这个问题的方法也很简单就是用网页代理,但是现在免费的网页代理不好找,收费的又太贵。可是日常又需要,我就想着通过爬取免费代...
项目灵感 最新想重温一下平凡的世界,然后网上虽然搜索到了资源,但是总感觉章节不全,然后我就找到了一个网站,网站很直接就叫平凡的世界,网站的内容很简单,就是平凡的世界的章节内容展示,全是静态页面,为什么不写个爬虫把文章全部保存下来呢?工作量似乎不大,...