乐鱼电竞

  • 教育行业A股IPO第一股（股票代码 003032）

    全国咨询/投诉热线：400-618-4000

    爬虫开发必学的8个技巧

    更新时间:2017年11月13日16时58分 来源:乐鱼播客 浏览次数:

    现在，有越来越多所谓的“教程”来帮助我们提高爬虫的易用性。本人收集了一些在爬虫开发中容易出错和被难住的小问题，提供了参考的意见和想法，以便于帮助爬虫开发者。


    1、爬虫乱码(网址乱码、返回页面乱码、提交数据乱码)


    关于爬虫乱码有很多群友的各式各样的问题，不仅是中文乱码，还包括一些如日文、韩文 、俄文、藏文之类的乱码处理，因此确定源网页的编码。


    2、含有验证码表单登陆


    属于post请求，即先向服务器发送表单数据，需要验证码的情况可以使用带验证码登陆的cookie解决。


    3、 使用代理


    适用情况：限制IP地址情况，最好的办法就是维护一个代理IP池。


    4、限制频率情况


    限制爬虫访问网站的频率来避免被网站禁掉。


    5、 “反盗链”


    加上Referer，伪装成浏览器。


    6、自动化测试工具Selenium


    Selenium是一款自动化测试工具。它能实现操纵浏览器，包括字符填充、鼠标点击、获取元素、页面切换等一系列操作。


    7、验证码识别


    利用开源的Tesseract-OCR。


    8、多线程抓取


    高并发提交采集效率。友情提示：获得更多学科学习视频+资料+源码，请加QQ：3276250747。


    本文版权归乐鱼播客人工智能+Python学院所有，欢迎转载，转载请注明作者出处。谢谢！

    作者：乐鱼播客人工智能+Python学院

    首发：http://www.itcast.cn/python/

    0 分享到：
    和我们在线交谈！
    【网站地图】【sitemap】