基于不同的需求国内/国外需要选择不同的代理池
国外

  1. Scraper API
    https://www.scraperapi.com/
    一种特殊的代理池,能够很方便的进行进行IP代理的简单爬虫
    貌似不支持一些高级功能,如阻止重定向
    代理IP数量级别:百万
    支持功能: 自定义headers, 固定&轮询代理,无头浏览器,自定义地理位
    置。
    在这里插入图片描述
    2.Smart Proxy
    https://smartproxy.com/
    代理IP数量级别:千万
    正常HTTP代理:
    在这里插入图片描述
    3.Brightdata(旧名Luminati)
    https://brightdata.grsm.io/davincivon1954
    高级HTTP代理 覆盖全球250个国家,可按国家、城市、ASN、运营商定位
    唯一一家合法合规且已获得多项专利的住宅IP代理商
    代理IP数量级别:7200多万真人IP,100%真实的民用住宅IP
    月最低消费$300起,可有7天免费试用,验证账户可有5美金赠送。

4.Scraping Hub
类似于SmartPoxy
在这里插入图片描述
国内
参考文章(虽然有点旧,但好歹能说明一些问题)
https://zhuanlan.zhihu.com/p/33576641

总结
1.测试。国外的测不起啊;最低的网站最低套餐月付25刀起,很多网站最低五六百刀起。如果拿来只是测试,那是真的亏。
2.爬虫这种东西要结合实际项目来,爬取国内网站还是国外网站,预计流量多大,爬取次数多少等选择
3.如果我们有能力,自己搭建一个常规的HTTP代理池,作为常规服务自然很好。但如果非要租,最好还是有需求的时候选用,租一个作为常规服务太浪费了

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐