关于获取IP代理及使用
基于不同的需求国内/国外需要选择不同的代理池国外Scraper APIhttps://www.scraperapi.com/一种特殊的代理池,能够很方便的进行进行IP代理的简单爬虫貌似不支持一些高级功能,如阻止重定向代理IP数量级别:百万支持功能: 自定义headers, 固定&轮询代理,无头浏览器,自定义地理位置。2.Smart Proxyhttps://smar...
·
基于不同的需求国内/国外需要选择不同的代理池
国外
- Scraper API
https://www.scraperapi.com/
一种特殊的代理池,能够很方便的进行进行IP代理的简单爬虫
貌似不支持一些高级功能,如阻止重定向
代理IP数量级别:百万
支持功能: 自定义headers, 固定&轮询代理,无头浏览器,自定义地理位
置。
2.Smart Proxy
https://smartproxy.com/
代理IP数量级别:千万
正常HTTP代理:
3.Brightdata(旧名Luminati)
https://brightdata.grsm.io/davincivon1954
高级HTTP代理 覆盖全球250个国家,可按国家、城市、ASN、运营商定位
唯一一家合法合规且已获得多项专利的住宅IP代理商
代理IP数量级别:7200多万真人IP,100%真实的民用住宅IP
月最低消费$300起,可有7天免费试用,验证账户可有5美金赠送。
4.Scraping Hub
类似于SmartPoxy
国内
参考文章(虽然有点旧,但好歹能说明一些问题)
https://zhuanlan.zhihu.com/p/33576641
总结
1.测试。国外的测不起啊;最低的网站最低套餐月付25刀起,很多网站最低五六百刀起。如果拿来只是测试,那是真的亏。
2.爬虫这种东西要结合实际项目来,爬取国内网站还是国外网站,预计流量多大,爬取次数多少等选择
3.如果我们有能力,自己搭建一个常规的HTTP代理池,作为常规服务自然很好。但如果非要租,最好还是有需求的时候选用,租一个作为常规服务太浪费了
更多推荐
已为社区贡献1条内容
所有评论(0)