選擇代理IP都是從成本和效率的考慮出發
在使用python爬蟲的時候，我們經常會遇到想要抓取的網站，并且采用了嚴格的反抓取機制。當網頁信息是高強度時、在高效抓取的時候，往往會給網站服務器帶來很大的壓力，所以如果同一個IP反復抓取同一個網頁，很可能會被屏蔽，那么如何解決呢？只有大量的代理IP資源可供選擇俗話說: IP被封，千千有幾千個IP。
那么海量的代理IP資源哪里來的呢？別忘了找百度搜索，大量代理IP資源，免費代理IP，代理IP提供商。
總結一下，代理IP大致可以分為四種:免費代理IP、普通代理IP池、共享IP池和專用IP池。什么這四個有什么區別？互聯網上的免費代理IP共享。任何人未經授權都可以使用。因為任何人都可以使用它，大多數免費代理IP號碼不 它們不存在，而且被濫用了。普通代理IP或者開放代理IP其實就是免費代理IP。通過收集免費代理IP，經過初步驗證篩選后，放入IP池，通過API提取使用。這個代理IP的效率也高不了多少，一般在1-40%左右，被稱為“萬人騎”共享IP池是代理IP提供商通過機房搭建的IP池，然后賣給不同的客戶。這個IP是高效的，大部分付費代理IP都是如此。IP池的大小和用戶數量決定了服務的成功率獨占IP池是一個完全獨享的撥號服務器池，一個人使用一個IP池，不斷重撥，獲得大量IP！
考慮到成本優先級為:，免費代理IP，普通代理IP，共享IP池，獨享IP池。代理IP基本沒有成本，只需要寫幾段代碼抓取驗證即可。至于我能用多少，我知道。普通代理IP的成本也很低。一天幾塊錢，一個月幾十塊錢，可以有很多代理IP。至于多少，就看運氣了。共享IP池成本略高，目前市場上基本都是這樣，有提取間隔、一次獲得的IP數量、同時使用和其他限制，獨享IP池的成本比較高。目前市場上只有幾家，很大一部分都是打著專屬IP池的幌子騙人的選擇的時候睜大眼睛。
很多時候，選擇代理IP都是從成本和效率的考慮出發，但有時并不要只考慮一個方面，我們會通過成本和效率的綜合考慮，最終做出最合適的選擇。
