使用代理IP不是萬能,只是爬蟲策略之一
在使用代理ip的過程中，我們發現大部分用戶朋友都有這種想法:擁有優質代理IP，爬蟲可以暢通無阻。如果爬蟲做的不好是代理IP的鍋，他們認為是優質的代理IP等同于一個好的爬蟲策略，有了這樣一個代理IP，你不必擔心爬蟲策略。其實這種想法是片面的，使用代理IP不是萬能，只是爬蟲策略之一，具體的爬蟲策略要根據目標網站的反爬策略來制定，也可以稱為反爬策略。
一般反爬蟲措施如下:
1.代碼級限制需要登錄訪問權限。一天只能訪問一定數量的頁面，在沒有登錄的情況下只能查看幾個頁面，比如列表信息類網站。已經有很多一天6個的列表詳情頁了，再多的頁面就會有惡意。這種限制需要大量的帳戶來進行爬蟲爬行。當然，除了完全限制之外，還可以限制訪問若干個以上的彈窗驗證碼，驗證后再繼續訪問，這樣至少不會有少數真實用戶無法訪問。
2.提前獲取IP代理池的IP列表，直接在防火墻層面進行黑客攻擊，可以避免一些高端的問題。
3.在Nginx或者代碼級別把所有常見的爬蟲頭信息都拉黑。據說一些大網站把python中常見的爬蟲頭信息全部黑掉了，增加了基礎爬蟲的代碼成本。
4.高端的反爬蟲就是每隔幾個小時就要切換頁面代碼或者接口數據結構。我記得那是個寶藏。對于爬蟲來說，它可能只是寫這種類型的代碼，然后整個頁面代碼和數據結構使用一套新的非常高級的對策。
5.數據加擾:每個頁面都有一些加密和解密規則，或者每個頁面都有不同的加擾數據。很有可能你抓取的內容含有一些虛假數據或者加密數據，這也增加了爬蟲的成本。比如可以在網頁中添加一些具有相同樣式或名稱的關鍵隱藏字段，而這些隱藏字段甚至不會出現在頁面上，導致爬蟲很難找到關鍵元素。
從上面可以看出，爬蟲策略不僅僅是使用高質量的代理IP，還要根據目標網站反爬策略的實際分析，制定具體的反爬策略，當然是高質量的代理IP一定是必不可少。
