常见反爬虫措施及绕过方法：
一、用户代理检测
反爬机制：服务器端检查请求的 User-Agent 头，如果发现是常见的爬虫 User-Agent 或者不合法的 User-Agent，则拒绝请求。
绕过方法：
随机化 User-Agent：使用多个不同的合法浏览器 User-Agent，每次请求随机选择一个。可以从一些常见浏览器的 User-Agent 列表中随机选取。模仿真实用户行为：设置一些常见的移动设备或桌面浏览器的 User-Agent，使服务器认为请求来自真实用户设备。
示例代码（使用 Python 的 requests 库）
import requests
import random
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
# 添加更多 User-Agent
]
def make_request(url):
headers = {'User-Agent': random.choice(user_agents)}
response = requests.get(url, headers=headers)
return response
二、IP 封锁
反爬机制：如果某个 IP 在短时间内发出大量请求，服务器可以封锁该 IP，禁止其继续访问。
绕过方法：
使用代理 IP：通过使用代理服务器，不断切换 IP 地址来避免被封锁。可以从代理服务提供商获取代理 IP 列表，或者使用免费的代理 IP，但稳定性可能较差。IP 轮换策略：如果有多个 IP 可用，可以设置一定的请求次数后切换 IP，降低被封锁的风险。
示例代码（使用 Python 的 requests_ip_rotator 库）
import requests
from requests_ip_rotator import ApiGateway
gateway = ApiGateway("https://example.com", randomize_headers=True)
gateway.start()
session = requests.Session()
session.mount("https://example.com", gateway)
response = session.get("https://example.com/page")
print(response.text)
gateway.shutdown()
三、验证码
反爬机制：当检测到疑似爬虫行为时，弹出验证码要求用户验证。只有通过验证后才能继续访问。
绕过方法：
手动识别验证码：对于简单的验证码，可以手动输入进行验证。但这种方法不适合大规模爬取。使用第三方验证码识别服务：有一些付费的验证码识别服务，可以自动识别常见类型的验证码。但这种方法成本较高且可能存在法律风险。分析验证码生成逻辑：如果可能，可以研究验证码的生成逻辑，尝试找到漏洞进行绕过。但这通常非常困难。
四、限制访问频率
反爬机制：通过设置每个 IP 或用户在一定时间内的最大访问次数，超过该次数则拒绝响应。
绕过方法：
调整请求间隔：增加请求之间的时间间隔，模拟人类用户的访问速度。可以使用定时器或随机延迟来控制请求频率。分布式爬取：使用多台机器或多个 IP 地址进行分布式爬取，分散请求，降低单个 IP 的访问频率。
示例代码（使用 Python 的 time 模块添加延迟）：
import requests
import time
def make_requests(url):
response = requests.get(url)
# 随机延迟 1-5 秒
time.sleep(random.uniform(1, 5))
return response
五、动态页面加载
反爬机制：网页内容通过 JavaScript 动态加载，爬虫如果不执行 JavaScript 就无法获取完整的页面内容。
绕过方法：
使用无头浏览器：如 Selenium 搭配 ChromeDriver 或 PhantomJS，可以模拟浏览器行为，执行 JavaScript 代码并获取完整的页面内容。分析 JavaScript 代码：如果可能，分析网页的 JavaScript 代码，找出数据加载的逻辑，直接通过接口获取数据，而不依赖于浏览器执行 JavaScript。
示例代码（使用 Selenium 和 ChromeDriver）：
收起
python
复制
from selenium import webdriver
driver = webdriver.Chrome()
url = "https://example.com/dynamic_page"
driver.get(url)
# 获取页面内容
page_content = driver.page_source
driver.quit()
六、蜜罐陷阱
反爬机制：在网页中设置一些隐藏的链接或表单字段，只有爬虫会去访问这些内容，一旦触发就可以判断为爬虫并进行相应处理。
绕过方法：
仔细分析网页结构：在爬取前仔细分析网页的 HTML 结构，识别可能的蜜罐陷阱元素，并避免访问这些元素。行为模拟：尽量模拟真实用户的行为，避免触发只有爬虫可能会触发的模式。
七、会话跟踪
反爬机制：通过设置会话标识，跟踪用户的访问行为。如果发现行为异常，如请求顺序不合理等，判断为爬虫。
绕过方法：
分析会话机制：了解网站的会话跟踪方式，如使用 cookies、session IDs 等。在爬取过程中正确处理和维护这些会话标识。模拟登录：如果需要，可以通过模拟用户登录获取合法的会话标识，然后在后续请求中携带该标识。
示例代码（使用 Python 的 requests 库处理 cookies）：
import requests
# 模拟登录获取 cookies
login_url = "https://example.com/login"
data = {'username': 'user', 'password': 'pass'}
response = requests.post(login_url, data=data)
cookies = response.cookies
# 在后续请求中携带 cookies
page_url = "https://example.com/page"
response = requests.get(page_url, cookies=cookies)
print(response.text)