单机Scrapy的代理方案，放到集群里哪里会出问题单机Scrapy挂代理最常见的做法是写一个DownloaderMiddleware，在process_request里给每个请求分配一个代理：```pythonclassProxyMiddleware:def__init__(self):self.proxies=load_proxies()#从文件或接口拿一批IPself.index=0defprocess_request(self,request,spider):request.meta['proxy']=self.proxies[self.index%len(self.pr ......
No comments:
Post a Comment