本来想使用芝麻代理的结果说11月停服了

转战搜索蘑菇代理

没想到发现了宝藏

haipproxy

https://github.com/SpiderClub/haipproxy/blob/master/README.md (opens new window)

文档里面说要下载releases

https://github.com/SpiderClub/haipproxy/releases (opens new window)

刚下载好又要我安装scrapy-splash

https://github.com/scrapy-plugins/scrapy-splash (opens new window)

scrapy-splash的中文文档

自己动手有个免费可用的代理池也是非常不错的

https://splash-cn-doc.readthedocs.io/zh-cn/latest/scrapy-splash-toturial.html (opens new window)

边看文档边操作把

首先使用pip命令安装python的插件

pip install scrapy-splash

然后使用docker启动一个服务

如果不会使用docker的话,我再写一个使用docker的教程,贴在这个地方,方便大家学习使用.

docker run -p 8050:8050 scrapinghub/splash

运行失败,先拉镜像

docker pull scrapinghub/splash

docker run -d --restart=always --name screap -p 8050:8050 scrapinghub/splash

直接使用docker启动

可以先拉取镜像

不要轻易使用清理缓存功能

docker system prune -a

单独拉取镜像

docker pull ubuntu:16.04

docker pull python:3.8-slim

docker-compose up