自建代理池
# 本来想使用芝麻代理的结果说11月停服了
转战搜索蘑菇代理
没想到发现了宝藏
# haipproxy
https://github.com/SpiderClub/haipproxy/blob/master/README.md (opens new window)
# 文档里面说要下载releases
https://github.com/SpiderClub/haipproxy/releases (opens new window)
# 刚下载好又要我安装scrapy-splash
https://github.com/scrapy-plugins/scrapy-splash (opens new window)
# scrapy-splash的中文文档
自己动手有个免费可用的代理池也是非常不错的
https://splash-cn-doc.readthedocs.io/zh-cn/latest/scrapy-splash-toturial.html (opens new window)
边看文档边操作把
# 首先使用pip命令安装python的插件
pip install scrapy-splash
# 然后使用docker启动一个服务
如果不会使用docker的话,我再写一个使用docker的教程,贴在这个地方,方便大家学习使用.
docker run -p 8050:8050 scrapinghub/splash
运行失败,先拉镜像
docker pull scrapinghub/splash
docker run -d --restart=always --name screap -p 8050:8050 scrapinghub/splash
直接使用docker启动
可以先拉取镜像
不要轻易使用清理缓存功能
docker system prune -a
单独拉取镜像
docker pull ubuntu:16.04
docker pull python:3.8-slim
docker-compose up
编辑 (opens new window)
上次更新: 2024/12/18, 17:45:13
- 01
- 免费的在线logo设计,uugai找了我好就12-24
- 02
- Untitled12-24