使用workerman做一个爬虫服务器网站，进行数据获取
问题描述
想做一个爬虫服务器，提交网页url，然后后台调用selenium浏览器进行浏览,浏览完成返回渲染好的网页,以及Cookie,header等信息,要怎么设计这样的网站架构使用workerman的话.
太多网站进行动态渲染了,而且本地写selenium挺麻烦,而且某些网站有地市限制,所以想做成一个服务统一调取,方便公司对子公司的业务进行搜集
我该怎么设计这种网站呢?
有什么比较好用的架构方案吗?
1411 1 0
1个回答
相似问题
年代过于久远，无法发表回答
PHPCreeper ,基于Workerman,作者也在论坛里 @blogdaren
这个都没维护了吧，文档 卡的要死，官网也打不开
最后一次提交时间, 2 Days ago,文档打开很快,官网也没问题
我去试试
还有就是爬虫是一个耗时的工作,这种耗时的工作该怎么分配