使用workerman做一个爬虫服务器网站,进行数据获取

问题描述 想做一个爬虫服务器,提交网页url,然后后台调用selenium浏览器进行浏览,浏览完成返回渲染好的网页,以及Cookie,header等信息,要怎么设计这样的网站架构使用workerman的话. 太多网站进行动态渲染了,而且本地写selenium挺麻烦,而且某些网站有地市限制,所以想做成一个服务统一调取,方便公司对子公司的业务进行搜集 我该怎么设计这种网站呢? 有什么比较好用的架构方案吗?...

segcbryjntfbrdtesrgdfhjg 发表与 2022-11-17 1637 浏览 1 回答
关于以下红框内表述的"4个进程"应该如何理解?

关于以下红框内表述的"4个进程"应该如何理解? 是指最多允许4个人同时访问,还是什么意思?如果该位置配置较低数量,而访问用户过多,会发生什么后果?一般多大的流量配置多少数量适合? ...

vicotom168 发表与 2022-11-12 775 浏览 2 回答
如果需要用PHP搭建一个以HTTP形式访问的API接口,以下哪种方式搭建性能上会更有优势?

下面的方式二选一。需要在低配服务器,高频,高并发的极限运行环境下哪种最有性能优势,最稳定? A、传统Nginx + php-fpm B、利用Workerman + Nginx反向代理...

vicotom168 发表与 2022-11-12 1328 浏览 7 回答
linux无法守护进程

start可以正常启动程序 daemon方式,后面加个-d就启动不了 代码配置 ...

拼未来 发表与 2022-11-09 1136 浏览 1 回答
为什么很多程序员连搜索引擎都不会用?

发现一个很奇怪的问题,为什么很多程序员不会使用搜索引擎。 很多人遇到问题尤其是报错类,宁愿费事发帖在那无限期等别人答复,也不愿意去自己搜下。 例如这种 其实只要搜下关键字就有答案了,都用不到谷歌,连百度都能搜到,为什么还要费事发帖来问呢? 是不知道有搜索引擎这个东西还是不知道怎么搜索?这样的人是个什么心理?...

xiuwang 发表与 2022-11-09 1045 浏览 3 回答
webman composer安装Carbon之后,都要再做哪些配置?还是不需要了

问题描述 webman composer安装Carbon之后,都要再做哪些配置?还是不需要了...

lychuan 发表与 2022-11-09 1111 浏览 1 回答
JS怎么连接不上WebSocket

ws = new WebSocket("ws://192.168.1.19:8282") index.html:213 WebSocket connection to 'ws://192.168.1.19:8282/' failed: Error during WebSocket handshake: net::ERR_INVALID_HTTP_RESPONSE...

hyc643300@aliyun.com 发表与 2022-11-09 1451 浏览 1 回答
【已解决】使用yzh52521/webman-task添加测试定时任务后报错

问题描述 Workerman version:4.1.4 PHP version:7.3.4 安装了https://www.workerman.net/plugin/42 定时任务管理组件之后,按说明安装了workerman/crontab、webman/think-orm、guzzlehttp/guzzle、workerman/redis,添加示例定时任务之后报错 报错信息 示例添加定时任务代...

lcmg 发表与 2022-11-08 1331 浏览 2 回答
如何在指定时间推送消息到H5,然后关闭当前页面

问题描述 目前使用的webman安装gatewayworker插件,已经实现websocket连接后主动向H5发送消息 现在有个问题就是怎么在指定的时间去推送,需要及时性很高 例如:发布一个收集表,当结束时间到了,能主动发送消息到H5关闭当前已经打开在收集表页面的用户页面(这个结束时间可能在一个月之后的某个时间) 目前想到的是 用定时任务每秒去查询结束时间是否超过当前时间,然后判断是否发送消息,,,,但是结束时间很长...

demoo 发表与 2022-11-05 1058 浏览 2 回答
redis队列消费过程中全局变量存储问题

问题描述 在http 请求中可以创建一个request id 存储在 request 类中,可以全局获取变量值,记录到日志中,用来关联整个请求过程的日志 在redis 队列进程消费过程中也想要创建一个request id,关联单次队列消费过程中的所有日志,不知道如何存储这个变量...

nnicde 发表与 2022-11-04 963 浏览 1 回答
docker 连接 webman 错误,已经解决了

已经解决了,得安装php-cli容器 https://gitee.com/owenzhang24/docker_compose_lnmp 问题描述 我是用docker-compose创建LNMP环境 https://gitee.com/owenzhang24/docker_compose_lnmp 这个是我的文件内容 项目搭建成功后,我本地运行镜像,本地127.0.0.1也可以输出nginx的项目index.php的...

owenzhang 发表与 2022-11-01 1420 浏览 3 回答
webman-admin使用上传时,提示 只能上传不超过2MB的文件!

问题描述 webman-admin使用上传时,提示 只能上传不超过2MB的文件! 报错信息 ...

2494911084@qq.com 发表与 2022-10-29 1832 浏览 1 回答
关于redis_queue 注释掉的代码依然生效(服务重启也不行)

问题描述 入队mysql记录 insertData(['time' => time(),'status' => 0,'num' => 0]); 消费mysql更新 这里的代码注释掉了 但是依旧修改了mysql中的 status 和 num //updateData(['id' => $data['queue_id']],['status' => 1,'num' => 1]); 入队...

macho 发表与 2022-10-28 1082 浏览 2 回答
奇怪的现象,winserver2008上面执php cli行超时[已解决]

问题描述 winserver2008上面运行webman,会有Maximum execution time执行超时提示。 为此你搜索到了哪些方案及不适用的原因 max_execution_time参数cli模式默认强制为0 即使改参数为0,任然有有提示。 ...

ichynul 发表与 2022-10-27 909 浏览 3 回答
1024 🐵节日快乐

又到了一年一度程序员自嗨日。 我就是想问下,今天怎么过? 今天有为1024放假的公司不? 致敬每一位在平凡岗位上创造无数bug的程序员!节日快乐!...

yongdao35 发表与 2022-10-24 1031 浏览 4 回答
webman本地开发的程序放到服务器就没法启动了

问题描述 在本地开发好的程序,然后部署到服务器上就启动不了了 运行start后 又退出了 然后就报以下错误了 报错信息 Press Ctrl+C to stop. Start success. pcntl_fork() has been disabled for security reasons in file /www/wwwroot/678qphd.com/vendor/workerman/workerman/W...

yyy798326 发表与 2022-10-22 1375 浏览 1 回答
webman大文件切片上传,很慢

问题描述 项目中需要上传视频,一个视频150M左右,直传基本上都是上传失败,所以改成了切片上传,一个切片2M,这样上传一个视频就得发70多个请求。 业务中一般至少要同时上传3个视频左右,总共发送的请求在200多,3个视频传完,总耗时基本在4分钟左右。 随着请求数量的加多,单个上传切片的处理时间变得越来越长,有时候能达到2~3分钟才能处理一个切片请求。 部分请求历史 单个切片的请求 合并第一个文件,11...

mine 发表与 2022-10-21 2194 浏览 6 回答
webman在return之前客户端关闭了浏览器,服务端没有执行完的代码会继续执行吗?

问题描述 @walkor 用户咋浏览器端点击同步企业微信客户资料,命令发给了服务端的一个controller后,客户端的按钮就变成了一个转圈圈显示同步中的按钮,服务端controller收到命令后逐一去企业微信接口拉取客户资料,每获取到一个客户资料后写入数据库,然后再去获取下一个,全部获取完之后给客户端 return 一个同步完成的 response ,客户端收到 response 后,转圈圈按钮停止转动显示同步完成...

alafafa 发表与 2022-10-21 1080 浏览 3 回答
创建应用插件时提示 命名空间有问题

问题描述 创建应用插件时提示 There are no commands defined in the "app-plugin" namespace. 不太明白为什么...

moco 发表与 2022-10-20 1315 浏览 1 回答
webman模型层赋值的问题

bug描述 控制器给model变量赋值,model里读取不到值 用的think-orm 程序代码或配置 控制器代码 $goods = new GoodsModel(); $goods->_user = 1231; model里代码 public $_user = 321; public function getPriceAttr($value) { $value = $va...

jinggge 发表与 2022-10-20 1542 浏览 2 回答

nitron

12956
积分
0
获赞数
0
粉丝数
2021-05-14 加入
×
🔝