robots协议中能不能爬数据的情况
查看robots.txt只有上图的内容，那对应的网站的数据是可以爬还是不能爬？百度了一下，有一些网站会写明什么能爬什么不能，但像这样只有这两句的是可以还是不可以
1669 1 0
1个回答
相似问题
年代过于久远，无法发表回答
月贡献榜
赞助商
热门问答
workerman 里面的redis 队列是基于redis的什么特性实现的？
PHP8.4下webman直接用topthink/think-orm想了解数据库连接该写在哪里
联表一次查询和查询后循环内再查询别的表组装数据，哪个性能好呢？
webman想使用人大金仓数据库，如何处理？ 求方案
微信SDK，关于webman里推荐的
redis-queue 延迟任务 可否延迟第二天触发？
请教：webman如何让错误直接在网页显示，而不是在命令行打印出来？
请问下现阶段是否有必要使用异步mysql查询？
webman有没有可能考虑内置Macro宏功能呢？
webman不错，但不建议官方做webman-admin
robots针对的是比如baidu、google这类搜索引擎而言的，不影响你自己爬取。