想找满足这 5 个特性的低代码爬虫
方便获取稳定的 selector 。最好可以在页面上直接选取元素,获得 selector 。
准确提取 data 。可以解析常见数据类型,如提取文本数字。也可以自定义解析脚本。
存储到指定的位置。将上述的 data 与 db 对应起来,最好可以用连线的方式,可视化的编辑 1 对 1 的关系。
构建循环的流程。爬虫一般都有循环结构,要能简单方便的构建流程,例如简单的逻辑不需要写代码。
异常的处理。如果采集过程中出错,要能够指定后续的流程。是返回上一级,还是抛出异常,还是加入到队列。
想请问常用爬虫工具的 v 友,有没有满足这些条件的低代码爬虫工具呢?
chrome 商店搜一下
火车头?
这不是最基本的需求吗😂虽然没几个做的好的。只能自己写脚本。
火车头,八爪鱼
熟悉 python 就 scrapy
github.com/ferventdesert/Hawk可以试试这个开源的,前几年用过,也确实解决了我当时的问题。虽然可视化配置,但使用上有一点门槛,需要摸索一下
八爪鱼
火车浏览器
要在浏览器上还是脱离浏览器在服务端后台运行?
#9如果要写数据库,应该是需要脱离浏览器。如果能在浏览器中写入数据库也可以,不过这种应该还需要通过 webapi 接口。感谢上面各位 v 友的回复,我去看一下提到的软件。
影刀
github.com/huginn/huginn楼主看看这个
爬虫 自己内部用数据还是做网站用?小心被告
不该先考虑反爬和风控?
这么多年了,还是火车头最好用,我找到一个免费的
来个免费的 大佬。
easyspider ?之前看到了,不过没用过
百度搜索一下高铁采集(本质就是火车头的 vvvip )
www.automa.site/这个可以说非常符合
automa 或者 rpa? 我在闲鱼上有做脚本的链接,做过几单
希望大家 bug 少少 . 工作顺利. 生活快乐…祝福. 祝大家节日快乐~ 应注明是东八区以东。 祝大家节日摸鱼快乐 节日快乐 节日快乐 节日快乐~ 节日快乐 …
如题,我爸在工地干活,最好皮实耐用一些,预算 1000-2000 ,平时刷刷视频,最好电池能稍微好点,能用个 3 年 二手 iPhone ?不知道近几年的 iPhone 质量…
测试过程 因为我的两个帖子 /t/838609 /t/846741 V 友们的意见都不太统一,刚好看到今天有人又在争论这个问题,于是我打算看看各公司 API 的接口设计 Yo…