牛咖-neocrawler nodejs 的爬虫系统。 特点： 支持web界面方式的摘取规则配置（css selector & regex）； 包含无界面的浏览器引擎（phantomjs），支持js产生内容的抓取； 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽； nodejs none-block 异步环境下的抓取性能比较高； 中央调度器负责网址的调度（同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量； 支持多种抓取实例并存，定制摘取引擎和存储方式。
最近更新: 1年前行为验证码(滑动拼图、点选文字)，前后端(java)交互，包含vue/h5/Android/IOS/flutter/uni-app/react/php/go/微信小程序的源码和实现
最近更新: 1年前敏感词检测，违禁词过滤，敏感词过滤，敏感词库，一键启动，本地运行，私有化部署，1分钟接入完成，支持docker，支持在线api
最近更新: 1年多前
