简介
云采 是什么?
云采 是一个分布式云爬虫平台。
我们的目标是创建一个通用型的爬虫平台,帮助企业快速、低成本的获取互联网公开数据。
利用我们的平台,最快几分钟即可创建一个每天抓取数亿网页的大数据爬虫平台。
特性
- 数千万高匿名ip代理池实时切换,从不被屏蔽。
- 模拟浏览器抓取,复杂的网页结构也能应对自如
- 依托于 elasticsearch 的强大特性,提供强大的搜索和海量数据分析。
- 计划任务抓取、发布,每时每刻同步抓取更新
- 强大的调试、日志功能,可以快速定位爬虫抓取错误
- 灵活方便的流程图,一种简单省力的方式写爬虫