爬虫管理

产品功能

识别低频爬虫

有效识别低频爬虫，最低可至几次/小时。

识别模拟浏览器行为

有效识别基于抓取程序组成的爬虫，尤其针对由抓取、解析、渲染等程序组成，解析运行JavaScript等外部资源的模拟浏览器行为。

识别伪造User-Agent

精准识别高阶爬虫为混淆与真人浏览器的区别，所伪造的User-Agent。

识别IP池团伙作案

精准识别采用代理IP或云主机IP进行爬取，使得IP地址多变的团伙作案。

识别善意爬虫

精准识别善意爬虫并有效过滤使用。

聚类算法分析

机器学习利用聚类算法分析，汇总用户访问行为趋势，实现正常用户和异常用户的请求行为对比区分。

客户案例

爬虫对该客户业务造成的影响包括，爬虫攻击者爬取网站商品价格来做同类商品价格研究，再通过压低价格抢走客户以谋利；大量爬虫实时占用网络带宽，增加 Web 服务的处理开销；当发生大量爬虫攻击， Web 服务器的处理资源很可能被占满。采用白山爬虫管理，帮助该电商客户实现精准识别并防护恶意爬虫，减少运维工程师 10%的工作量，帮助网站挽回巨额损失。

售票代理机构未与航空公司签约票务合作协议，无法通过合法途径第一时间获取该航空公司票价。因此其通过机器爬虫方式，实时爬取该航空公司官网票价，导致该航空公司收益受损；非法调用业务接口，导致该航空公司大量用户转移，造成严重的用户流失；安全工程师需要投入更多精力解决爬虫问题，安全运维成本增加。采用白山爬虫管理，帮助该客户日均识别出百余个恶意爬虫行为，相比硬件+策略的方式，识别率提高30%。同时帮助客户全面封禁非法调用行为，有效防止并挽回用户流失。