爬虫管理

基于机器学习的威胁识别系统,采用流式大数据分析、内核包丢弃等技术,无需复杂配置,精准识别爬虫威胁,进行实时有效拦截。

了解更多

产品功能

识别低频爬虫

有效识别低频爬虫,最低可至几次/小时。

识别模拟浏览器行为

有效识别基于抓取程序组成的爬虫,尤其针对由抓取、解析、渲染等程序组成,解析运行JavaScript等外部资源的模拟浏览器行为。

识别伪造User-Agent

精准识别高阶爬虫为混淆与真人浏览器的区别,所伪造的User-Agent。

识别IP池团伙作案

精准识别采用代理IP或云主机IP进行爬取,使得IP地址多变的团伙作案。

识别善意爬虫

精准识别善意爬虫并有效过滤使用。

聚类算法分析

机器学习利用聚类算法分析,汇总用户访问行为趋势,实现正常用户和异常用户的请求行为对比区分。

产品架构

客户案例

爬虫对该客户业务造成的影响包括,爬虫攻击者爬取网站商品价格来做同类商品价格研究,再通过压低价格抢走客户以谋利;大量爬虫实时占用网络带宽,增加 Web 服务的处理开销;当发生大量爬虫攻击, Web 服务器的处理资源很可能被占满。 采用白山爬虫管理,帮助该电商客户实现精准识别并防护恶意爬虫,减少运维工程师 10%的工作量,帮助网站挽回巨额损失。

售票代理机构未与航空公司签约票务合作协议,无法通过合法途径第一时间获取该航空公司票价。因此其通过机器爬虫方式,实时爬取该航空公司官网票价,导致该航空公司收益受损;非法调用业务接口,导致该航空公司大量用户转移,造成严重的用户流失;安全工程师需要投入更多精力解决爬虫问题,安全运维成本增加。 采用白山爬虫管理,帮助该客户日均识别出百余个恶意爬虫行为,相比硬件+策略的方式,识别率提高30%。同时帮助客户全面封禁非法调用行为,有效防止并挽回用户流失。

产品技术 | 解决方案 | 新闻动态 | 关于我们

400-178-8338

邮箱

微博

微信公众号

Copyright © 2015-2021 Baishancloud.
All rights reserved.