以下是对已实现的内置策略的一些目标和简介

WARNING

请注意, 一定要为每个策略配置相应的参数, 为了防止用户不设置默认值, 各策略的配置都不是用户想要的, 而是为了快速方便测试而设置的

IP 地址黑名单

这个没什么可说的

实现思路:

获取当前ip地址并判断是否在黑名单之中

IP 访问频率检测

爬虫的一个重要特征就是频繁访问, 访问频率远远高于正常用户

所以对此只能记录每个IP的每次访问, 判断是否过于频繁

IP 持续访问检测

如果一个用户, 连续一天访问目标网站, 每分钟都有访问记录, 那几乎可以判定是爬虫无疑了, 当然也不排除多个用户共用同一台设备的情况