社媒话题
开发者发帖到Hacker News后网站遭AI爬虫流量淹没
Hacker News当日话题分享开发者发布自定义阅读器项目后,网站被大量AI爬虫拖慢的经历。
这位开发者此前将自己开发的可屏蔽LLM相关话题的自定义feed阅读器项目发布到Hacker News,获得百余点赞后网站开始出现异常卡顿,数日后负载仍居高不下。
排查日志后发现近半数流量来自一家AI摘要通讯服务的高频爬虫,其余流量还包括Claude、OpenAI等官方爬虫以及漏洞扫描器的探测请求,多数请求甚至没有触发单页应用的JS渲染流程。
开发者后续通过配置robots.txt放行搜索爬虫、屏蔽多数AI爬虫,同时添加合理的访问速率限制,解决了网站负载过高的问题。