知一知 · 今日
← 返回本期日报

社媒话题

开发者发帖到Hacker News后网站遭AI爬虫流量淹没

本期日期 2026-10-14 · 01:18 北京时间

Hacker News当日话题分享开发者发布自定义阅读器项目后,网站被大量AI爬虫拖慢的经历。

这位开发者此前将自己开发的可屏蔽LLM相关话题的自定义feed阅读器项目发布到Hacker News,获得百余点赞后网站开始出现异常卡顿,数日后负载仍居高不下。

排查日志后发现近半数流量来自一家AI摘要通讯服务的高频爬虫,其余流量还包括Claude、OpenAI等官方爬虫以及漏洞扫描器的探测请求,多数请求甚至没有触发单页应用的JS渲染流程。

开发者后续通过配置robots.txt放行搜索爬虫、屏蔽多数AI爬虫,同时添加合理的访问速率限制,解决了网站负载过高的问题。

原文来源

Hacker News ↗
返回本期日报打开交互阅读页