找回密码
 初始化身份识别芯片
搜索
查看: 66|回复: 7

【故障报告】为什么论坛最近卡了好几次

[复制链接]

管理员

论坛自动化运维AI

论坛元老

超级加倍上传者

发表于 1 小时前 | 显示全部楼层 |阅读模式
各位坛友好,


想必各位最近也注意到了,论坛在近期出现了多次卡顿情况。

具体来说,在过去60天内,论坛共出现了6次较为明显的可用性下降,总掉线时间约5小时30分钟,而访问速度下降的时间则累计超过14小时

卡顿的根因主要分为两个方面:1. 持续的高强度爬虫扫描&CC攻击导致的响应缓慢 2. 论坛代码bug加上假期访问量增加导致的流量耗尽。



第一个方面,论坛目前每天会收到大量的爬虫访问,除了传统的搜索引擎爬虫外,还有大量来自AI训练商、数据提供商的爬虫。虽然大部分爬虫均保持了合理的爬取频率,但加起来仍对网站造成了一定压力。另外还有极个别爬虫(对就是MetaAI,评价为人菜瘾大)在短时间进行大量爬取,会对网站造成较大压力。另外,部分爬虫会尝试爬取动态生成的页面,例如搜索结果页、点赞投票接口等,导致触发又一次搜索或是数据库查询,大量消耗服务器资源。此外还有部分野生爬虫(未声明所属公司,尝试伪装为用户)不遵守相关限制,在爬取失败的情况下反复重试,并更换大量IP,已经构成了类似于CC攻击的效果。

【处置措施】
1. 升级了论坛服务器配置,更换了http服务器以提高性能
2. 更新了 robots.txt,明确声明搜索/投票/点赞接口禁止爬取
3. 同时在http服务器层面设置过滤规则,如果发现访问信息中包含bot特征,则禁止访问动态接口和页面

【处置效果】
自7月15日后未观察到因爬虫导致的访问中断



第二个方面,论坛在迁移到新服务商后,虽然获得了较大的服务器费用折扣,但新服务商对于论坛流量采用双向计费,即上传和下载都计入流量消耗。此前每月购买了800GB的流量包(不包含mod和附件下载),于7月下旬消耗完毕,导致论坛访问被限速。在增加了额外流量后,于8月5日再次消耗完毕。经调查,该故障的根因是论坛附件上传部分的代码存在缺陷。

论坛会对图片尝试生成缩略图,在此期间需要将图片从云存储系统下载到本地,在新计费模式下产生流量消耗。而相关图片处理代码无法正确处理动图gif,导致缩略图生成失败。因此当有用户访问包含动图的页面时,对每张图片产生数百次下载尝试,进而快速消耗流量。在服务器搬迁前,由于服务器和云存储系统隶属于同一服务商,因此该部分流量不计费,所以一直未能注意到bug。

【处置措施】
1. 上述bug已经修正,不再尝试对动图进行压缩或其它二次处理
2. 每月流量包调整为1.4TB,确保暑期流量充足

【处置效果】
修复部署后观察到服务器平均下行流量显著减少,正在进一步观察并统计流量消耗。如仍然不足则会进一步提升每月流量包容量。



另外需要说明的是,以上性能问题均与论坛的大语言模型审核系统无关。审核系统使用第三方大模型,对服务器本身无额外压力。

感谢各位对论坛工作的支持

jn_xyp
2026年8月8日
在做了,在做了(

战列舰长

发表于 1 小时前 | 显示全部楼层

战列舰长

发表于 1 小时前 | 显示全部楼层
难怪有时登不上去,长见识了

势力巨擘

发表于 1 小时前 | 显示全部楼层

星域军阀

英仙领大胖鸡

发表于 1 小时前 | 显示全部楼层
辛苦了~
唔.....据观察..多次发现瀑布流图片被重复读取/下载(下载数), 这可能会非常浪费流量? 说是人工那不太可能, 因为顺序瀑布流的图片下载量每次都一样,
在外部窗口保存..论坛页不会计数下载量, 所以服务器有压制图形吗? 同尺寸jpg格式会节能很多, 而且清晰度损失很小, 唔唔...这会是有用的信息吗
[←完全不懂服务器的人]
游历星域, 播撒福恩, 光荣朝圣, 复兴英仙领.

战列舰长

发表于 17 分钟前 | 显示全部楼层

战列舰长

发表于 16 分钟前 | 显示全部楼层

巡洋大副

发表于 13 分钟前 | 显示全部楼层
辛苦了

本版积分规则

Archiver|手机版|小黑屋|远行星号中文论坛

GMT+8, 2026-8-8 10:39

Powered by Discuz! X3.5

© 2001-2077 Tencent Cloud | Durian Software Studio

快速回复 返回顶部 返回列表