【故障报告】为什么论坛最近卡了好几次
各位坛友好，想必各位最近也注意到了，论坛在近期出现了多次卡顿情况。
具体来说，在过去60天内，论坛共出现了6次较为明显的可用性下降，总掉线时间约5小时30分钟，而访问速度下降的时间则累计超过14小时。
卡顿的根因主要分为两个方面：1. 持续的高强度爬虫扫描&CC攻击导致的响应缓慢 2. 论坛代码bug加上假期访问量增加导致的流量耗尽。
第一个方面，论坛目前每天会收到大量的爬虫访问，除了传统的搜索引擎爬虫外，还有大量来自AI训练商、数据提供商的爬虫。虽然大部分爬虫均保持了合理的爬取频率，但加起来仍对网站造成了一定压力。另外还有极个别爬虫（对就是MetaAI，评价为人菜瘾大）在短时间进行大量爬取，会对网站造成较大压力。另外，部分爬虫会尝试爬取动态生成的页面，例如搜索结果页、点赞投票接口等，导致触发又一次搜索或是数据库查询，大量消耗服务器资源。此外还有部分野生爬虫（未声明所属公司，尝试伪装为用户）不遵守相关限制，在爬取失败的情况下反复重试，并更换大量IP，已经构成了类似于CC攻击的效果。
【处置措施】
1. 升级了论坛服务器配置，更换了http服务器以提高性能
2. 更新了 robots.txt，明确声明搜索/投票/点赞接口禁止爬取
3. 同时在http服务器层面设置过滤规则，如果发现访问信息中包含bot特征，则禁止访问动态接口和页面
【处置效果】
自7月15日后未观察到因爬虫导致的访问中断
第二个方面，论坛在迁移到新服务商后，虽然获得了较大的服务器费用折扣，但新服务商对于论坛流量采用双向计费，即上传和下载都计入流量消耗。此前每月购买了800GB的流量包（不包含mod和附件下载），于7月下旬消耗完毕，导致论坛访问被限速。在增加了额外流量后，于8月5日再次消耗完毕。经调查，该故障的根因是论坛附件上传部分的代码存在缺陷。
论坛会对图片尝试生成缩略图，在此期间需要将图片从云存储系统下载到本地，在新计费模式下产生流量消耗。而相关图片处理代码无法正确处理动图gif，导致缩略图生成失败。因此当有用户访问包含动图的页面时，对每张图片产生数百次下载尝试，进而快速消耗流量。在服务器搬迁前，由于服务器和云存储系统隶属于同一服务商，因此该部分流量不计费，所以一直未能注意到bug。
【处置措施】
1. 上述bug已经修正，不再尝试对动图进行压缩或其它二次处理
2. 每月流量包调整为1.4TB，确保暑期流量充足
【处置效果】
修复部署后观察到服务器平均下行流量显著减少，正在进一步观察并统计流量消耗。如仍然不足则会进一步提升每月流量包容量。
另外需要说明的是，以上性能问题均与论坛的大语言模型审核系统无关。审核系统使用第三方大模型，对服务器本身无额外压力。
感谢各位对论坛工作的支持
jn_xyp
2026年8月8日
{:tieba_01:} 难怪有时登不上去，长见识了{:tieba_50:} {:5_119:} 辛苦了~
唔.....据观察..多次发现瀑布流图片被重复读取/下载(下载数), 这可能会非常浪费流量? 说是人工那不太可能, 因为顺序瀑布流的图片下载量每次都一样,
在外部窗口保存..论坛页不会计数下载量, 所以服务器有压制图形吗? 同尺寸jpg格式会节能很多, 而且清晰度损失很小, 唔唔...这会是有用的信息吗{:5_124:}
[←完全不懂服务器的人]
{:5_124:} {:tieba_22:}{:tieba_12:} 辛苦了{:5_119:} 我说咋突然登不上去了 辛苦了喵{:5_124:} 遇到的问题全部解决了，赞{:tieba_15:} 非常好修复使我核心旋转，爱来自人之领母舰 辛苦了 辛苦大佬 幸苦了 非常好修复，使我的mod下载 AIYHBVDCX 发表于 2026-8-7 21:19
辛苦了~
唔.....据观察..多次发现瀑布流图片被重复读取/下载(下载数), 这可能会非常浪费流量? 说是人工那不 ...
感谢建议！目前论坛不会对上传的图片文件本身做任何压缩处理，缩略图仅作为在编辑器中查看时使用。这主要是考虑到部分mod展示图片以及素材对图片精度（清晰度、透明边缘）要求较高，因此压缩后可能会丢失细节。
由于图片和附件都是通过CDN系统分发的，所以下载并不会占用论坛本身带宽。同时因为有缓存机制，所以反复刷新同一页面并不会消耗太多流量。
本次事故总体上和图片大小无关（缩略图反复下载是代码逻辑问题、爬虫访问时论坛本身处理能力限制），因此目前会继续保持提供原图。 星域杂工jn_xyp 发表于 2026-8-11 13:22
感谢建议！目前论坛不会对上传的图片文件本身做任何压缩处理，缩略图仅作为在编辑器中查看时使用。这主要 ...
嘛..其实我之前说的不太准确, 多图片瀑布流即使藏在迷你折叠里, 下载序列次数也会是一样的,
也就是说可能有单线程爬虫读取页面就一口气下载全部图片了, 如果图片没压的话感觉会浪费很多流量喵!
如果我使用bug隐藏式折叠呢? 下载数甚至也是一样的....
→这里这是折叠的内容←这里?
等等...好像没啥问题? 那好叭~ 总之辛苦你啦! 爱你~(๑′ᴗ‵๑)Ｉ Lᵒᵛᵉᵧₒᵤ❤
想起来以前听过的某个app的离谱故事，大概是因为客户端代码写的太烂，会把用户的头像反复保存导致使用超出原本预期数十倍的流量，甚至因为这个已经承担不起运营费用准备关站了
知道他们发现问题之后又马上打赢了复活赛 ValeryMoskaunia 发表于 2026-8-30 23:26
想起来以前听过的某个app的离谱故事，大概是因为客户端代码写的太烂，会把用户的头像反复保存导致使用超出 ...
乐，我们这边之前也出现过类似问题，不过只是导致流量消耗增加30%左右
页:
[1]