沉睡十年数据，一招激活智能决策力

　　告警响的那一刻，我正把泡面叉子插进酱包里，没撕开，就杵在那儿——红光在机柜缝隙里一闪，跟去年秋天那台离线三年的备份库日志轮转失败时一模一样。我手抖了下，叉子戳歪，酱挤到键盘F键上。

　　三台机器，不是主备，是十年前搭的三台冷备，一直挂着，连监控都懒得配阈值，只留个心跳探针，还被运维组当吉祥物：「能ping通就行」。开发老张前年还笑着跟我说：「你们真养得起，当数据中心貔貅使。」我说是啊，不吞不吐，纯供着。

　　我原以为要等天亮再看，结果凌晨三点半，告警从单点扩成扇区，中间那台突然扛不住压，开始往上游返错——不是502，是418，带完整堆栈，指向一个叫`/opt/legacy/dt/analyze_v2.py`的脚本。我搜了下全公司git历史，最后一次commit是2014年6月，作者签名：王工（已离职八年）。

　　谁的电话打进来？不是值班组长，是隔壁机房老李，嗓门大：「你那边是不是动了证书轮换？我这儿SSL握手超时都报成毛线团了！」我没接茬，扒拉日志发现：那三台冷备，其实在上周三自动执行了一次定时任务——不是我们设的，是它们自己cron里藏着的，路径都软链到`/usr/local/share/tick/legacy/`，底下有个`.trigger`文件，mtime是去年秋天。没人改过，但它醒了。

　　我删掉`.trigger`，重载cron，三分钟内告警降回零。可第二天复盘，开发小陈盯着屏幕突然笑出声：「哎哟，它醒过来干的第一件事，是把十年间所有归档日志按异常模式聚类，吐了份TOP5决策建议，发到了我们昨天刚开通的智能决策看板。」我看了一眼，第一条建议：「停用v1风控策略，替换为基于行为图谱的实时阻断模型」——那模型是我们上个月刚上线的。第二条更绝：「当前数据库连接池中73%空闲资源，可收缩至2/3规模」，数值准得像抄的。第三条……第三条写着：「建议裁撤冗余告警规则共17项，其中14项触发频率＜0.002次/小时，属误报噪声。」

　　我盯着这三条，手指悬在键盘上半天没敲下去。不是因为多牛，是因为——这根本不是人写的建议。是它自己从十年积灰数据里，硬抠出来、算出来、再比出来的。没有预训练，没有标注样本，就是靠一条shell加一个python2.6脚本，在内存只剩2G的老机器上跑通的。

　　其实最让我麻的不是它醒了，是它醒完没求饶、没报错、没要重启，直接把十年里我们反复补丁却越补越烂的逻辑漏洞，挨个标红了。比如去年春节大促，我们为防雪崩强切了一套容灾开关，结果把库存锁表逻辑绕过去了，造成两万单超卖。而它的第三条建议末尾，括号里小字批注：「2023-01-22 03:17:04 超卖发生前48秒，锁表延迟突增217%，该时段开关策略应禁用」。时间精确到秒。不是推测，是还原。

　　窗外天快亮了，灰白的光从百叶窗斜切进来，照在屏幕上那个`analyze_v2.py`的编辑器窗口边栏——它旁边还开着一个没关的微信对话框，是我妈昨晚发的：「药买好了，快递说今天到」。我没回。她不知道，我上周末陪她去复查，医生说「观察三个月」，而我就在这三个月里，亲手把一台睡了十年的机器给踹醒了。

　　可优胜劣汰这事儿，我早该信。去年夏天我亲眼见过：新集群上线后，我们把一批旧kafka consumer group手动停掉，三天后发现监控曲线诡异地自己抬头上来了——原来下游服务检测到group offline，自动切走了另一套自注册机制，连config center都没惊动。不是人做的，是代码在活。数据也一样，不是死的，是装睡的。它不喊你，但只要你敢动它身边一厘米的环境变量，它就睁眼。去年秋天那次，就是某位同事顺手更新了系统级openssl版本，顺便把冷备机器上的TLS协议栈升了半级——够了，就这一丁点扰动，它就醒了。

文章配图，仅供参考

　　火大的是，这事本来能避免。我该在去年年初就把那些`.trigger`清掉；或者至少，在去年秋天系统升级前，扫一遍所有离线机器的crontab。但我没扫。为什么？因为我以为它们不会动。我以为sleep = off。可事实是，sleep = listening. 只不过监听的是整个系统熵变的临界点。

　　机房很冷。不是空调调低了，是通风管道今年没清洗，吹出来一股铁锈味混着陈年胶皮气。我脱了外套挂椅背上，袖口蹭到键盘上那坨干掉的泡面酱，黑褐色，结壳了。

　　反正现在补啥？补监控？晚了。补告警收敛？它自己都学会收敛了。我准备明早跟开发约个会，就干一件事：把那三台冷备的`analyze_v2.py`扒出来，重写成Go，跑在K8s上——不是为了它干活，是为了看看，当它不靠十年积灰、只靠实时流数据，还能不能给出第三条建议。至于原版？留着。等下次告警再响，我先不杀进程，先截图，发群里，标题就写：「又醒了，这次要聊点新的。」

　　对了，老张今早来过一趟，拎着保温桶，说煮了点银耳羹。「值班别熬太狠。」他掀盖子那会儿热气直往上冲，糊住整个屏幕。我没尝，就看着那雾气，慢慢盖住了`/opt/legacy/dt/analyze_v2.py`那一行路径。挺久，久到我忘了自己上一口饭什么时候吃的。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!