客户端工程师创业踩坑：冷启动与基建实战复盘

　　告警响的那一刻，我正把泡面桶从键盘上拎起来，汤汁滴在散热口里滋啦一声——机房空调开得贼冷，后颈直起鸡皮疙瘩。手机震了三下，开发老张语音弹出来：“证书续上了没？用户登录全挂了。”我没回，因为监控屏右下角那行红字比他声音还快：ssl_handshake_failed × 47（集群）。

　　我原以为是Let’s Encrypt自动轮转又抽风，毕竟去年十月也这样过，删掉旧证书重跑certbot就行。结果ssh进去一看，/etc/letsencrypt/live/ 下空的——不是失效，是压根没生成。再查cron日志，发现这破脚本从八月初就静默退出，退出码127，PATH里缺pip3。谁配的环境？开发说“上线前测过”，运维同事甩给我个截图，是他们本地Docker-compose up -d 后 curl -I https://api 返回200。对，就是那个连证书都没挂上的自签名https://localhost:8080。他们当真了。

　　反正这事没备份。我没做acme.sh状态快照，也没存certbot的日志轮转配置。你说我懒？行，我认。但更懒得跟第三个人解释“为什么线上没走CI/CD流程签发证书”——因为开发自己写的部署脚本里硬编码了openssl req -x509 -days 30，三十天后那天，没人记得删掉那行注释：“临时用，上线就换”。临时，用到了八月十七号凌晨三点半。

　　屏幕上还开着两扇窗口：左边是grafana面板，cpu线平得像尺子量过；右边是钉钉群，开发小王刚发了个emoji ????，配字：“茶已续上，等你救场”。窗外天快亮了，蓝灰色的光从百叶窗缝里漏进来，照着机柜上贴的便签，字迹潦草：“备用证书U盘在抽屉第二格——但U盘丢了”。是我上周拿去拷Windows测试包，回来忘插回去了。

　　迁移复盘？呵。七月底那次数据库切流，我们把主库从物理机迁到云上K8s，只动了statefulset的volumeClaimTemplates，忘了改Pod的securityContext.runAsUser——新Pod跑不起来，旧Pod被HPA缩容到零，三台机器直接集体sleep。机房的人打来电话问我“是不是要断电做维护”，我说“不用，我们自己拔网线”。他沉默三秒，说：“哦…那我继续擦我的玻璃”。

　　其实最麻的是备份本身。我们定了策略：每日全量+每小时binlog。执行了两周，之后某天发现S3 bucket权限变了，备份进程写入失败但不报错——因为开发顺手把curl -f 改成 curl -s，-f 被删了，-s把所有4xx/5xx吞得干干净净。没人看日志，没人盯S3目录的LastModified时间戳。备份存在，就是空文件夹。我查了三个月前的一次restore演练记录，当时恢复成功，是因为他们手动传了测试SQL进去占位。对，占位。

文章配图，仅供参考

　　客户端工程师创业踩坑？不，是客户端工程师用C++写SDK、用Flutter搭界面、用Postman测接口，转头自己配nginx、手搓TLS、给etcd集群手敲systemctl start，最后蹲在IDC机柜前听硬盘咔哒声——听三分钟，判断是坏道还是供电不稳。听错了，就回滚慢；听对了，也就多活二十分钟。优胜劣汰？站得住。不是因为谁技术强，是那个凌晨三点还敢把rm -rf /var/lib/docker/volumes// _data/ 敲进生产终端、敲完才想起来没加--dry-run的人，第二天肯定不来了。

　　上次回滚我们用的是上周五的RDS快照，恢复花了四十分钟。这次我打算把快照逻辑挪进应用层——用户登录时先写一笔“预认证流水”，哪怕DB挂了，也能靠Redis缓存撑两小时。至于证书？不搞ACME了。下周开始，让开发每次merge进main之前，必须手动提交一个txt文件，叫cert_expires.txt，内容就一行日期。我每天早上八点grep它，到期前三天钉钉艾特全员。简单粗暴。蠢是蠢了点，但至少比等告警响了再去舔泡面汤强。

　　这事本来能避免。如果八月一号我就把certbot检查塞进健康探针里；如果第一次迁移失败后我们真写了复盘而不是在群里互发“下次注意”；如果…算了，面汤凉透了，我直接倒了。杯底粘着一坨脱水蔬菜，像极了某个没跑通的gRPC服务注册节点。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!