要害字:SAM+ 数据库自动备份、失效
故障征象形貌
RG-SAM+ 数据库自动备份功效失效:开启自动备份功效,但对应磁盘下未天生备份数据库文件

故障排查剖析
- SAM+逐日破晓2点准时使命会行列执行数据库备份等使命,详细执行效果会纪录在运维日志里。
- 审查现场运维日志,发明准时使命只执行到某一天,之后就未打印执行日志。判断是此时准时使命异常了未执行,则需要进一步剖析产品准时使命执行情形。
- 审查系统日志中有提醒系统准时器超时而终止。(正常是提醒“系统准时器执行完毕!”)

- 审查底层对应时间的LOG日志:
- LOG日志剖析要领:先用“系统准时器超时而终止”过滤,在用“billingScheduler_Worker”使命线程去过滤

- 发明提醒“系统准时器超时而终止“之前的一个使命:用户用网使用详情(时长)准时器执行时间过长,且竣事时间为10:22,执行时间凌驾3小时,进而整个准时使命阻止。
- 备注准时使命机制说明:5、6两个使命是在破晓2点最先执行,到9点08秒阻止,已最先的使命会继续执行完毕。
- 针对运维日志里“数据库准时使命”。若是有一个使命执行凌驾3小时,只停这一个使命,不会打印阻止日志。
- 阻止日志只关于最先新使命时判断时间是否凌驾9点08秒,凌驾了就打印阻止,就好比下图,用户用网使用详情这个使命就没有执行直接被阻止了。

- 针对用户用网使用详情(时长)准时器执行时间过长的可能缘故原由剖析:
备注:可以拿回现场数据库后台测试执行时间。
- 已检查现场服务器CPU内存知足装置要求,磁盘IO稳固在300M/S以上,数据库分派的最大可用内存是物理内存的一半,以是扫除。
- 该使命是基于用户上网明细表做统计,将ONLINE_DETAIL统计这个表插入到AGGR_RECORD这个内外,需要检查索引是否有丧失,可以参考如下,有少的话说明有保存丧失,可以联系400获取解决对策。(客户现场通过核查也扫除这一点)

故障根因说明
软件问题:
RG-SAM+ 数据库自动备份功效失效的根因是“破晓2点的数据库自动备份”准时器被截断未正常执行,截断的缘故原由是“用户用网使用详情准时器”准时器执行时间过长导致整个系统准时器阻止,执行时间过长的缘故原由是该使命聚合逻辑保存缺陷,在大数据情形下执行很是慢,凌驾产品限制的3小时。
故障解决计划
更新补丁:将原来只有1个线程执行破晓准时使命调解为3个线程并行处置惩罚,提升执行速率
该补丁已合并至4.22P6标准版本,若是4.22P3版本需要打上补丁合集20231025及以上(补丁下载)
如遇故障无法定位解决可转:售后闪电兔 处置惩罚