
工业数据采集常见问题 · 工程排查指南
工业数据采集断网后如何避免丢数据?缓存、补传与验收方法
避免断网丢数据不能只写“支持断点补传”。需要同时定义采样时间戳、缓存容量、覆盖策略、补传顺序、去重键、网络恢复后的限速及平台确认机制,并通过断网和断电测试验收。
先检查这些信息
- 区分采样周期和上报周期,所有记录应使用采样时间而不是补传时间。
- 按点数、单条记录大小和最长断网时长计算缓存容量,并保留安全余量。
- 确认缓存满后的策略:停止采集、覆盖最旧数据或告警,采购文件必须写明。
- 平台需要按设备ID、时间戳和序号去重,并能识别补传、实时和缺失数据。
建议的排查顺序
- 计算每天数据量:点数×单点字节×每天采样次数,再加协议和索引开销。
- 设定本地时钟与NTP策略,断网期间仍保持可追溯时间戳。
- 配置实时数据优先或历史补传优先策略,并限制恢复后的补传带宽。
- 模拟断网、平台不可达和蜂窝无服务,确认缓存增长、告警和恢复行为。
- 模拟断电并检查未写完记录、文件系统和重启后的续传;平台端核对完整率与重复率。
症状、可能原因与判断方法
| 现象 | 重点检查 | 处理目标 |
|---|---|---|
| 仅网络断开 | 设备继续采样并缓存 | 恢复后顺序补传 |
| 平台拒绝连接 | 保留数据并退避重连 | 不得高速死循环 |
| 缓存即将写满 | 告警并执行明确策略 | 记录丢弃范围 |
| 断电重启 | 缓存持久化和索引恢复 | 验证最后一批数据 |
相关问题
缓存容量应该按几天设计?
按项目允许的最长断网时长、维护响应时间和网络历史可靠性计算,并留出升级和点数增长余量。
网络恢复后为什么平台数据乱序?
补传与实时数据并行时会按到达时间交错,平台必须依据采样时间戳和序号排序。
如何证明断点补传真的有效?
在验收中执行规定时长的断网和断电测试,比较设备采样条数、平台入库条数、重复和缺失记录。
