?
?
当前位置:
传感器数据的重建
回复 | 人气 | 打印
MW陈建平 个人主页 给TA发消息 加TA为好友 发表于:2019-08-01 10:27:07 楼主

传感器数据的重建

如果事情有变?#26723;?#21487;能,不管这种可能性有多小,它总会发生。

—— 墨菲定律

 

我们在前面的文章中,给出了一个开发预测性维护系统的总体流程。今天,我们从数据的源头开始,讨论一下工程实现可能碰到的第一个问题:传感器数据的重建


在预测性维护场景下,我们的处理对象都是来自于传感器或者其他手段获取的时间序列,在信号处理领域叫做信号。而传统机器学习或者分析方法都是基于点(没有时间轴)的方法,与之大相径庭。这是由预测性维护的数据特点决定的:数据来?#20174;?#36830;续的传感器采样或者人工连续记录。我们一般习惯上称这一类的数据叫做工程数据,对应的分析方法叫工程数据分析


为了复用现有的基于点的处理方法,比如机器学习算法,我们需要把连续采样的数据按照某种方法,比如滑窗法,转化为适合于点的数据。比如图. 1所示的信号中,我们几乎无法直接观察出足够的信息。我们需要采用信号分析的方法和手段来提取信息,常见的包括时频信号分析和小波分析。比如,我们可以从振动传感器中提取出机?#26723;?#36716;动周期的随时间的变化信息,以跟踪机械设备的运转状态。

resampling-sensor-data.png

Figure 1: 一对传感器信号,几乎不太可能从时域信号中直接得到有用的信息


本文中,我们将分析非均匀采样带来的影响,并讨论如何非均匀采样和样点缺失进行信号重建,如下图的绿色方框所示。

resampling-workflow.png


一个预测性维护系统的预处理流程


非均匀采样及其影响

现代的信号分析经过长时间的发展,几乎所有现有能用的信号分析方法都基于均匀连续采样。现实工程数据中,可能出现既非均匀,又非连续的数据。比如,一些历史数据是通过人工采样搜集的,采样时刻偏差几乎一定会存在。即使我们采用传感器搜集数据,也可能因为干扰导致采样点缺失,甚至出现大片数据丢失。而对于精度要求较高的场合,温度等外界条件的变化?#19981;?#23548;致晶振出现频率漂?#39057;?#33268;采样偏差。


resampling-large-gap.png

Figure 2: 非理想采样导致的数据丢失


非理想采样数据不可避免,我们需要有相应的手段把非均匀采样或者数据丢失引起的误差控制在最小的?#27573;?#20869;。我们从一段理想信号的采样分析开始,来看一看非均匀采样对后续预处理潜在的干扰。

视频中,我们在 40kHz 的采样速率下,对两个理想的正弦信号,频率分别为 5kHz 15kHz 进行采样,视频是对在不同的采样时间偏差(正态分布)下的频域的观测结果。理想采样情况下,应该是在 5kHz 15kHz 下的两个尖脉冲。


左边的尖峰和右边的尖峰分别是没有采样干扰下的理想信号,非常尖锐,对其他的频率干扰几乎都?#31181;?#22312; 100dB 以下。而蓝色功率和绿色功率谱分别是在相同的采样偏差下的采样信号。我们从这?#38382;?#39057;可以观察到: 1. 随着信号频率的增加,相同采样偏差带来的信号功率损失增大。 2. 随着信号频率的增加,相同采样偏差带来的噪声功率越大。 3. 随着采样偏差的增加,相同的信号的功率损失增大,带外噪声随之增加。

在预测性维护场景下,我们经常需要从一些缓变的信号里寻求突变,比如机械故障可能给震动传感器里可以观测到高?#26723;?#31361;发频谱,采样的噪声和特征混合在一起,无法通过传统的滤波的方法滤除

非均匀采样可能会导致一下问题:

1.      采样噪声增加,干扰特征提取;

2.     增加数据的存储量,我们需要同时存储时间轴和幅度轴;

信号重采样

从上面的简单讨论可知,非均匀采样可能会在特征处带来额外的噪声,导致我们提取的特征失效。除非从源头上保证均匀采样,我们无法根除非均匀采样带来的噪声,只能对齐均匀化最大限度保留有用信息。我们用 MATLAB 信号处理工具箱自带的 resample 函数就可以实?#20013;?#21495;的均匀化。


[y, ty] = resample(x, tx, 100, 'spline');


代码里的变量 x tx 是非均匀采样的信号的时间和幅度矢量,输出 y ty 是经过均匀化采样以后的信号。我们需要针对不同的场景选择合适的差值方法,这里我们采用样条插值来恢复信号。具体工程中,根据需求,我们也可以用其他方法实现重采样。比如对于边缘设备这些计算能力很差的?#24230;?#24335;设备,我们可能会用更加简单的线性差值方法重采样。

resampling-spectrum.png

Figure 3: 不同频率信号重采样结果

这个图展示的是对 10Hz 40Hz 的正弦信号的重采样的功率谱。频域中,较高频率的正弦波(40 Hz)具有比?#31995;?#39057;率正弦波(10 Hz)更大的缺陷。在频域显示中,重采样的 40Hz 正弦波具有大约-30dB 的基?#33258;?#22768;,而重采样的 10Hz 正弦波具有大约 -80dB 的基?#33258;?#22768;。避免输入信号中的高?#30340;?#23481;的一种方法是在执行随机采样时增加平均采样率。请注意,如果只是增加重采样输出信号的采样率,则无助于?#26723;?#26412;?#33258;?#22768;。

重采样有助于尽可能保留信息,减少采样噪声带来的干扰,减少信号的传输。而最后?#22351;?#23545;于基于无线传输的设备意义重大。

丢失样点的填充

在多个传感器收集数据的情况下,通常会发现这种少量样点丢失的信号。这种丢失的数据会零零散散分布到信号的各个时间点,如果你把这类问题看成非均匀采样的情况,采用简单的重采样操作就可以恢复信号,蓝色 x 点都是补齐的样点:

resampling-small-gap.png

Figure 4: 少量样点丢失的恢复


在某些特殊的条件下,我们会碰到信号较长宽度的缺损的问题。比如,传感器停机几秒后再?#20301;?#22797;,就会导致有一段连续的信号丢失的情况。技术上,我们可以采用跟踪原始信号走势,根据信号的历史数据,构建出一些回归模型来填充大数据段。这类问题的处理方法多种多样,其中 fillgaps 函数经常用于这个目的。


resampling-rebuilt.png

Figure 5: 左侧是重建前的数据,?#20063;?#26159;重建之后的数据。这是一种基于统计学的重建方法,可以看到,二者的时域是有一定的差异的;如果从频域来观察,二者将十分相似。

结论

在预测性维护的第一步,信号采集中,我们可能碰到非均匀采样和样点丢失的问题。这类问题可能带来对特征提取的干扰,影响我们后续处理的精度,甚至于无法采用某些算法。本文中给出了一些简单的解决方法。在真?#26723;?#24037;程现场,我们可能碰到更加复杂的情况,需要综?#26174;?#29992;领域知识重建信号。重建出连续均匀信号有利于复用常用分析例程和压缩数据,这?#22351;?#23545;于 IoT 和边缘设备尤其重要。


下一次,我们来探讨一下如何通过时频分析和可视化手段来探索传感器数据特征。


分享到: 关注收藏 邀请回答 回复 举报
?
GKstudying 个人主页 给TA发消息 加TA为好友 发表于:2019-08-20 16:46:29 1楼
 

对于预测性维护来说,数据采集是基础

  回复 引用 举报
寻找山吹 个人主页 给TA发消息 加TA为好友 发表于:2019-08-20 16:48:15 2楼
 

妥妥的技术干货,拜读了

  回复 引用 举报
研讨会宣传员_3259 个人主页 给TA发消息 加TA为好友 发表于:2019-08-20 17:05:56 3楼
 

这可是纯梁酿造呀。满满 干货。

  回复 引用 举报
AC米兰 个人主页 给TA发消息 加TA为好友 发表于:2019-08-21 09:05:18 4楼
 

数据采样再进行分析对于维护分析尤为重要

  回复 引用 举报
左?#21152;?#24819; 个人主页 给TA发消息 加TA为好友 发表于:2019-08-21 09:15:04 5楼
 

没接触过,来学习学习,进?#24615;?#27979;性维护都是需要传感器就行数据采集吗前期?

  回复 引用 举报
痛罚 个人主页 给TA发消息 加TA为好友 发表于:2019-08-21 10:51:48 6楼
 

物联网领域有实际的解决案例没,比较感兴趣

  回复 引用 举报
hjh_h 个人主页 给TA发消息 加TA为好友 发表于:2019-08-21 10:53:12 7楼
 

预测性维护没怎么接触过,看起来好深奥,小白

  回复 引用 举报
hjh_h 个人主页 给TA发消息 加TA为好友 发表于:2019-08-21 10:53:54 8楼
 

这种的数据分析是用什么软件?有专门的分析工具?

  回复 引用 举报
kitecrying 个人主页 给TA发消息 加TA为好友 发表于:2019-08-21 13:26:04 9楼
 

大神又更新新作了呀,仔细读读,学习学习,

  回复 引用 举报
kitecrying 个人主页 给TA发消息 加TA为好友 发表于:2019-08-21 13:27:42 10楼
 

对对,结?#20064;?#20363;说应该更直观

引用 痛罚 的回复内容: 物联网领域有实际的解决案例没,比较感兴趣

-------------------------


  回复 引用 举报
大城小熊 个人主页 给TA发消息 加TA为好友 发表于:2019-08-21 13:28:58 11楼
 

作者是做技术分析研究的吗,文章的理论性很强

  回复 引用 举报
电工00 个人主页 给TA发消息 加TA为好友 发表于:2019-08-23 10:19:16 12楼
 

预测性维护在什么领域应用的多呢

  回复 引用 举报
电工00 个人主页 给TA发消息 加TA为好友 发表于:2019-08-23 10:19:42 13楼
 


回复内容?#21644;?#24863;,文章理论比较多

对: 大城小熊 作者是做技术分析研究的吗,文章的理论性很强 内容的回复!

-------------------------


  回复 引用 举报
电工00 个人主页 给TA发消息 加TA为好友 发表于:2019-08-23 10:20:10 14楼
 


回复内容:应该是得有专门的软件进行数据分析吧

对: hjh_h 这种的数据分析是用什么软件?有专门的分析工具? 内容的回复!

-------------------------


  回复 引用 举报
浮生小偷 个人主页 给TA发消息 加TA为好友 发表于:2019-08-23 10:22:46 15楼
 

预测性维护在国内应用的多吗,听说过这个概念,但没实?#24335;?#35302;过,这个对维护人员的综合专业知识要求比较高吧

  回复 引用 举报
浮生小偷 个人主页 给TA发消息 加TA为好友 发表于:2019-08-23 10:23:44 16楼
 

应该是未来维护的发展趋势,有机会学习学习吧

  回复 引用 举报
lizongming0908 个人主页 给TA发消息 加TA为好友 发表于:2019-08-23 10:26:14 17楼
 

对维护型的公司有很大的帮助,减少维护人员的工作量提高效率,前提得进行一系列的专业培训

  回复 引用 举报
lizongming0908 个人主页 给TA发消息 加TA为好友 发表于:2019-08-23 10:26:34 18楼
 


回复内容:有的

对: hjh_h 这种的数据分析是用什么软件?有专门的分析工具? 内容的回复!

-------------------------


  回复 引用 举报
mengbin 个人主页 给TA发消息 加TA为好友 发表于:2019-08-23 17:13:21 19楼
 

学习了 ,好经验谢谢!

  回复 引用 举报
长歌 个人主页 给TA发消息 加TA为好友 发表于:2019-08-25 09:42:29 20楼
 

预测性维护没怎么接触过,看起来好深奥

  回复 引用 举报
student 个人主页 给TA发消息 加TA为好友 发表于:2019-08-25 20:05:55 21楼
 

预测性维护在什么领域应用的多呢

  回复 引用 举报
gongkonglaj 个人主页 给TA发消息 加TA为好友 发表于:2019-08-26 11:35:46 22楼
 

预测性维护,关键是需要数字化、智能化设备的支撑。

  回复 引用 举报
你猜你猜 个人主页 给TA发消息 加TA为好友 发表于:2019-09-04 10:00:31 23楼
 

预测性维护是工业互联网领域的明星应用,?#32531;?#22810;专?#39029;?#20026;<此处内容被屏蔽>级应用。

  回复 引用 举报
戒心 个人主页 给TA发消息 加TA为好友 发表于:2019-09-04 23:06:31 24楼
 

学习了,不错呀

  回复 引用 举报
万物一 个人主页 给TA发消息 加TA为好友 发表于:2019-09-17 20:01:38 25楼
 

感谢楼主分享这么好的东西,支持

  回复 引用 举报
晨羽远 个人主页 给TA发消息 加TA为好友 发表于:2019-09-23 23:06:02 26楼
 

我是进来打?#20174;?#30340;

  回复 引用 举报
Mr李先生 个人主页 给TA发消息 加TA为好友 发表于:2019-09-24 13:44:20 27楼
 

谢谢分享 谢谢分享 谢谢分享 谢谢分享

  回复 引用 举报
?
周点击排行
周回复排行
最新求助
Advertisement
?
? 2019最新自拍国产