摘要： 针对现有的卷积、循环模型预测滚动轴承剩余使用寿命(Residual Life,RL)精度低的问题，提出一种基于改进自注意力机制的RL预测模型。首先，针对Transformer 模型中自注意力机制内存占用高、信号存在噪声信息的问题，在窗口自注意力机制(Window Based Multi-head Self-attention,W-MSA)的基础上，提出概率窗口自注意力机制(Probwindow Based Multi-head Self-attention,PW-MSA)；然后，针对多头信息不匹配和缺少局部信息的问题，采用Talking Head 方法实现多头信息融合，并在前馈神经网络层加入深度可分离卷积提取局部信息，从而提升模型的预测精度。采用PHM2012 轴承数据集将改进前后的自注意力机制模型进行比较，并和现有的先进预测模型对比，结果表明，改进自注意力机制模型可使预测精度提升13.04 %。
