针对机械故障振动信号的非线性与非平稳特征，提出了一种基于复数微分算子的最优化分解（Optimization Decomposition Based on Complex Differential Operators, 简称CDOOD）方法。该方法通过优化滤波器的参数将非线性信号分解，以得到非线性信号分解余量的能量最小为优化目标，然后在优化过程中运用复数微分算子约束得到多个内禀窄带分量（Intrinsic Narrow-Band Components,简称INBC）。将CDOOD方法应用于仿真信号和机械复合故障信号的分析，并与自适应最稀疏时频分析（Adaptive Sparsest Time Frequency Analysis，简称ASTFA）方法和经验模态分解（Empirical Mode Decomposition，简称EMD）方法进行对比。结果表明，CDOOD能够有效抑制端点效应和模态混淆，并且在提高分量的准确性和正交性等方面具有一定的优势，同时可以有效地应用于旋转机械复合故障的诊断。

针对希尔伯特变换与传统能量算子解调方法的缺点，提出一种新的解调方法——解析能量算子（Analytic Energy Operator，AEO）解调。仿真信号分析结果表明，相对于希尔伯特变换与传统能量算子解调，解析能量算子解调方法具有较高的解调精度。基于解析能量算子解调，又提出基于AEO能量谱的滚动轴承故障诊断方法，对滚动轴承仿真和实验信号进行分析，与其它方法的对比结果表明所提出方法的有效性和优越性。