针对机械故障振动信号的非线性与非平稳特征,提出了一种基于复数微分算子的最优化分解(Optimization Decomposition Based on Complex Differential Operators, 简称CDOOD)方法。该方法通过优化滤波器的参数将非线性信号分解,以得到非线性信号分解余量的能量最小为优化目标,然后在优化过程中运用复数微分算子约束得到多个内禀窄带分量(Intrinsic Narrow-Band Components,简称INBC)。将CDOOD方法应用于仿真信号和机械复合故障信号的分析,并与自适应最稀疏时频分析(Adaptive Sparsest Time Frequency Analysis,简称ASTFA)方法和经验模态分解(Empirical Mode Decomposition,简称EMD)方法进行对比。结果表明,CDOOD能够有效抑制端点效应和模态混淆,并且在提高分量的准确性和正交性等方面具有一定的优势,同时可以有效地应用于旋转机械复合故障的诊断。