[发明专利]一种基于语谱图识别的歌词时间戳生成方法

摘要

本发明公开了一种基于语谱图识别的歌词时间戳生成方法，步骤S1：利用音频空间位置差异分离人声与伴奏；步骤S2：根据响度与BPM对处理后的音频作基于行的时间分割；步骤S3：将上述分割后的音频转化为语谱图，并利用图像识别对其进行基于单字的时间分割，得到所需的歌词时间戳。采用本发明的技术方案，将原始音频进行人声提取，并结合Adaboost模型对其语谱图进行识别，能有效提高对齐准确性，并大大降低人工对齐的成本。

主权项

1.一种基于语谱图识别的歌词时间戳生成方法，其特征在于，至少包括以下步骤：/n步骤S1：利用音频空间位置差异分离人声与伴奏；/n步骤S2：根据响度与BPM对处理后的音频作基于行的时间分割；/n步骤S3：将经步骤S2分割后的音频转化为语谱图，并利用图像识别对其进行基于单字的时间分割，得到所需的歌词时间戳；/n其中，所述步骤S1进一步包括：/n步骤S1.1：分别获取音频左右声道的音频信息，并对左声道音频作反转处理，反转处理公式如下：/n /n其中，代表左声道每个采样点反转后的信息，代表左声道每个原始采样点信息，即对应时间i下的振幅x；左声道每个采样点信息表示为：/n /n其中表示位于中置声道的每个采样点信息，表示左声道中偏离中置声道的音频信息；/n步骤S1.2：将反转后的左声道音频叠加至右声道上，得到远离中置声道的音频，其叠加公式如下：/n /n式中为每个远离中置声道的音频采样点，为右声道每个采样点的原始数据，为左声道中偏离中置声道的音频信息；/n步骤S1.3：依据上述得到的远离中置声道的音频作中置声道析取，得到中置声道音频，中置声道表达式为：/n /n /n其中为每个位于中置声道音频信息的采样信息，sign(*)为符号函数，x_i是原始音频合并左右声道合并后的采样点信息；/n步骤S1.4：对得到的中置声道作滤波处理：/n /n其中为滤波后得到的音频采样点信息，f(*)函数表示滤波函数；/n步骤S1.5：对原始音频及上述步骤S1.4得到的音频作基音检测，基音检测公式如下：/n /n其中T表示其间周期，τ_min表示基音周期最小值，τ_max表示基音周期最大值，argmin表示取最小自变量；/n步骤S1.6：将两者基音作比较，判断差异点，并依据差异点返回步骤S1.4调整该时间范围内的滤波参数，最终得到分离后的人声/n所述步骤S1.4进一步包括：/n步骤S1.4.1：使用线性预测的方法估计噪声；/n步骤S1.4.2：对原始音频及估计噪声作DFT处理，解得其功率谱；/n步骤S1.4.3：对两者功率谱相减后求其二范数；/n步骤S1.4.4：利用噪声相位作相位变换；/n步骤S1.4.5：对最终结果作IDFT处理；/n所述步骤S1.5进一步包括：/n步骤S1.5.1：对输入的音频数据作DFT处理，得到其复数谱；/n步骤S1.5.2：对复数谱的模长作平方运算，得到功率谱；/n步骤S1.5.3：对功率谱取对数后作IDFT，最终得到其倒谱；/n所述步骤S2进一步包括：/n步骤S2.1：以音频响度为阈值分隔音频，并与输入的歌词行数作对比，得到基于行的分划S_j,j＝1,2,…；/n步骤S2.2：对每个分划S_j作BPM检测，其中BPM表示每分钟节拍数；/n步骤S2.3：对BPM值突变的分划做出标记，记作/n步骤S2.4：采用二分法，对每个标记的分划取时间中点为分划点作再分划并对每个分划再次检测BPM，直到BPM变化值小于给定值A或循环次数超过给定范围；如BPM变化值小于给定值，则取消该分划的标记，否则将BPM突变的点视作一个新的分划点，将原本标记的分划修改成两个新的分划；/n步骤S2.5：对新的分划个数与歌词行数对比，其中，如果分划个数与歌词行数相等，则进行步骤S3；如果分划个数小于歌词行数，加大BPM变化值阈值，返回步骤S2.5，得到新的分划；如果分划个数大于歌词行数的，减小BPM变化值阈值，返回步骤S2.5，得到新的分划；直到分划个数与歌词行数相等，进入步骤S3；/n所述步骤S2.2进一步包括：/n步骤S2.2.1：对某个小区间作相位估计，若其相位估计值与实践值相差过大，则认定其为起始点；/n步骤S2.2.2：对起始点信息作平滑滤波处理；/n步骤S2.2.3：对上述起始点函数作移动均值门限预处理；/n步骤S2.2.4：计算其自相关函数；/n步骤S2.2.5：通过构建HMM预测下一帧的节拍速度；/n步骤S2.2.5：输出节拍周期；/n其中，BPM计算公式如下：/n /n /n /n其中Φ_i表示每个时间点处估计相位与实际相位的差，φ_i是实际相位，为估计相位，t_i为给定时间点，N表示在该分划下的时间点总个数，Time是该分划总时间，单位为分钟，A表示相位差阈值；/n所述步骤S3进一步包括：/n步骤S3.1：将步骤S1分离出的人声转化为语谱图；/n步骤S3.2：设置图像识别模块，使用Adaboost机器学习算法，对步骤S2给出的每行音频的语谱图作检测，找出其中能量密度最大的部分，并基于能量密度对该行音频的时间再次分割，得到每部分的音频时间T_j,w及总分割数N_j；/n步骤S3.3：对给定的歌词在该行字数与步骤S3.2分割总数对比，若字数与分割总数相等，则将分割时间作为该行歌词的时间戳；其它情况则返回步骤S3.2，修改分类器权重后重新计算；同时记录下该行的循环次数，同之前对比的行的循环次数作比较，若循环次数不断递增，则以之前行中循环次数最小的行为基准，在该行之后的行返回步骤S2重新分划音频，该行及该行之前的语句则保留歌词时间戳；/n步骤S3.4：输出整首歌曲的歌词时间戳；/n所述步骤S3.1进一步包括：/n步骤S3.1.1：预加重处理：/n /n其中为处理后的音频数据；/n步骤S3.1.2：以10ms为帧长进行分帧；/n步骤S3.1.3：对每一帧加窗，优选地，使用汉明窗；/n步骤S3.1.4：对每帧信号补零使其长度等于2的幂；/n步骤S3.1.5：对上述数据作DFT变换，并计算其功率谱；/n步骤S3.1.6：计算梅尔频率：/nMel(M,N)＝10log₁₀(X(m,n)·(m,n)^T)/n其中m是帧个数，n为帧长，M为时间，N为频率，X(m,n)是经DFT变换得到的数据，符号T为转置符号，Mel(M,N)是所求的在给定时间及频率时的能量密度；/n步骤S3.1.7：对上述输出取对数；/n步骤S3.1.8:对S3.1.7中的输出进行DCT(离散余弦变换)；/n步骤S3.1.9：对上述结果进行归一化处理；/n所述步骤S3.2进一步包括：/n步骤S3.2.1：弱分类器建立，对输入数据的权重初始化；/n步骤S3.2.2：求解其权向量的最优解；/n步骤S3.2.3：计算误差，输出置信度；/n步骤S3.2.4：利用上述结论更新权重，并对权重作归一化处理；/n步骤S3.2.5：读入一组新的数据并得用上述解得的弱分类器计算下一个弱分类器；/n步骤S3.2.6：当计算完所有弱分类器后输出强分类器，得到模型结果。/n