【语音识别】Connectionist Temporal Classification Loss（CTCLoss）

前言

本文是阅读论文《Connectionist Temporal Classification: Labelling UnsegmentedSequence Data with Recurrent Neural Networks》¹ 的笔记，讨论Connectionist Temporal Classification（CTC）算法在语音识别（ASR）中的应用。

一、CTC简介

1.1 为什么学CTC？

Connectionist Temporal Classification（CTC）有道词典翻译成“联结主义时间分类”，这个概念乍一看让人迷糊，为简洁易懂，我们称其为连接时序分类，是 Alex Graves 等人在 2006 年提出的。

在做 ASR 时，需要将语音序列识别成对应的文字，如图 1 所示，有一段 1.2 秒的语音，内容是“打开灯光”。ASR 模型输入是语音，输出是转写的文字。在 CTC 之前，训练 ASR 模型需要构造和训练声学模型、语言模型，每个都单独训练，最后将每个模型的输出组合起来建立语音信号到转录文本之间的映射关系，整个流程很复杂，学习门槛较高，这种算法基本上是基于 GMM-HMM 和 DNN-HMM，我们称之为传统 ASR 算法。CTC 就是拿语音信号和对应的转录文本，硬train一发，得到一个模型，来替代之前的复杂流程，我们称之为端到端（E2E）ASR。

CTC 除了训练简便外，近些年（约2015年之后），以 CTC 为代表的端到端模型，性能逐渐超过了基于 HMM 的传统 ASR 模型，其中的原因是多样的：深度神经网络强大的海量数据拟合能力，E2E 模型简单易部署（相近识别能力的传统 ASR 模型有声学模型、语言模型、词典，这些内存加起来要远大于一个 E2E 模型）， NLP 等领域的成果更容易迁移过来等等。导致各家公司舍弃了传统 ASR 算法转向 E2E ASR，使得 E2E ASR 的研究更加丰富。CTC 算法是 E2E ASR 的里程碑式成果。

1.2 CTC要解决的问题

我们想用一个模型来解决语音识别。ASR 本身是一个分类问题，以 20ms 为一帧，常用汉字 4000 个的话，我们想知道第 1 帧应该转写为哪个汉字，便是 4000 分类问题，将每一帧都转写一个汉字，最后整合一下，问题就解决了。可否用图像分类的方式来解决，给每一帧打上标签，然后交叉熵损失直接训练就好。这种思路便是混合 DNN-HMM 模型的思路，先用 GMM-HMM 生成每一帧的标签，然后用神经网络进行分类训练。问题是这样就需要训练两个模型（GMM-HMM 和 NN模型），不用 GMM-HMM 的话，每一帧的标签如何得到。
有人会问，为啥你要 20ms 作为一帧，正常人说一个字大概 200ms，用 200ms 作为建模单元长度不行吗？因为语音信号是连续变量，你不清楚哪 200ms 刚好对应一个字，且每个人吐字时长都不同，有人讲话快，有人慢，这便是“连续时序分类”的“连续”难题。所以，只能尽可能让建模单元（帧长）短一些，最后将代表同一个字的单元拼接起来。
那么帧长足够小，每一帧也能识别出对应的字，比如有 5 帧，我们识别出 打 打 打 开 开，合并多余的字后，得到 打开，看似问题得到了解决。但如果这句话是哈哈哈，谢谢哥哥呢，按照上述方法合并多余的字后，得到哈谢哥，不知所云。所以说，这种方法在处理叠字时是有缺陷的。

1.3 CTC的思想

为了解决叠字的问题，CTC 引入了一个记号 “-”，读做 “空”，用其当做占位符。还是用哈哈哈，谢谢哥哥来举例，引入 “-” 后，语音经过解码后会得到如--哈---哈-哈哈----谢-谢--哥----哥哥---这样的序列，先将重复的字合并，然后将“-”去掉，就得到哈哈哈，谢谢哥哥。
另一个就是训练问题，如何得到这样一个模型。我们先列出描述 CTC 的数学记号。
观测序列 $x=(x_1,x_2,\cdots ,x_T)\in X$ 是每一帧音频信号， $l=(l_1,l_2,\cdots ,l_U)\in Z$ 是其对应的标签，其中 $U\le T$，这里的 $l_i\in L$，$L$ 代表不带 {-} 的常规标签集合，如果是中文就是汉字，英文就是 26 个英文字母（为简化，只讨论大写字母）， L ′ = L ⋃ { − } L' = L \bigcup \{-\} L′=L⋃{−}。这是多对一问题，多帧对应一个标签。我们的目标是训一个模型 $h$，使得 $\mathbb{P}(l|x)$ 最大，本质还是极大似然估计。
回顾 HMM² ，我们用前向后向算法算概率，用极大似然估计训模型，用 Viterbi 算法估计解码路径。CTC 和 HMM 算法是很相似的，我们依然按照这 3 个基本问题来说明 CTC。
CTC 的 3 个基本问题：
（1）概率计算问题：在时刻 $T$，给定标签 $l\in L^{\le T}$和观测序列 $x=(x_1,x_2,\cdots ,x_T)$，计算概率 $\mathbb{P}(l|x)$。不过这里不同于 HMM 计算 $\mathbb{P}(O|\lambda )$，CTC 计算 $\mathbb{P}(l|x)$ 纯粹是为了训模型。
（2）学习问题：已知标签 $l\in L^{\le T}$和观测序列 $x=(x_1,x_2,\cdots ,x_T)$，估计模型 $h$ 的参数。
（3）预测问题：也称为解码问题，或是对齐问题。已知模型 $h$ 和观测序列 $x=(x_1,x_2,\cdots ,x_T)$，求使 $\mathbb{P}(l|x)$ 最大的标签（路径） $l\in L^{\le T}$。即给定观测序列，求最有可能的对应的标签序列。

二、概率计算算法

训模型采用的是极大似然估计，要使得
$$h(x)=\arg \underset{l\in L^{\le T}}{\max }\mathbb{P}(l|x)\text{\hspace{1em}(1)}$$
首先要算出 $\mathbb{P}(l|x)$.
不同于 HMM 的学习问题用的是无监督的 Baum-Welch 算法，CTC 是要通过神经网络（反向传播算法）来训练模型参数。神经网络的 softmax 层输出 $y_k^t$，$t$ 时刻第 $k$ 个节点输出的概率，即 $t$ 时刻观测到标签 $k$ 的概率 $\mathbb{P}(l_t=k|x)$，这样将神经网络与概率建模联系起来。
神经网络的输入输出节点数是固定的，模型为
$$\begin{array}{rl}N:({\mathbb{R}}^m{)}^T& ⟼({\mathbb{R}}^n{)}^T\\ x& ⟶y\end{array}\text{\hspace{1em}(2)}$$
原文中，将网络输出的标签序列称为路径 $\pi$，给定观测序列 $x$，输出 $\pi$ 的概率为
$$\begin{array}{rl}\mathbb{P}(\pi |x)& =\mathbb{P}({\pi }_T|{\pi }_{T-1},\cdots ,{\pi }_1,x)\mathbb{P}({\pi }_{T-1}|{\pi }_{T-2},\cdots ,{\pi }_1,x)\cdots \mathbb{P}({\pi }_2|{\pi }_1,x)\mathbb{P}({\pi }_1|x)\\ & =\mathbb{P}({\pi }_T|x)\mathbb{P}({\pi }_{T-1}|x)\cdots \mathbb{P}({\pi }_1|x)\\ & =\prod _{t=1}^T{y}_{{\pi }_t}^t,\forall \pi \in L^{\prime T}\end{array}\text{\hspace{1em}(3)}$$
公式 $(3)$ 有两个点需要注意：（1）第二个等号成立，是假设每个时刻输出的值是条件独立的，这其实是 CTC 算法被诟病的一个主要原因。因为这个假设不合理，语音相邻发音，连读、吞音等情况是很常见的，下一时刻的语音是与上一时刻相关的，比如哈哈和嘿哈，前一个字的开口大小不同，发下一个音也会受到影响。这也催生了后来的 RNN-T、LAS 算法。（2）注意这里是 $\forall \pi \in L^{\prime T}$， L ′ = L ⋃ { − } L' = {L\bigcup \{-\}} L′=L⋃{−}，是带了空记号的。虽然加入了空记号可以解决叠字问题，但也引入了新的问题，生成 $l$ 的路径会非常多。
比如 $x=(x_1,x_2,x_3,x_4)$，标签为 $l=$ 打开 ，则对应的可能得解码路径有 打打开-，-打开开， 打开开开，打开--，打-开-，打--开，-打开-，-打-开，--打开……即存在多对一映射
$$\begin{array}{rl}B:L^{\prime T}& ⟼L^{\le T}\\ \pi & ⟶l\end{array}$$
将神经网络解码出的路径，映射到最终的标签上。根据公式 $(3)$，我们能算出 $\mathbb{P}(\pi |x)$，那么 $\mathbb{P}(l|x)$ 便是将所有能产生 $l$ 的路径 $\pi$ 的概率全都加起来：
$$\mathbb{P}(l|x)=\sum _{\pi \in B^{-1}(l)}\mathbb{P}(\pi |x)\text{\hspace{1em}(4)}$$

2.1 前向算法

要利用 $(4)$ 计算 $\mathbb{P}(l|x)$，和 HMM 的概率计算相似，仍然是采用基于动态规划的前向后向算法，有这样4个步骤：（1）确定递推变量的物理意义，（2）初始化，（3）确定递推公式，（4）终止。
（1）前向变量
$${\alpha }_t(s)\stackrel{\text{def}}{=}\sum _{\pi \in L^{\prime T}:B({\pi }_{1:t})=l_{1:s}}\prod _{t^{\prime }=1}^t{y}_{{\pi }_t^{\prime }}^{t^{\prime }}\forall 1\le t\le T，0\le s\le T\text{\hspace{1em}(5)}$$
其中 ${\pi }_{1:t}$ 表示 $\pi$ 从下标 $1$ 到 $t$ 的子序列，$l_{1:s}$ 同理。公式 $(5)$ 是前向变量的定义，表示给定 $x$，能映射到 $l_{1:s}$ 的 $\pi$ 的子路径的概率和。
这里引入 $l^{\prime }$, 如果 $l=$CAT，那么 $l^{\prime }=$ -C-A-T-，$l$ 的长度为3，$|l|=3$，$|l^{\prime }|=2|l|+1=7$. 即 $l^{\prime }$ 也是一条标签序列，是在 $l$ 的首尾以及每两个标签中间都插入 - 得到的。如图 $2$ 所示，前向算法，都是从左上角出发，一直到右下角，白色的圈代表-，黑色圈是 $l$ 中的标签。

（2）初始化
如图 $2$ 所示，$t=1$初始化，要解码出CAT，第 $1$ 行出发也行（如--C-A-T，以 $|l^{\prime }|=7$ 举例），从第 $2$ 行出发也行(如C--A-T-)，但不能从第 $3$ 行出发，那样就解不出C了。于是
$$\begin{array}{rl}{\alpha }_1(1)& =y_b^1\\ {\alpha }_1(2)& =y_{l1}^1\\ {\alpha }_1(s)& =0,\forall s>2\end{array}$$
其中 $y_b^1$ 下标 $b$ 表示-。
（3）递推公式
我们接下来要推出 $t>1$ 时刻的 ${\alpha }_t(s)$，观察图 $2$，除了刚出发的前两行，基本上黑色圈都有 3 个箭头指向它，白色圈是 2 个箭头指向它，比如当 $l_s^{\prime }=b$，代表此刻是白色圈，它来自左边的状态和左上的状态，于是有
$${\alpha }_t(s)={\alpha }_{t-1}(s)y_{l_s^{\prime }}^t+{\alpha }_{t-1}(s-1)y_{l_s^{\prime }}^t,if{l}_s^{\prime }=b$$
同理若 $l_s^{\prime }!=b$，则有
$${\alpha }_t(s)={\alpha }_{t-1}(s)y_{l_s^{\prime }}^t+{\alpha }_{t-1}(s-1)y_{l_s^{\prime }}^t+{\alpha }_{t-1}(s-2)y_{l_s^{\prime }}^t,if{l}_s^{\prime }!=b\&l_{s-2}^{\prime }\ne l_s^{\prime }$$
我们看到上式后面还有一个约束 $l_{s-2}^{\prime }\ne l_s^{\prime }$，这代表一种特殊情况，并不是所有的黑色圈都有三条箭头指向，比如SEE，如果解码图是---S-EE，对应的标签序列为SE，这是因为我们的标签中本身有叠字，我们希望解码路径是-S-E--E，这样得到标签序列为SEE，所以我们不允许两个相同标签直接跳转。
综合起来，就有
$${\alpha }_t(s)=\{\begin{array}{l}({\alpha }_{t-1}(s)+{\alpha }_{t-1}(s-1))y_{l_s^{\prime }}^{t}if{l}_s^{\prime }=bor{l}_{s-2}^{\prime }=l_s^{\prime }\\ ({\alpha }_{t-1}(s)+{\alpha }_{t-1}(s-1)+{\alpha }_{t-1}(s-2))y_{l_s^{\prime }}^{t}otherwise\end{array}\text{\hspace{1em}(6)}$$
注意到 ${\alpha }_t(s)=0\forall s<|l|-(T-t)$，因为如果剩下的时间 $T-t$ 太短，来不及解出剩下的标签 $|l|-u$，即 $T-t<|l|-s$，那概率就是 $0$ 了，表示图 $2$ 右上角的那部分没有箭头。 并且有 ${\alpha }_t(s)=0\forall s<1$.

（4）终止
结尾指向右下角的白色圈或黑色圈都可以，故有
$$\mathbb{P}(l|x)={\alpha }_T(|l^{\prime }|)+{\alpha }_T(|l^{\prime }|-1)\text{\hspace{1em}(7)}$$

2.2 后向算法

只用前向算法已经可以算出 $\mathbb{P}(l|x)$ 了，我们对称写出后向算法，在反向传播训练算偏导数时能用到。
（1）后向变量表示给定 $x$，能映射到 $l_{s:|l|}$ 的 $\pi$ 的子路径的概率和。
$${\beta }_t(s)\stackrel{\text{def}}{=}\sum _{\pi \in L^{\prime T}:B({\pi }_{t:T})=l_{s:|l|}}\prod _{t^{\prime }=t}^T{y}_{{\pi }_t^{\prime }}^{t^{\prime }}\forall 1\le t\le T，0\le s\le T\text{\hspace{1em}(8)}$$

（2）初始化
第 $T$ 列初始化
$$\begin{array}{rl}{\beta }_T(|l^{\prime }|)& =y_b^T\\ {\beta }_T(|l^{\prime }|-1)& =y_{l_{|}l|}^T\\ {\beta }_T(s)& =0,\forall s<|l^{\prime }|-1\end{array}$$
（3）递推公式
$${\beta }_t(s)=\{\begin{array}{l}({\beta }_{t+1}(s)+{\alpha }_{t+1}(s+1))y_{l_s^{\prime }}^{t}if{l}_s^{\prime }=bor{l}_{s+2}^{\prime }=l_s^{\prime }\\ ({\beta }_{t+1}(s)+{\alpha }_{t+1}(s+1)+{\alpha }_{t+1}(s+2))y_{l_s^{\prime }}^{t}otherwise\end{array}\text{\hspace{1em}(9)}$$
（4）终止
结尾指向左上角的白色圈或黑色圈都可以，故有
$$\mathbb{P}(l|x)={\beta }_1(1)+{\beta }_1(2)\text{\hspace{1em}(10)}$$

三、学习算法

已知训练集 $S$，$N_w$ 代表权重为 $w$ 的神经网络，整体误差是全体样本负对数似然的总和，即
$$O^{ML}(S,N_w)=-\sum _{(x,l)\in S}ln(\mathbb{P}(l|x))\text{\hspace{1em}(11)}$$
我们通过反向传播算法来更新参数 $w$，要求误差对输出变量 $y_k^t$ 的偏导数
$$\frac{\partial O^{ML}(S,N_w)}{\partial y_k^t}=-\frac{\partial ln(\mathbb{P}(l|x))}{\partial y_k^t}\text{\hspace{1em}(12)}$$
$(12)$ 中求和号没了是因为独立性假设。
下面就是学习算法中核心的表达式，根据前向变量和后向变量的定义，有
$${\alpha }_t(s){\beta }_t(s)=\sum _{\pi \in B^{-1}(l):{\pi }_t=l_s}{y}_{l_s}^t\prod _{t=1}^T{y}_{{\pi }_t}^t\text{\hspace{1em}(13)}$$
${\alpha }_t(s)$ 代表时刻 $t$ 映射到 $l_{1:s}$ 的概率，且 ${\pi }_t=l_s$； 同理，${\beta }_t(s)$ 代表时刻 $t$ 映射到 $l_{s:T}$ 的概率，且 ${\pi }_t=l_s$。两者相乘，右边项就会多出 $y_{l_s}^t$. 将 $y_{l_s}^t$ 除到左边，两边遍历 $t$ 和 $s$ 相加，利用公式 $(3)$ 和公式 $(4)$ 可以得到
$$\mathbb{P}(l|x)=\sum _{t=1}^T\sum _{s=1}^{|l|}\frac{{\alpha }_t(s){\beta }_t(s)}{y_{l_s}^t}\text{\hspace{1em}(14)}$$
设 l a b ( l , k ) = { s : l s = k } lab(l,k) = \{s: l_s = k\} lab(l,k)={s:ls​=k}，利用条件独立性假设，有
$$\frac{\partial \mathbb{P}(l|x)}{\partial y_k^t}=-\frac{1}{{y_k^t}^2}\sum _{s\in lab(l,k)}{\alpha }_t(s){\beta }_t(s)\text{\hspace{1em}(15)}$$
我们的最终目标是求
$$\frac{\partial ln(\mathbb{P}(l|x))}{\partial y_k^t}=\frac{1}{\mathbb{P}(l|x)}\frac{\partial \mathbb{P}(l|x)}{\partial y_k^t}\text{\hspace{1em}(16)}$$
将公式 $(7)$ 和 公式 $(15)$ 带入 $(12)$，可得误差对输出变量 $y_k^t$ 的偏导数。
设 softmax 层之前，时刻 $t$ 节点 $k$ 的输出是 $u_k^t$，反向传播是对偏导数 $\frac{\partial ln(\mathbb{P}(l|x))}{\partial u_k^t}$ 进行回传。
已知 softmax 层，
$$y_k^t=\frac{e^{u_k^t}}{{\sum }_{k^{\prime }}{e}^{u_{k^{\prime }}^t}}$$
其中 ${\sum }_{k^{\prime }}$ 代表 $k^{\prime }$ 求和遍历所有的输出层节点。
那么
$$\frac{\partial y_{k^{\prime }}^t}{\partial u_k^t}=\frac{e^{u_{k^{\prime }}^t}{\delta }_{k^{\prime }k}{\sum }_{k^{\prime }}{e}^{u_{k^{\prime }}^t}-e^{u_{k^{\prime }}^t}{e}^{u_k^t}}{({\sum }_{k^{\prime }}{e}^{u_{k^{\prime }}^t}{)}^2}=y_{k^{\prime }}^t{\delta }_{k^{\prime }k}-y_{k^{\prime }}^t{y}_k^t\text{\hspace{1em}(17)}$$
其中
$${\delta }_{k^{\prime }k}=\{\begin{array}{l}1if{k}^{\prime }=k\\ 0otherwise\end{array}$$

根据链式法则
$$\frac{\partial ln(\mathbb{P}(l|x))}{\partial u_k^t}=\sum _{k^{\prime }}\frac{\partial ln(\mathbb{P}(l|x))}{\partial y_{k^{\prime }}^t}\frac{\partial y_{k^{\prime }}^t}{\partial u_k^t}\text{\hspace{1em}(18)}$$
将 $(16)$ 和 $(17)$ 带入 $(18)$，可得
$$\frac{\partial ln(\mathbb{P}(l|x))}{\partial u_k^t}=y_k^t-\frac{1}{y_k^t\mathbb{P}(l|x)}\sum _{s\in lab(l,k)}{\alpha }_t(s){\beta }_t(s)\text{\hspace{1em}(19)}$$
其中用到了 $\mathbb{P}(l|x)={\sum }_{k^{\prime }}{\sum }_{s\in lab(l,k^{\prime })}\frac{{\alpha }_t(s){\beta }_t(s)}{y_{k^{\prime }}^t}$.

将 $\frac{\partial ln(\mathbb{P}(l|x))}{\partial u_k^t}$ 作为误差量（即图 $3$ 中的error），如图 $3$ 所示，左边是 CTC 训练过程中神经网络的概率输出，不同颜色代表不同的标签，虚线代表空记号的概率。可以看到 CTC 对各个标签的预测呈现尖峰形状，大部分时刻都预测为空记号-。右边是回传的倒数，开始时参数随机初始化，训练初期（如（a）所示），各个颜色曲线相对平缓，随着训练时间变长，偏导数往预测点附近集中，水平线之上的使得概率变大，水平线之下的让概率变小（如（b）所示）。训练快结束时（如（c）所示），左边各尖峰已经确定，右边偏导数也很小了，模型参数基本确定。

四、预测算法

模型训练好后，需要根据输入音频，解码得到对应的标签序列，即选择 $l^{\ast }$，使得
$$l^{\ast }=\arg \underset{l}{\max }\mathbb{P}(l|x)$$
论文中给出了两种解码算法。

4.1 最佳路径解码（best path decoding）

和 HMM 中的近似算法一样，选择每个时刻 $t$ 概率最大的标签，挨个组合起来即可。

时间步	P(-)	P(A)
t=1	0.7	0.3
t=2	0.6	0.4

举个例子，如图 $4$ 所示，当 $t=1$ 时，概率最大的是 $\mathbb{P}({\pi }_1=blank)=0.7$，当 $t=2$ 时，概率最大的是 $\mathbb{P}({\pi }_2=blank)=0.6$，所以根据最佳路径解码，最优路径为 -。其实如图 $4$ 所示，最优路径是 $l=A$.
最佳路径解码是一种近似解法，优点是速度快，大部分情况下也能解码出不错的结果。缺点是，结果可能不一定是全局最优的，如图 $4$ 所示，最佳路径解码与全局最优路径差别较大。

4.2 前缀搜索解码（prefix search decoding）

将每一步最可能的前缀路径保存下来，在此基础上继续解码。
举个例子⁴：

时间步	P(-)	P(A)	P(B)
t=1	0.3	0.2	0.5
t=2	0.1	0.5	0.4
t=3	0.3	0.1	0.6

1. 初始化：维护一个候选前缀记号，初始时仅包含空序列""，其累计概率为 $1.0$；每个时间步保留概率最高的那个，即束宽（Beam Width）设为 1。
2. 时间步 $t=1$
   • 对初始前缀""，生成可能得扩展：
     • 添加字符 A，概率为 0.2，路径为A。
     • 添加字符 B，概率为 0.5，路径为B。
     • 添加字符 -，概率为 0.3，路径为""。
   • 合并相同前缀，不变。
   • 剪枝（保留概率最大的前缀），即B
3. 时间步 $t=2$
   • 对前缀B，生成可能得扩展：
     • 添加字符 A，概率为 0.25，路径为BA，合并路径后不变。
     • 添加字符 B，概率为 0.2，路径为BB，合并路径后得B。
     • 添加字符 -，概率为 0.05，路径为B-，合并路径后得B。
   • 合并相同前缀
     • 路径BA, 总概率 0.25。
     • 路径B, 总概率 0.25。
   • 剪枝
     • 由于BA 和 B 概率一样，都保留。
4. 时间步 $t=3$
   • 前缀BA，生成可能扩展
     • 添加字符 A，概率为 0.025，路径为BAA，合并路径后得到BA。
     • 添加字符 B，概率为 0.15，路径为BAB，合并路径后不变。
     • 添加字符 -，概率为 0.075，路径为BA-，合并路径后得到BA。
   • 前缀B，生成可能扩展
     • 添加字符 A，概率为 0.025，路径为BA，合并路径后得到BA。
     • 添加字符 B，概率为 0.15，路径为BB，合并路径后得到B。
     • 添加字符 -，概率为 0.075，路径为B-，合并路径后得到B。
   • 合并相同前缀
     • 路径BA, 总概率 = 0.025 + 0.075 + 0.025 = 0.125。
     • 路径BAB, 总概率 = 0.15。
     • 路径B, 总概率 = 0.15 + 0.075 = 0.225。

所以概率最高的路径是 B，这个结果是对的，但与全遍历的概率相比
$$\begin{array}{rl}\mathbb{P}(l=B)& =\mathbb{P}(B--)+\mathbb{P}(-B-)+\mathbb{P}(--B)+\mathbb{P}(BB-)+\mathbb{P}(-BB)+\mathbb{P}(BBB)\\ & =0.5\times 0.1\times 0.3+0.3\times 0.4\times 0.3+0.3\times 0.1\times 0.6+0.5\times 0.4\times 0.3+0.3\times 0.4\times 0.6+0.5\times 0.4\times 0.6\\ & =0.321\end{array}$$
还是有差距的，所以前缀搜索解码也是一种相似算法。

总结

本文介绍了 CTC 算法，包括 CTC 的 3 个基本问题。为了行文与 HMM² 对应，罗列了 3 个基本问题，问题 1 是利用前向后向算法算似然函数。问题 2 算出偏导数，利用反向传播算法更新模型参数。问题 3 利用训好的模型解码最优路径。Pytorch 官方已经实现了 CTCLoss⁵ 。

参考文献

---

1. Alex Graves, et al. Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks. 2006. ↩︎

2. 隐马尔科夫模型（HMM）, 2025. https://blog.csdn.net/weixin_45234741/article/details/147023021?spm=1001.2014.3001.5501 ↩︎ ↩︎

3. Alex Graves, Supervised Sequence Labelling with Recurrent Neural Networks.(第七章), Springer, 2012 ↩︎

4. 洪青阳，李琳， 《语音识别原理与应用》， 2020. ↩︎

5. https://pytorch.org/docs/stable/generated/torch.nn.CTCLoss.html ↩︎