首個(gè)基于深度學(xué)習(xí)的端到端在線手寫(xiě)數(shù)學(xué)公式識(shí)別模型

本文簡(jiǎn)要介紹 2018 年 5 月被 TMM 錄用論文“ Track，Attend and Parse （TAP）： An End-to-end Framework for Online Handwritten Mathematical Expression Recognition” 的主要工作 。該論文是 2017 年發(fā)表在 ICDAR 上的文章 ［1］ 的升級(jí)版，主要解決了在線手寫(xiě)數(shù)學(xué)公式的識(shí)別問(wèn)題。

該論文中介紹的方法獲得了國(guó)際最大在線手寫(xiě)數(shù)學(xué)公式比賽 CROHME2019 的冠軍，且是在未使用額外數(shù)據(jù)的情況下超過(guò)了有大量額外數(shù)據(jù)的國(guó)際企業(yè)參賽隊(duì)伍，如 MyScript ， Wiris ， MathType 等，突出了該算法較傳統(tǒng)數(shù)學(xué)公式識(shí)別算法的優(yōu)勢(shì)。

一、研究背景

手寫(xiě)數(shù)學(xué)公式識(shí)別較傳統(tǒng) OCR 問(wèn)題而言，是一個(gè)更復(fù)雜的二維手寫(xiě)識(shí)別問(wèn)題，其內(nèi)部復(fù)雜的二維空間結(jié)構(gòu)使得其很難被解析，傳統(tǒng)方法的識(shí)別效果不佳。隨著深度學(xué)習(xí)在各領(lǐng)域的成功應(yīng)用，文章 ［2］ ［3］ 首次提出了基于深度學(xué)習(xí)的端到端離線數(shù)學(xué)公式算法，并在公開(kāi)數(shù)據(jù)集上較傳統(tǒng)方法獲得了顯著提升，開(kāi)辟了全新的數(shù)學(xué)公式識(shí)別框架。然而在線手寫(xiě)數(shù)學(xué)公式識(shí)別框架還未被提出，論文 TAP 則是首個(gè)基于深度學(xué)習(xí)的端到端在線手寫(xiě)數(shù)學(xué)公式識(shí)別模型，且針對(duì)數(shù)學(xué)公式識(shí)別的任務(wù)特性提出了多種優(yōu)化。

二、TAP原理簡(jiǎn)述

Fig.1. Overall archi tecture

Fig 1 是 TAP 的整體結(jié)構(gòu)。 TAP 遵循文章 ［2］ ［3］ 中的做法，將數(shù)學(xué)公式的樹(shù)結(jié)構(gòu)識(shí)別問(wèn)題轉(zhuǎn)換成了數(shù)學(xué)公式 LaTeX 字符串識(shí)別問(wèn)題。這一思路的轉(zhuǎn)換簡(jiǎn)化了數(shù)學(xué)公式識(shí)別問(wèn)題，使端到端的識(shí)別成為了可能。 TAP 的基本框架為基于注意力機(jī)制的編解碼模型，也稱(chēng) Encoder-Decoder 模型 ［4］ ，其將輸入的軌跡點(diǎn)序列通過(guò) Encoder 編碼得到高維特征表達(dá)，依靠 Attention 機(jī)制找出高維特征中的關(guān)鍵部分以用于解碼出當(dāng)前時(shí)刻的 LaTeX 字符，直至解碼結(jié)束。

TAP 延續(xù)了會(huì)議文章 ［1］ 中的 Encoder 框架，在 Attention 機(jī)制上針對(duì)在線手寫(xiě)公式識(shí)別提出了 Spatial Attention， Temporal Attention， Attention Guider 用于改善 Attention 的對(duì)齊以及 Decoder 的解碼能力。文章中還利用了在線與離線兩個(gè)模態(tài)之間的互補(bǔ)性進(jìn)一步提升了手寫(xiě)識(shí)別性能。

Fig.2. Architecture of the hybridattention model

Fig 2 是 TAP 所采用的H ybrid Attention 機(jī)制，除了常用的S patial Attention 外，還采用了T emporal Attention 機(jī)制。其中，S patial Attention 利用了A ttention 的歷史信息以解決數(shù)學(xué)公式中多個(gè)同樣數(shù)學(xué)字符出現(xiàn)時(shí)的對(duì)齊混淆問(wèn)題。

而T emporal Attention 用于處理 LaTeX 中的結(jié)構(gòu)字符的特殊對(duì)齊。因?yàn)樵?LaTeX 的語(yǔ)法規(guī)則中，為了重現(xiàn)數(shù)學(xué)公式語(yǔ)言里的二維空間結(jié)構(gòu)，需要額外有一些特殊的結(jié)構(gòu)字符來(lái)形成語(yǔ)法，而這些特殊的結(jié)構(gòu)字符在輸入的數(shù)學(xué)公式中不存在，因而S patial Attention 無(wú)法完成對(duì)齊，此時(shí)則需要T emporal Attention 來(lái)補(bǔ)足這個(gè)不存在的對(duì)齊空缺，既能不干擾S patial Attention 的學(xué)習(xí)，又能提高D ecoder 的解碼能力，進(jìn)一步提升性能。

Fig.3. Illustration of the attention guider

此外， TAP 還采用了A ttention Guider 來(lái)強(qiáng)化S patial Attention 的學(xué)習(xí)，從 Fig 3 中可以看出，在使用了A ttention Guider 來(lái)引導(dǎo)S patial Attention 的學(xué)習(xí)后，S patial Attention 的對(duì)齊效果顯著提升，十分精確，并且效果也反映到了最終的識(shí)別性能上。

三、主要實(shí)驗(yàn)結(jié)果及可視化效

TABLE 1. The recognition results on CROHME2014.

TABLE 2. The recognition results on CROHME2016.

由 TABLE 1 、 TABLE 2 來(lái)看，文章所提方案在 CROHME2014 和 CROHME2016 公開(kāi)數(shù)據(jù)集上取得了 state-of-the-art 的結(jié)果，且較傳統(tǒng)方法有巨大的提升，驗(yàn)證了該方法的有效性，且 TAP 展示的結(jié)果相對(duì)于會(huì)議版本也有了進(jìn)一步的提升，體現(xiàn)了H ybrid Attention 在糾正對(duì)齊和提升性能處起到了關(guān)鍵作用。

Fig.4. Visualization of temporal attention

Fig.5. Visualization of hybrid attention

Fig.6. Example of complementarity between online and offline modality

Fig 4 是對(duì)于T emporal Attention 的可視化，可見(jiàn)T emporal Attention 能夠很正確的幫助 Spatial Attention 區(qū)分結(jié)構(gòu)字符和實(shí)體字符。 Fig 5 是對(duì) Hybrid Attention 整體在一個(gè)手寫(xiě)數(shù)學(xué)公式實(shí)例上的可視化。 Fig 6 列出了一個(gè)手寫(xiě)數(shù)學(xué)公式在線和離線模態(tài)互補(bǔ)性的實(shí)例，由于存在倒筆現(xiàn)象，單純的在線模型無(wú)法正確識(shí)別該例子，而通過(guò)離線模型的融合輔助最終使得這個(gè)公式例子被正確識(shí)別（由于符號(hào)定義過(guò)多，更詳細(xì)的內(nèi)容請(qǐng)參考原文，鏈接附后）。

四、總結(jié)及討論

1. TAP-ICDAR 版首次提出了基于深度學(xué)習(xí)的端到端在線手寫(xiě)數(shù)學(xué)公式識(shí)別模型，將樹(shù)形結(jié)構(gòu)識(shí)別問(wèn)題巧妙轉(zhuǎn)換成了 LaTe X 字符串識(shí)別問(wèn)題，成功突破了傳統(tǒng)方法在該問(wèn)題上的性能瓶頸， 開(kāi)辟了全新的在線數(shù)學(xué)公式識(shí)別框架。

2. TAP-TMM 相比 TAP-ICDAR 而言， 進(jìn)一步提出了 Hybrid Attention ，不僅提高了 Attention 的對(duì)齊準(zhǔn)確度，也針對(duì)性地處理了 LaTeX 中結(jié)構(gòu)字符的對(duì)齊和生成，且效果最終都很好地反映在了最終的識(shí)別性能上。此外，通過(guò)融合離線模態(tài)的全局特性，進(jìn)一步提升了在線手寫(xiě)數(shù)學(xué)公式的識(shí)別率。

3. TAP 中匯報(bào)出來(lái)的在 CROHME2014 及 CROHME2016 上的識(shí)別率，至今仍是最好的公開(kāi)結(jié)果，相關(guān)算法也在 CROHME2019 競(jìng)賽上獲得了第一名，并且在沒(méi)有使用額外數(shù)據(jù)的情況便超越了其他使用大量額外數(shù)據(jù)的企業(yè)隊(duì)伍 。