IT之家10月17日消息 此前，華為官方發(fā)布一則短視頻以介紹華為Mate30系列手機(jī)中接入的“滾屏翻譯”功能。現(xiàn)在華為EMUI官方微信號(hào)撰文詳解EMUI10“滾屏翻譯”及其背后的OCR技術(shù)，我們來看一下吧。
華為EMUI官方表示，EMUI10全屏翻譯的存在，解決了外文翻譯的難題，但是如果想要翻譯多屏內(nèi)容，需要一次又一次進(jìn)行全屏翻譯的操作。隨著內(nèi)容長度的增加，操作的繁復(fù)還會(huì)使閱讀的連貫性降低。基于此，“滾屏翻譯”便派上了用場。
EMUI10滾屏翻譯支持各種應(yīng)用、十種語言、多屏內(nèi)容的翻譯。使用小藝語音口令“幫我翻譯屏幕”或雙指按壓屏幕即可使用。華為EMUI官方表示，“當(dāng)你瀏覽一篇長文章需要翻譯時(shí)，系統(tǒng)會(huì)先將其滾動(dòng)截屏，形成一張?jiān)牡拈L截圖，然后對(duì)長截圖進(jìn)行切分、文本檢測、翻譯、排序、去重、拼接，最后以同樣的圖片和翻譯完成的文字，再次呈現(xiàn)在你的面前，這就是滾屏翻譯。”
在這一系列的步驟中，最為關(guān)鍵的是如何對(duì)長截圖進(jìn)行初步處理。那利用什么技術(shù)去進(jìn)行處理呢？這里就不得不提到這里面的關(guān)鍵技術(shù)——OCR技術(shù)。
以下為華為EMUI官方對(duì)OCR技術(shù)的詳解：
OCR，即光學(xué)字符識(shí)別（Optical Character Recognition），指檢查字符，并對(duì)其進(jìn)行檢測識(shí)別，然后再將其字符形狀轉(zhuǎn)換成計(jì)算機(jī)文字的過程。在這里的應(yīng)用，也就是對(duì)原來長文章形成的長截圖上的文字，進(jìn)行識(shí)別提取，將它們提供給后續(xù)的機(jī)器翻譯環(huán)節(jié)使用，也就是完成了長篇源文字提取的過程。
從技術(shù)原理上為檢測和識(shí)別兩段式算法框架，涉及中、英、日、韓、俄、西、法、德、意、葡十種語言識(shí)別能力，包含多個(gè)運(yùn)行于NPU（Neural-network Processing Unit，神經(jīng)網(wǎng)絡(luò)處理單元）的深度模型。
調(diào)用OCR算法后，首先對(duì)圖像做增強(qiáng)處理，將圖片適配至理想狀態(tài)后，采用多線程的方式同步運(yùn)行深度模型以及后處理運(yùn)算，最后借助NLU（Natural Language Understanding，自然語言理解）校正輸出文本識(shí)別結(jié)果。
翻譯得準(zhǔn)不準(zhǔn)，依賴于OCR識(shí)別的準(zhǔn)確性；翻譯得快不快，依賴于OCR處理字符速度的快慢。將經(jīng)過OCR處理的文本進(jìn)行機(jī)器翻譯，重新對(duì)圖片進(jìn)行排序、拼接處理，最后把翻譯好的長篇文章呈現(xiàn)在用戶面前。
這樣一套能把長文章中的文字轉(zhuǎn)變?yōu)閳D片，再轉(zhuǎn)換成譯文的創(chuàng)新方案，現(xiàn)在已經(jīng)申請(qǐng)專利保護(hù)了噢！
//每行字每張圖，都要完完整整//
滾屏翻譯中還創(chuàng)新性地通過OCR文本行定位以實(shí)現(xiàn)智能的圖片切分和拼接，巧妙地避免了在長截圖切分過程中文字或圖片被截?cái)嗟那闆r。
大家可能會(huì)有這樣的疑問，原文形成的長截圖直接翻譯不行嗎？為什么還要做切分呢？
這是因?yàn)椋?dāng)前的圖片翻譯只支持單屏內(nèi)容的翻譯，長截圖會(huì)自動(dòng)縮放成和屏幕等高進(jìn)行翻譯，圖片被壓縮，文字大小自然也被壓縮了，這會(huì)極大地影響到翻譯結(jié)果的準(zhǔn)確性。
為了有效提高翻譯的準(zhǔn)確性，那就把長截圖切分成多張短圖后再做翻譯吧。但如果直接按照屏幕高度對(duì)長截圖做簡單切分，很可能會(huì)出現(xiàn)一行文字被截?cái)嗷蛘咭粡埐鍒D被截?cái)嗟那闆r。
而滾屏翻譯，采用OCR技術(shù)，可以檢測出一行文本或圖片的位置坐標(biāo)，如果發(fā)現(xiàn)切分位置正好處在某行或某張圖片中間，則會(huì)向上移動(dòng)到行間空白位置進(jìn)行切分。
以這種規(guī)則處理后的圖片寬度同屏幕一致，高度等于或略低于屏幕高度，每一行字和每一張圖都是完整的。這種方案巧妙實(shí)用，在速度快的同時(shí)，還保證了大家的翻譯體驗(yàn)。
