與機(jī)器進(jìn)行語(yǔ)音交流，讓機(jī)器明白你說(shuō)什么，是人們長(zhǎng)期以來(lái)夢(mèng)寐以求的事情，隨著AI人工智能技術(shù)的實(shí)現(xiàn)，語(yǔ)音識(shí)別技術(shù)已經(jīng)開(kāi)始在各個(gè)領(lǐng)域應(yīng)用。而如何驗(yàn)證機(jī)器是否正確采集并識(shí)別語(yǔ)音，在測(cè)試領(lǐng)域又是一個(gè)新興的課題。下文將闡述如何針對(duì)語(yǔ)音語(yǔ)義識(shí)別技術(shù)進(jìn)行測(cè)試。

一、什么是語(yǔ)音&語(yǔ)義

假設(shè)我們對(duì)某AI說(shuō)了心事，那機(jī)器該怎么理解我們所說(shuō)的呢？首先機(jī)器會(huì)對(duì)我們發(fā)出的語(yǔ)音信息進(jìn)行識(shí)別，語(yǔ)音識(shí)別就是讓機(jī)器通過(guò)識(shí)別和理解過(guò)程把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的技術(shù)。語(yǔ)音識(shí)別技術(shù)主要包括特征提取技術(shù)、模式匹配準(zhǔn)則及模型訓(xùn)練技術(shù)三個(gè)方面。特征提取技術(shù)可以對(duì)某一模式的組測(cè)量值進(jìn)行變換，以突出該模式具有代表性的特征，并通過(guò)影像分析和變換，以提取所需的特征，而通過(guò)模式匹配準(zhǔn)則，我們就可以精準(zhǔn)的在模板庫(kù)里鎖定特征，然后通過(guò)大量模型訓(xùn)練形成語(yǔ)音識(shí)別模型。這樣可以讓機(jī)器明白了我們說(shuō)的文字是什么，而機(jī)器不是人，那對(duì)自然語(yǔ)言的識(shí)別和理解就是語(yǔ)義識(shí)別技術(shù)需要解決的問(wèn)題。

語(yǔ)義識(shí)別就是將連續(xù)的講話(huà)分解為詞、音素等單位，并建立起一個(gè)理解語(yǔ)義的規(guī)則，并把其中分解出來(lái)的某一個(gè)詞作為關(guān)鍵詞，當(dāng)語(yǔ)義識(shí)別出來(lái)關(guān)鍵詞的時(shí)候，返回識(shí)別結(jié)果。語(yǔ)義識(shí)別的核心除了理解文本詞匯的含義，還要理解這個(gè)詞語(yǔ)在語(yǔ)句、篇章中所代表的意思，這意味著語(yǔ)義識(shí)別從技術(shù)上要做到：文本、詞匯、句法、詞法、篇章層面的語(yǔ)義分析和歧義消除，以及對(duì)應(yīng)的含義重組，以達(dá)到識(shí)別本身的目的。

二、語(yǔ)音&語(yǔ)義識(shí)別應(yīng)用場(chǎng)景

語(yǔ)音和語(yǔ)義識(shí)別技術(shù)可以分析網(wǎng)頁(yè)、文件、郵件、音頻、論壇、社交媒體中的大量數(shù)據(jù)，也可以直接應(yīng)用于醫(yī)療、教育、金融等行業(yè)。還可以通過(guò)技術(shù)接口應(yīng)用于所有智能語(yǔ)音交互場(chǎng)景，如智能家居、車(chē)載語(yǔ)音、可穿戴設(shè)備、VR、機(jī)器人等。

醫(yī)療場(chǎng)景，為醫(yī)療專(zhuān)業(yè)人士提供實(shí)時(shí)語(yǔ)音聽(tīng)寫(xiě)、電子病歷錄入，也可以讓醫(yī)療專(zhuān)業(yè)人士，通過(guò)對(duì)癥狀的描述，關(guān)鍵詞查詢(xún)，進(jìn)行病癥的初步判斷，分類(lèi)科室、輔助診斷等。

教育場(chǎng)景，基于自然語(yǔ)言處理技術(shù)進(jìn)行口語(yǔ)能力的測(cè)評(píng)，同時(shí)也可以通過(guò)人工智能技術(shù)，題庫(kù)系統(tǒng)，以及算法模型，根據(jù)學(xué)生在測(cè)試中對(duì)上一道問(wèn)題的回答情況，自動(dòng)調(diào)整學(xué)生接下來(lái)所需回答問(wèn)題的難度和順序，以達(dá)到讓每一個(gè)學(xué)生擁有最合適的學(xué)習(xí)方案

金融場(chǎng)景，運(yùn)用自然語(yǔ)言處理，深度學(xué)習(xí)等多種AI技術(shù)，進(jìn)行量化交易模型的建立來(lái)量化交易，以更強(qiáng)大的計(jì)算機(jī)模型運(yùn)用人工智能的技術(shù)對(duì)大量客戶(hù)進(jìn)行財(cái)富畫(huà)像，為客戶(hù)量身定制的資產(chǎn)管理投資的智能投顧。

商業(yè)場(chǎng)景，基于系統(tǒng)數(shù)據(jù)庫(kù)、知識(shí)圖譜，在與客戶(hù)的對(duì)話(huà)中，獲取客戶(hù)需求，并提供相應(yīng)的答案來(lái)解決客戶(hù)的問(wèn)題。

營(yíng)銷(xiāo)場(chǎng)景：通過(guò)各種算法模型，對(duì)用戶(hù)在互聯(lián)網(wǎng)上留下的大量個(gè)人信息、登錄信息、路徑關(guān)系、社交關(guān)系、消費(fèi)記錄等數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，來(lái)對(duì)用戶(hù)進(jìn)行精準(zhǔn)需求分析，自動(dòng)化營(yíng)銷(xiāo)。

三、語(yǔ)音&語(yǔ)義識(shí)別模型測(cè)試方法

1.語(yǔ)音&語(yǔ)義識(shí)別功能的測(cè)試標(biāo)準(zhǔn)

在常規(guī)的測(cè)試內(nèi)容中我們會(huì)對(duì)模型的接口調(diào)用連通性、參數(shù)非法校驗(yàn)、返回碼正誤等等進(jìn)行測(cè)試，而最重要的是測(cè)試模型的識(shí)別效果。因此語(yǔ)音&語(yǔ)義識(shí)別功能的測(cè)試通過(guò)標(biāo)準(zhǔn)有兩個(gè)，第一是模型接口可以成功調(diào)用，而且會(huì)對(duì)無(wú)法識(shí)別的語(yǔ)音信息于前端進(jìn)行錯(cuò)誤拋出；第二就是模型的識(shí)別結(jié)果準(zhǔn)確率達(dá)到通過(guò)準(zhǔn)則（大量的語(yǔ)音信息，語(yǔ)音的模糊性和環(huán)境噪聲都會(huì)對(duì)模型的識(shí)別造成困擾，很難做到每一次都能識(shí)別成功。雖然模型訓(xùn)練追求完美，但目前卻無(wú)法保證100%的正確，因此一般來(lái)說(shuō)準(zhǔn)確率就是各自場(chǎng)景的使用人員自行決定準(zhǔn)確率通過(guò)準(zhǔn)則，業(yè)界的通用標(biāo)準(zhǔn)是語(yǔ)音識(shí)別準(zhǔn)確率達(dá)到99%以上）

2.語(yǔ)音&語(yǔ)義識(shí)別功能的測(cè)試流程

我們以某掌銀的導(dǎo)航和轉(zhuǎn)賬業(yè)務(wù)為例，下圖展示了測(cè)試模型識(shí)別效果的主要流程。首先需要準(zhǔn)備一定量的數(shù)據(jù)（當(dāng)數(shù)據(jù)量越大的時(shí)候，模型的訓(xùn)練效果越好）分為兩個(gè)部分，一部分是語(yǔ)音測(cè)試數(shù)據(jù)，一部分是語(yǔ)義測(cè)試數(shù)據(jù)。其中語(yǔ)音測(cè)試的數(shù)據(jù)都是提前錄好的對(duì)應(yīng)文字的語(yǔ)音，語(yǔ)義測(cè)試的數(shù)據(jù)是包含意圖關(guān)鍵詞的語(yǔ)料文檔，兩部分的數(shù)據(jù)都包含導(dǎo)航和轉(zhuǎn)賬兩個(gè)業(yè)務(wù)場(chǎng)景的語(yǔ)句。

把錄制的語(yǔ)音文件發(fā)送至“語(yǔ)音識(shí)別模型”，返回語(yǔ)音識(shí)別的結(jié)果，并根據(jù)識(shí)別的結(jié)果出具一個(gè)語(yǔ)音識(shí)別的準(zhǔn)確率，其中包含接口請(qǐng)求的成功率，字準(zhǔn)率（識(shí)別正確的字符數(shù)/評(píng)測(cè)集所有字符數(shù)）和句準(zhǔn)率（全部識(shí)別正確的句子數(shù)目/評(píng)測(cè)集所有句子數(shù)），并將該結(jié)果裝載至“語(yǔ)義識(shí)別模型”，返回語(yǔ)義識(shí)別結(jié)果，同樣出具一個(gè)語(yǔ)義識(shí)別準(zhǔn)確率，即詞準(zhǔn)率（正確識(shí)別出的某類(lèi)關(guān)鍵詞（例如意圖）/評(píng)測(cè)集所有某類(lèi)關(guān)鍵詞數(shù)（例如意圖）），語(yǔ)音和語(yǔ)義識(shí)別的準(zhǔn)確率即為模型效果評(píng)價(jià)指標(biāo)的方式。

以下圖中第一條自造數(shù)據(jù)為例，當(dāng)客戶(hù)說(shuō)出我要轉(zhuǎn)賬給丁某三十元的時(shí)候，把語(yǔ)音識(shí)別模型識(shí)別出來(lái)的結(jié)果裝載至語(yǔ)義識(shí)別模型，語(yǔ)義識(shí)別模型提取關(guān)鍵字“轉(zhuǎn)賬”、“丁某”、“三十元”，對(duì)應(yīng)意圖“TRANSFER”、人名以及金額,即可識(shí)別出來(lái)客戶(hù)需要給丁揚(yáng)轉(zhuǎn)賬30元，當(dāng)該條轉(zhuǎn)賬的操作可以成功完成即測(cè)試通過(guò)。

當(dāng)導(dǎo)航和轉(zhuǎn)賬的自造數(shù)據(jù)通過(guò)批量運(yùn)行腳本都成功加載至語(yǔ)音識(shí)別模型和語(yǔ)義識(shí)別模型，并在語(yǔ)音識(shí)別模型得到了相應(yīng)的字準(zhǔn)率和句準(zhǔn)率，且兩個(gè)準(zhǔn)確率均能達(dá)到99%以上的時(shí)候，我們可以判定語(yǔ)音識(shí)別是成功的，同理，在語(yǔ)義識(shí)別模型里，得到的詞準(zhǔn)率也能達(dá)到99%以上的時(shí)候，語(yǔ)義識(shí)別也是成功的。通過(guò)字準(zhǔn)率，句準(zhǔn)率，詞準(zhǔn)率，我們可以認(rèn)為該語(yǔ)音語(yǔ)義識(shí)別模型的效果是符合業(yè)界標(biāo)準(zhǔn)的，同時(shí)也達(dá)到了測(cè)試通過(guò)準(zhǔn)則。