不知你有沒有看過美劇《別對我說謊》，故事的主人公通過觀察人的面部表情和身體動作探測人們是否在說謊。這個故事的靈感來源于美國心理學家保羅·艾克曼的真實研究。保羅·艾克曼研究發現，不同文化的面部基本情緒(快樂、悲傷、憤怒、厭惡、驚訝和恐懼)都有共通性。表情比言語更真實，如果我們能探索一條化抽象情緒為可視數據的道路，就有機會為各行各業帶來全新的解決方案。

情緒智能識別在國內還是個比較新的概念，2017年，我們在深入了解微軟人臉識別和情緒識別API后，才有了將這項技術落地的信心和決心，并先后在新零售和幼教行業推出了情緒智能識別SaaS解決方案。在討論技術落地之前，讓我先來分享一下為什么情緒智能識別能夠高效地解決問題。

情緒智能識別的價值

情緒智能識別不僅是一門技術，更是一種管理思維——把抽象、微妙的體驗數據化為管理依據，將業務需求與客戶反饋緊密地結合在一起。

如何評估商場的服務、招商或經營策略的表現?商家傳統的做法是發放大量調查問卷，這樣做往往成本高、偏差大;我們的做法是在商場的出入口安裝(或升級)雙向攝像頭，檢測大量顧客出入商場的“歡笑率”差值，比如，顧客來時的“歡笑率”為7%，離開時僅有4%，期待未滿足的原因有可能是商場管理，也可能是其他問題(比如兩口子吵架，打車體驗不佳等)，無論是什么原因，客觀數據擺在這里，商場一旦及時改變策略或手段，就有機會提高魅力指數。相比之下，統計大量單次購買的行為數據沒有規律可循，成本也很高昂。此外，我們利用面部智能計算的零售商戶客流動線，冷熱區分析也首次以最高精度呈現了客流動態的多樣化規律，可以為招商需求評估提供真正的大數據評估支持。

多年前，招商銀行曾在柜員服務上創新，邀請客戶通過按鍵反饋服務體驗(通常包括非常不滿意，不滿意，滿意，非常滿意四個按鈕)，后來成為行業通行的方法后，這一反饋機制的效果卻失真了——因為大多數客戶出于人情按了“非常滿意”鍵。現在，看到了我們的情緒智能識別技術，招商銀行非常敏銳地與我們探討在柜臺自動檢測客戶的體驗，以及在在等待多少分鐘時出現了不適感，從而隨機應變，比如請客戶經理緩和一下氣氛等。又比如，非常重視消費者體驗的麥當勞，采用自助點單觸屏對顧客進行分流，卻發現仍有痛點沒有解決，比如，四個人在一起點餐，往往花費很長時間才能商量出結果，這對于排在自助點菜隊的顧客簡直是“災難”。而如果我們的情緒智能識別技術，麥當勞可以在“災難”跡象出現時，及時請門店人員提前解決。

類似的例子還有，如果有一套系統可以在聽眾大規模分神、玩手機、甚至打盹時提醒一下演講人，演講人就可以實時調整氣氛，提高演講效果。比如，中國科技館為小朋友設計了物理、化學等演示實驗，通過我們的情緒智能技術收集體驗數據，中國科技館能夠不斷調整講解與互動方式，引導孩子們聚精會神地聽講。

情緒智能識別在幼教行業的全新嘗試

我們在新零售賽道上有所沉淀后，決心拓展一個新領域——幼教行業，希望通過足夠多的樣本量，找到幼兒情緒、課程效果、教師引導等因素之間的關聯，探尋出一條標準化的評判機制，幫助孩子安全、快樂地成長。

外界環境變化對于孩子的心理影響非常明顯。有一次，我們為一個幼兒園班級測試教學效果，三個身強體壯的陌生男士因為在幼兒園里臨時參觀而突然出現在孩子面前，系統即刻檢測到大部分孩子出現了恐懼情緒。通過我們每天1000次以上的情緒掃描，我們能為每個孩子建立個人的情緒檔案，每當情緒嚴重波動時，系統就自動為幼兒園管理者報警，幫助幼兒園管理員及時排查隱患;2016年《中國兒童發展綱要(2011-2020年)》統計監測報告顯示，截止到2016年，全國共有2080所特殊教育學校，這些學校聚集了患有智力障礙、癲癇癥、自閉癥的孩子，我們也在努力測試使用情緒智能識別系統及時識別這些孩子發病的危險信號，比如笑容對于癲癇病患者是非常危險的。

很多家長在選擇興趣班時很困惑，因為他們不知道孩子真正喜歡什么。有一位家長曾根據主觀經驗給兒子報了繪畫班，一年后，孩子偶然試聽了聲樂班，才興高采烈地表明自己喜歡唱歌。這個故事啟發我們，孩子的天賦和興趣需要挖掘，如果能夠通過長期追蹤興趣數據形成標準，這樣的數據可以指導家長和老師因材施教，幫助孩子走向適合的軌道。

情緒識別還能幫助園長們更有效地激勵員工。過去由于缺乏清晰的評價機制，幼兒園在給教師發獎金時也經常無從下手。園長們通常從哪個班級投訴事件少，哪個老師更溫柔等主觀因素去判斷績效，結果往往不夠客觀真實。通過在教室里安裝雙向攝像頭，我們能夠分別統計出教師和孩子的“歡笑率”，我們還計劃與微軟亞洲研究院合作，不但提高兒童情緒的識別精度，而且計劃增加微軟認知服務中的“聲音智能識別”，以聲音數據(具體教學場景下的教學點)配合情緒數據幫助幼兒園客觀評價擁有不同教學水平和理念的教師對孩子的實際影響。

從情緒智能識別技術到新場景

蜜棗網本質上是一家數據公司，通過對數據的分析與挖掘，來尋找行業規律，解決實際應用挑戰，從而為行業管理者提供決策輔助，進一步提升管理運營效率。

我們在與線下零售商合作時，發現一個巨大挑戰是線下數據的維度比較少。比如在線下購物場景里，消費者的體驗包含了產品、環境、服務與自身需求之間多個要素之間的互動關系，而在傳統技術下，這些場景數據是無法獲取，更無從分析了。

而且，從商業的本質來說，技術要解決現實挑戰，不僅要技術創新，而且還要考慮實施成本，因此，從創業開始，我們就同時關注技術的橫向和縱向發展。云平臺是一個重大的技術突破，它所提供的部署能力，計算能力，以及在業務靈活性方面的巨大優勢讓我們從一開始就使用了SaaS平臺來為多個客戶實現業務部署。同時，我們也關注機器學習、人工智能等縱向技術，因為在解決一些計算能力要求非常高的場景里，這些技術將提供強大的計算能力并實現突破性的結果。

因此，我們一直關注著技術領域里的動態，并隨時檢測創新技術對我們業務的提升可能。蜜棗網從2015年就可以關注機器學習，而到2017年，面部及情緒智能進入了我們的視野。在全球，只有包括微軟在內的2-3家公司同時具備平臺寬度和技術深度，這與蜜棗網在實際應用中解決問題所需要的技術研發、業務管理、分析服務的支持非常吻合。

同時，不管是線下零售業還是幼教領域，都需要通過硬件設備獲取信息，分析有效信息，提供云端SaaS服務。硬件設備獲取的信息將存儲在云端，通過智能識別，為客戶提供分析和增值服務，這些服務使用云平臺將極大地節省存儲，計算以及部署的成本。

而為實現在實際應用中獲取體驗數據的要求，需要研發基礎的人臉識別算法，實現對原始數據的分析。基礎算法需要大量的原始數據積累，設計合理的算法，測試算法的通用性，收集數據和研發測試的周期較長，實現難度高。此外，研發人員自身設計架構以實現服務的穩定運行，保證系統的可靠性，工作較為繁瑣。

隨后，通過調研多家平臺，我們選擇了Azure。微軟的優勢在于依靠深厚的積累，能提供充足的技術支持和安全保障。例如，微軟很早就在人工智能領域進行了研究與應用，并提供認知服務，針對影像、語言、語音等方面進行分析。在微軟提供的豐富基礎技術中，我們總能找到合適的技術，加快研發進程，提高應用效果。

在Azure眾多的存儲方式中，我們選擇了Azure的Blob存儲，這種存儲方式在存儲圖片時顯示出了其強大的實力.首先，它內置了多種語言的操作API，支持包括python，php，java等主流語言，我們可以很方便的調用其API接口，實現對Blob存儲的增加刪除等操作;Azure的Blob存儲也可以通過URL來進行訪問，Azure會為存儲在Blob上的文件分配一個外部能夠訪問到的URL，通過使用這個URL，我們可以很方便地將圖片在頁面上展示出來;Blob存儲也支持多種配置參數，可以選擇合適的復制存儲策略保證數據的持續性與高可用性，也可以根據訪問數據的頻次進行冷熱訪問層的選擇等。通過使用Azure的Blob存儲服務，我們構建了具有高可用性，成本低廉的圖片存儲服務，為后續的圖片識別展示等操作提供了堅實的基礎;此外，Blob服務比磁盤等本地存儲的成本低90%，所以對于商業用戶來說也是最佳性價比的選擇。

通過Azure提供的認知服務，我們能夠實現快速分析影像數據，將其解析為結構化數據，為進一步實現與應用場景結合的情景分析奠定了基礎。經過我們在多個場景的測試，Azure認知服務的人臉識別和情緒識別技術，準確性和通用性都滿足了我們對于基礎算法的需求。

人臉識別技術在真實零售場景里的挑戰很多，比如光線條件對識別精度的影響，穿戴遮擋對識別精度的影響，微軟加速器通過幫助我們對接微軟亞洲研究院的專家，都找到了很好的解決方法。

我們通過調用Azure的認知服務對所有有效基礎數據進行分析，最后將分析結果結合實際應用情景相關的歸因算法，設計并滿足了實際應用服務的需求。Azure的認知服務部署簡單，測試方便，幫助我們極大地節省了對基礎算法的數據積累和算法研發的時間和成本，使得我們可以把更多的精力集中到將認知技術與實際應用相結合的算法和應用中，可以快速推進實際應用的部署和實現，如線下零售業的客流體驗分析系統和幼教領域的安全成長管理系統。

在線下零售業，我們通過Azure的認知服務對消費者屬性(如性別、年齡、情緒等)進行分析，結合實際購物體驗場景，有效分析客流動態，及時反饋客戶滿意度，對異常情況做出警示，開創性地在業內第一次實現了消費者動線的捕捉，并提供更多維度的分析包括冷熱區及停留分析等等業界創新技術。

在幼教領域Azure的面部和情緒認知服務幫助我們識別每個兒童的身份和情緒，結合我們對課程內容及教學方法的數據分析，開創了幼教領域第一個對教學效果和學生興趣進行分析的全新算法。這些計算結果結合Azure的云端部署，可以輕松簡單地在手機及移動端為家長提供孩子的成長檔案，并為老師改進課程提高學生興趣提供更有效的幫助，未來我們還將加入Azure認知服務中的語音語義識別技術，從更多維度理解兒童成長與教師教學之間的互動效果，從而持續利用人工智能技術推動兒童教育的發展。

當然，在創新技術的應用中，各種挑戰層出不窮，比如兒童的面部識別精度就比成人要低很多，同時，兒童的表情也非常豐富，有時人工智能并不能像老師一樣讀懂孩子的心。因此，我們也需要不斷與面部智能的專家深入應用場景來探討解決困難。微軟亞洲研究院與微軟加速器不僅關注技術研發，也積極扶持創業企業。我們在與微軟亞洲研究院的探討中也得到了非常多的認知技術幫助，并且有機會使用最新的認知智能技術來為零售和幼教領域的工作者提供幫助。這不僅是對技術發展的支持與創新，更是對社會回饋的最佳方式。

最近，我讀了一本叫做《集裝箱改變世界》的書：海運運輸本來沒有標準化流程，是由互不相連的段落組成的，而且貨物是散裝的。后來，美國公路貨運公司的一位CEO馬爾科姆·麥克萊恩作為海運行業的外來者，憑借前瞻的視野，創新的技術以及堅韌的努力，克服了無數重大挑戰而于1956年研制發明的集裝箱，成為了整個運輸業的標準化工具，為全球運輸業，乃至全球經濟都帶來了巨大的進步。我們相信，AI技術也有如此潛能，它不會取代人，而是幫助人類更好地解決問題：即使是經驗豐富的教師，也無法在一瞬間識別班上60多個孩子的喜怒哀樂，而AI能夠“不知疲倦”地識別視野范圍內每個孩子的情緒。人的智慧經驗結合AI的計算力，可以幫助幼教行業成就更多，哪怕我們一開始只能觸及全國1%的幼教市場，我們也能幫助到45萬幼兒接受更好地教育，更加快樂的成長，在未來依靠自己的天賦幸福生活，這就是我們前進的動力。