專家講解|人工智慧技術中的自然語言處理
2022-06-25 17:21 作者：李霖 來源：美國麻省理工學院電子工程與計算機系 閱覽：
在20世紀90年代初，國際知名學者周海中先生曾經預言：人工智慧技術將廣泛應用到各學科領域，會產生意想不到的效果。如今，事實證明人工智慧技術潛力無限。過去十餘年中，人工智慧技術的主要趨勢之一是通過創建越來越大的深度學習模型來解決問題；而這一趨勢在人工智慧技術中最具挑戰性的領域之一——自然語言處理(Natural Language Processing，簡稱NLP)中最為明顯。
所謂NLP，是計算機科學領域與人工智慧領域中的一個重要方向；它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。實現人機間自然語言通信意味著要使計算機既能理解自然語言文本的意義，又能以自然語言文本來表達給定的意圖、思想等。前者稱為自然語言理解（NLU），後者稱為自然語言生成（NLG）；因此，NLP大體包括了自然語言理解和自然語言生成兩個部分。因為處理自然語言的關鍵是要讓計算機「理解」自然語言，所以通常把自然語言理解視為NLP, 也稱為計算語言學。NLP的終極目標是用自然語言與計算機進行通信，使人們可以用自己最習慣的語言來使用計算機，而無需再花大量的時間和精力去學習不很自然和習慣的各種計算機語言。
NLP是人工智慧技術中最為困難的問題之一。美國微軟公司創始人比爾•蓋茨先生曾經表示：「語言理解是人工智慧領域皇冠上的明珠」；中國計算語言學先驅馮志偉先生曾經說過：「人工智慧領域，得語言者得天下。」由於理解自然語言需要關於外在世界的廣泛知識以及運用操作這些知識的能力，所以NLP也被視為解決人工智慧完備(AI-complete)的核心問題之一。自然語言是一種有機且自然發展而來的書面和口頭交流形式；處理意味著使用計算機分析和理解輸入數據。NLP是人類語言的機器處理，旨在教授機器如何處理和理解人類的語言，從而在人與機器之間建立一個簡單的溝通管道。NLP的基本任務包括正則表達式、分詞、詞法分析、語音識別、文本分類、資訊檢索、問答系統——如對一些問題進行回答或與用戶進行交互——機器翻譯等。
NLP常用的模型有馬科夫模型、樸素貝葉斯、循環神經網路等；它要使用語言知識，如UNIX的wc程式可以用來計算文本文件中的字節數、詞數或行數；當用它來計算字節數和行數時，wc只用於進行一般的數據處理，但當用它來計算一個文件中詞的數目時，就需要關於「什麼是一個詞」的語言知識，這樣，這個wc也就成為了一個NLP系統。無論實現自然語言理解，還是自然語言生成，都遠不如人們原來想象的那麼簡單，而是十分困難的。從現有的理論和技術現狀看，通用的、高質量的NLP系統，仍然是較長期的努力目標，但是針對一定應用，具有相當NLP能力的實用系統已經出現，有些已商品化，甚至開始產業化。典型的例子有：多語種數據庫和專家系統的自然語言接口、各種機器翻譯系統、全文資訊檢索系統、自動文摘系統等。NLP系統的算法是基於機器學習，特別是統計機器學習;許多不同類的機器學習算法已應用於NLP任務。
NLP的應用很廣泛，例如，在我們的手機和智能音箱中的個人語音助手，如Alexa和Siri。牠們不僅能夠理解我們的說話內容，而且能夠根據我們說的話採取行動，並做出反饋；NLP算法促進了這種與人類溝通的技術。溝通需要以人類的自然語言進行，多年來我們一直在與機器溝通，創建程式來執行某些任務並執行。然而，這些程式是用非自然語言編寫的，因為牠們不是口頭交流的形式，也不是自然或有機發展而來的。這些語言，例如Java、Python、C和C++，都是在主要考慮機器的情況下創建的，並且始終考慮的是「機器能夠輕鬆理解和處理的是什麼？」雖然Python是一種對用戶更加友好的語言，且易於學習和編碼，但與機器溝通，人類必須學習機器能夠理解的語言。隨著深度學習的出現，以多層深度神經網路的訓練來代替人工的特徵工程，不僅解放了人工，而且模型的效果也更好，所以深度學習在NLP等領域大放異彩。
近年來，深度學習已經澈底改變人工智慧技術的諸多領域，涉及NLP、語音、視覺、機器學習、情感計算、機器人和遊戲等。深度學習在NLP領域的諸多應用方面大獲成功，這使其成為人工智慧技術中最重要的發展基準。深度學習在NLP中的應用非常廣泛，可以說橫掃NLP的各個方面，從底層的分詞、語言模型、句法分析等到高層的語義理解、對話管理、知識問答等方面幾乎都有深度學習的模型，並且取得了不錯的效果。有關研究已從傳統的機器學習算法轉變成更有表現力的深度學習模型，如卷積神經網路和回歸神經網路。不過，目前的深度學習技術還不具備理解和使用自然語言所必需的概念抽象和邏輯推理能力，還有待今後進一步的研究。
總而言之，隨著互聯網的普及和海量資訊的湧現，作為人工智慧的核心技術和重要方向，NLP正在人們的工作、學習、生活中扮演著越來越重要的角色，並將在社會發展和科技進步的過程中發揮越來越重要的作用。
(作者系美國麻省理工學院電子工程與計算機系博士後)
NLP是人工智慧技術中最為困難的問題之一。美國微軟公司創始人比爾•蓋茨先生曾經表示：「語言理解是人工智慧領域皇冠上的明珠」；中國計算語言學先驅馮志偉先生曾經說過：「人工智慧領域，得語言者得天下。」由於理解自然語言需要關於外在世界的廣泛知識以及運用操作這些知識的能力，所以NLP也被視為解決人工智慧完備(AI-complete)的核心問題之一。自然語言是一種有機且自然發展而來的書面和口頭交流形式；處理意味著使用計算機分析和理解輸入數據。NLP是人類語言的機器處理，旨在教授機器如何處理和理解人類的語言，從而在人與機器之間建立一個簡單的溝通管道。NLP的基本任務包括正則表達式、分詞、詞法分析、語音識別、文本分類、資訊檢索、問答系統——如對一些問題進行回答或與用戶進行交互——機器翻譯等。
NLP常用的模型有馬科夫模型、樸素貝葉斯、循環神經網路等；它要使用語言知識，如UNIX的wc程式可以用來計算文本文件中的字節數、詞數或行數；當用它來計算字節數和行數時，wc只用於進行一般的數據處理，但當用它來計算一個文件中詞的數目時，就需要關於「什麼是一個詞」的語言知識，這樣，這個wc也就成為了一個NLP系統。無論實現自然語言理解，還是自然語言生成，都遠不如人們原來想象的那麼簡單，而是十分困難的。從現有的理論和技術現狀看，通用的、高質量的NLP系統，仍然是較長期的努力目標，但是針對一定應用，具有相當NLP能力的實用系統已經出現，有些已商品化，甚至開始產業化。典型的例子有：多語種數據庫和專家系統的自然語言接口、各種機器翻譯系統、全文資訊檢索系統、自動文摘系統等。NLP系統的算法是基於機器學習，特別是統計機器學習;許多不同類的機器學習算法已應用於NLP任務。
NLP的應用很廣泛，例如，在我們的手機和智能音箱中的個人語音助手，如Alexa和Siri。牠們不僅能夠理解我們的說話內容，而且能夠根據我們說的話採取行動，並做出反饋；NLP算法促進了這種與人類溝通的技術。溝通需要以人類的自然語言進行，多年來我們一直在與機器溝通，創建程式來執行某些任務並執行。然而，這些程式是用非自然語言編寫的，因為牠們不是口頭交流的形式，也不是自然或有機發展而來的。這些語言，例如Java、Python、C和C++，都是在主要考慮機器的情況下創建的，並且始終考慮的是「機器能夠輕鬆理解和處理的是什麼？」雖然Python是一種對用戶更加友好的語言，且易於學習和編碼，但與機器溝通，人類必須學習機器能夠理解的語言。隨著深度學習的出現，以多層深度神經網路的訓練來代替人工的特徵工程，不僅解放了人工，而且模型的效果也更好，所以深度學習在NLP等領域大放異彩。
近年來，深度學習已經澈底改變人工智慧技術的諸多領域，涉及NLP、語音、視覺、機器學習、情感計算、機器人和遊戲等。深度學習在NLP領域的諸多應用方面大獲成功，這使其成為人工智慧技術中最重要的發展基準。深度學習在NLP中的應用非常廣泛，可以說橫掃NLP的各個方面，從底層的分詞、語言模型、句法分析等到高層的語義理解、對話管理、知識問答等方面幾乎都有深度學習的模型，並且取得了不錯的效果。有關研究已從傳統的機器學習算法轉變成更有表現力的深度學習模型，如卷積神經網路和回歸神經網路。不過，目前的深度學習技術還不具備理解和使用自然語言所必需的概念抽象和邏輯推理能力，還有待今後進一步的研究。
總而言之，隨著互聯網的普及和海量資訊的湧現，作為人工智慧的核心技術和重要方向，NLP正在人們的工作、學習、生活中扮演著越來越重要的角色，並將在社會發展和科技進步的過程中發揮越來越重要的作用。
(作者系美國麻省理工學院電子工程與計算機系博士後)
