(10510,16,'2020-01-30 17:23:20','2020-01-30 09:23:20','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<p>如何理解一種語言？</p>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n<p>因為，詞彙是語言的最小單位。</p>\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。 資料來源│網路趣聞</p>\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是自然語言處理 (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。 攝影│張語辰</p>\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<p>問「自然語言」有多自然？</p>\r\n<p>答我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n\r\n<p>程式語言 vs. 自然語言 圖說設計│林婷嫻、張語辰</p>\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 17:23:20','2020-01-30 09:23:20','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10511,16,'2020-01-30 17:27:54','2020-01-30 09:27:54','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<p>如何理解一種語言？</p>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。 資料來源│網路趣聞</p>\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是自然語言處理 (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。 攝影│張語辰</p>\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<p>問「自然語言」有多自然？</p>\r\n<p>答我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n\r\n<p>程式語言 vs. 自然語言 圖說設計│林婷嫻、張語辰</p>\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 17:27:54','2020-01-30 09:27:54','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10512,16,'2020-01-30 17:50:45','2020-01-30 09:50:45','<h2 class=\"writingsH2\"><strong>「自然語言處理」是什麼</strong></h2>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<p>如何理解一種語言？</p>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。 資料來源│網路趣聞</p>\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是自然語言處理 (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。 攝影│張語辰</p>\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<p>問「自然語言」有多自然？</p>\r\n<p>答我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n\r\n<p>程式語言 vs. 自然語言 圖說設計│林婷嫻、張語辰</p>\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 17:50:45','2020-01-30 09:50:45','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10513,16,'2020-01-30 17:52:01','2020-01-30 09:52:01','<h2 class=\"writingsH2\"><strong>「自然語言處理」是什麼</strong></h2>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。 資料來源│網路趣聞</p>\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是自然語言處理 (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。 攝影│張語辰</p>\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<p>問「自然語言」有多自然？</p>\r\n<p>答我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n\r\n<p>程式語言 vs. 自然語言 圖說設計│林婷嫻、張語辰</p>\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 17:52:01','2020-01-30 09:52:01','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10514,16,'2020-01-30 17:52:51','2020-01-30 09:52:51','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。 資料來源│網路趣聞</p>\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是自然語言處理 (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。 攝影│張語辰</p>\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<p>問「自然語言」有多自然？</p>\r\n<p>答我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n\r\n<p>程式語言 vs. 自然語言 圖說設計│林婷嫻、張語辰</p>\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 17:52:51','2020-01-30 09:52:51','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10515,16,'2020-01-30 18:15:46','2020-01-30 10:15:46','','ma-natural-language-processing-10','','inherit','closed','closed','','ma-natural-language-processing-10','','','2020-01-30 18:15:46','2020-01-30 10:15:46','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg',0,'attachment','image/jpeg',0),(10516,16,'2020-01-30 18:15:59','2020-01-30 10:15:59','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。 資料來源│網路趣聞</p>\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是自然語言處理 (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。 攝影│張語辰</p>\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<p>問「自然語言」有多自然？</p>\r\n<p>答我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n\r\n<p>程式語言 vs. 自然語言 圖說設計│林婷嫻、張語辰</p>\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 18:15:59','2020-01-30 10:15:59','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10517,16,'2020-01-30 18:16:33','2020-01-30 10:16:33','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是自然語言處理 (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。 攝影│張語辰</p>\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<p>問「自然語言」有多自然？</p>\r\n<p>答我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n\r\n<p>程式語言 vs. 自然語言 圖說設計│林婷嫻、張語辰</p>\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 18:16:33','2020-01-30 10:16:33','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10518,16,'2020-01-30 18:17:33','2020-01-30 10:17:33','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。 攝影│張語辰</p>\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<p>問「自然語言」有多自然？</p>\r\n<p>答我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n\r\n<p>程式語言 vs. 自然語言 圖說設計│林婷嫻、張語辰</p>\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 18:17:33','2020-01-30 10:17:33','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10519,16,'2020-01-30 18:18:46','2020-01-30 10:18:46','','ma-natural-language-processing-11','','inherit','closed','closed','','ma-natural-language-processing-11','','','2020-01-30 18:18:46','2020-01-30 10:18:46','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg',0,'attachment','image/jpeg',0),(10520,16,'2020-01-30 18:19:13','2020-01-30 10:19:13','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<p>問「自然語言」有多自然？</p>\r\n<p>答我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n\r\n<p>程式語言 vs. 自然語言 圖說設計│林婷嫻、張語辰</p>\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 18:19:13','2020-01-30 10:19:13','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10521,16,'2020-01-30 18:20:01','2020-01-30 10:20:01','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>答我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n\r\n<p>程式語言 vs. 自然語言 圖說設計│林婷嫻、張語辰</p>\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 18:20:01','2020-01-30 10:20:01','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10522,16,'2020-01-30 18:20:55','2020-01-30 10:20:55','','列印','','inherit','closed','closed','','%e5%88%97%e5%8d%b0','','','2020-01-30 18:20:55','2020-01-30 10:20:55','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg',0,'attachment','image/jpeg',0),(10523,16,'2020-01-30 18:21:43','2020-01-30 10:21:43','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<p>問如何教電腦學會一種語言？</p>\r\n<p>答若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 18:21:43','2020-01-30 10:21:43','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10524,16,'2020-01-30 18:24:29','2020-01-30 10:24:29','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n<p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p>\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 18:24:29','2020-01-30 10:24:29','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10525,16,'2020-01-30 18:26:31','2020-01-30 10:26:31','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。</p>\r\n<p>攝影│張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>程式語言 vs. 自然語言</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n<p>自然語言處理的演變。</p>\r\n<p>圖說設計│林婷嫻、張語辰</p>\r\n\r\n<p>問訓練電腦處理自然語言，需要什麼樣的資料？</p>\r\n<p>答我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n<p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p>\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<p>問電腦可以認識所有「詞」嗎？</p>\r\n<p>答語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n<p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p>\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n\r\n<p>中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n<p>中文斷詞系統的處理步驟。</p>\r\n<p>資料來源│〈未知詞擷取作法〉，作者：馬偉雲</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-30 18:26:31','2020-01-30 10:26:31','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10554,11,'2020-01-31 11:30:16','2020-01-31 03:30:16','','首頁','','inherit','closed','closed','','2-revision-v1','','','2020-01-31 11:30:16','2020-01-31 03:30:16','',2,'https://aiacademy.tw/2-revision-v1/',0,'revision','',0),(10558,11,'2020-01-31 12:18:39','2020-01-31 04:18:39','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>在了解人工智慧對於企業與產業的影響，以及資料運用的四個層次之後，要進一步討論，為什麼人工智慧可以這麼聰明？是不是很快會取代人類？</p>\r\n<blockquote><p><span class=\"em\">基本上，只要是在封閉系統內發生的問題，人工智慧都可以做得很好，甚至超越人類，例如許多電腦遊戲及牌類、棋類遊戲，人類已無法與人工智慧匹敵</span></p></blockquote>\r\n<p>2016年3月，AlphaGo打敗世界圍棋冠軍李世乭，引起全球矚目，不只意味著人工智慧的發展進入一個全新里程碑，同時也讓人工智慧在近幾年成為最吸睛的話題。但是，究竟人工智慧為什麼那麼聰明？他們會持續變聰明嗎？有沒有可能很快取代人類？同樣成為許多人討論的焦點。</p>\r\n<p>在某些範疇與特定的領域中，人工智慧的確表現得很出色，甚至到達超越人類的程度。例如打造出AlphaGo的DeepMind團隊，後續又打造AlphaZero，一舉超越之前所有圍棋、象棋、國際將棋的人工智慧，當然，AlphaGo與人類一併都被超越了。</p>\r\n<p class=\"blueP\">AlphaZero與AlphaGo一個最大的不同是，AlphaZero不依賴人類棋士的領域知識及棋譜，純粹依賴計算，用難以想像的龐大計算量，讓電腦在左右互搏中找出致勝的線索，取代人類數百年來的切磋與計算。</p>\r\n<p>人工智慧指的是讓機器擁有類似人類智慧的技術，而今天的人工智慧指的是第三波的人工智慧。</p>\r\n<p>二、三十年前的第二波人工智慧，期待透過人類定義的規則來解決問題，但因為太多現實生活的難題，人類自己都無法解決，例如說預測火災或地震；或是有能力解決，但沒有能力把規則說出來，例如警衛判斷某個人是否圖謀不軌，或是面試官判斷某個人是否合適加入公司，因此，這種用人類制定規則的人工智慧系統表現並不好。</p>\r\n<P>今天的人工智慧，也就是第三波的人工智慧，運用機器學習技術來計算規則，因為資料量夠大，再加上運算速度的提升，讓機器學習有能力，找出比人類說得出口的規則更加精準的規則，才讓人工智慧出現突破性的發展。</P>\r\n<p class=\"blueP\">以技術角度來看，人工智慧包含傳統人工智慧與機器學習。傳統人工智慧指的就是基於人類經驗制定原則的方法，機器學習則包含所有讓電腦自行由大量資料中學習出規則的方法。</p>\r\n<img src=\"/wp-content/uploads/2020/01/02-1.png\" alt=\"\" width=\"864\" height=\"620\" class=\"aligncenter size-full wp-image-10582\" />\r\n<p>例如，如果想要讓電腦能夠辨識人們是不是在講「你好」，以機器學習的作法，必須先收集許多人的「你好」錄音，用機器學習演算法找出規則，之後就有判斷某個聲波是否為「你好」的能力。有了機器學習技術，之後延伸到「大家好」及「人帥真好」，只要多收集這兩種聲音檔即可，不用再以人工的方式來定義每一個句子的規則。</p>\r\n<p>跟語音辨識相較，圖像辨識的進展則快得多，在2015年時，機器學習在影像分類的挑戰賽已經超越人類，錯誤率開始低於5%。也因此近幾年有許多應用開始出現，可以讓手機隨時快速辨識照片中的人臉或動植物、汽機車、建築物等物體。</p>\r\n<p class=\"blueP\">機器學習技術又包含傳統機器學習與深度學習。兩者的差別是，深度學習技術所計算出來的規則是有層次的，而傳統機器學習的產出皆是單一層次的規則。</p>\r\n<p>例如線性迴歸或決策樹就屬於傳統機器學習。<span class=\"blueP\">相較於傳統機器學習，深度學習需要的資料量較大，運算量的需求也更為龐大，但好處是它可以處理高維度的問題，也就是具有上百、上千、甚至上萬個變數的問題。</span></p>\r\n<p>生活中常見的問題多屬於此類，例如涉及文字、影像、聲音、影片等問題通常皆是高維度的問題，也因此若有足夠的資料量，深度學習通常可以提供比傳統機器學習更好的解答。也因此，深度學習是目前人工智慧的主流技術，舉凡我們最近所見的臉部辨識、語音辨識、無人車等等，幾乎都是深度學習技術的成果。</p>\r\n<img src=\"/wp-content/uploads/2020/01/02-2.png\" alt=\"\" width=\"864\" height=\"620\" class=\"aligncenter size-full wp-image-10582\" />\r\n<p></p>\r\n<p>根據我手邊的一份資料，2014年第一季，Google這家公司內部就有超過200個專案使用深度學習，在2016年第一季，這家公司已經有超過2,000個專案在使用深度學習，也就是說，不論是在語音輸入、門牌路標辨識、照片分類、自動回信、垃圾郵件判斷，甚至在資料中心的營運上，Google已將深度學習應用在你想得到或想不到的各個應用上。在可見的未來，機器學習及深度學習將成為所有電腦軟體中不可或缺的決策元件。</p>\r\n<p>那麼，人工智慧會不會很快就比人類聰明、有智慧，甚至厲害到可以統治人類？這個問題可以有長的回答，也可以有短的回答。</p>\r\n<p>長的回答是，<span class=\"blueP\">我們必須先將所有的問題分為兩個軸度，第一個軸度是問題所在的系統是開放還是封閉的，例如象棋及所有棋類遊戲是百分之百的封閉系統，但信用卡盜刷問題屬於開放系統，因為我們根本無從觀察刷卡者是否為本人。第二個軸度是，我們知不知曉問題的答案，例如颱風的路徑我們在事後當然知道答案，但是若A公司併購了B公司後業績不錯，我們還是不知道若是併購案沒有發生，A公司的業績會不會更好。</span></p>\r\n<p></p>\r\n<img src=\"/wp-content/uploads/2020/01/02-3.png\" alt=\"\" width=\"864\" height=\"620\" class=\"aligncenter size-full wp-image-10582\" />\r\n<p></p>\r\n<p></p>\r\n<p class=\"blueP\">這兩個軸度可以將所有的問題切分為四個象限，基本上，只要問題是在封閉系統內發生的問題，人工智慧都可以做得很好，甚至超越人類，例如許多電腦遊戲及牌類、棋類遊戲，人類已無法與人工智慧匹敵。</p>\r\n<p><span class=\"blueP\">在開放系統但有明確答案的這個象限，人工智慧不見得可以做得很好，必須根據我們對於此開放系統的觀測能力而定。</span>例如說人流及車流計算是可以做得很好，但颱風路徑及金融市場的預測表現就不算好，主因是我們的觀測資料太有限，無法得知系統中的一舉一動；另一個原因是系統本身太過複雜，以今天的機器學習模型，還是沒有辦法找到觀察與預測值之間的關係。</p>\r\n<p class=\"blueP\">最後一個象限是開放系統中也沒有明確答案的問題，例如該不該跟某個女生告白，該不該進行某項新商品的發售，該不該進行某個政治操作，通常因為情勢及行為無法量化，所以根本無法以電腦來分析。在這個象限裡，就是人類智慧的天下，人工智慧基本上無計可施。</p>\r\n<p>所以，總結來說，對某些問題來說，人工智慧的表現優於人類；但在某些問題上頭，人工智慧比三歲小孩還不如，所以人工智慧是否會比人類聰明，必須限縮在某個領域來問題，不可一概而論。</p>\r\n<p class=\"blueP\">值得注意的是，即使是在人工智慧擅長的領域內，若沒有足夠的資料量，那還是沒轍，巧婦難為無米之炊，沒有訓練資料，就沒辦法找到規則，沒有辦法讓電腦擁有人工智慧。</p>\r\n<p>但人工智慧是否會比人類聰明這個問題，也有一個短的回答是：不會，這一波，也就是第三波的人工智慧，並沒有賦予電腦任何「思考」的能力，所以人工智慧絕對不會比人類聰明。</p>\r\n<p>所以，關於人工智慧，重點是瞭解他的能與不能，不要太過期待，但也要清楚瞭解它究竟能幫我們做什麼，以及怎麼做可以發揮它的潛力。這也是我們這系列課程的重點目標之一。</p>\r\n','The Issue of Taiwan\'s Industrial AI Series(2):How AI keeps getting smarter?','','publish','closed','open','','how-artificial-intelligence-continues-to-become-smart','','','2021-06-07 17:54:44','2021-06-07 09:54:44','',0,'https://aiacademy.tw/?p=10558',149,'post','',0),(10559,11,'2020-01-31 12:18:39','2020-01-31 04:18:39','<style>\r\nspan.em{\r\ncolor:#B10500;}\r\n</style>\r\n<p>要深入了解產業如何應用人工智慧達成策略目標，首先必須瞭解AI究竟能做哪些事？無法做什麼事？企業對於AI又存在著哪些誤解？</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">在人工智慧的年代裡，企業若要維持現有的競爭力，甚至彎道超車勝過對手，產業AI化是非做不可的。</span></p></blockquote>\r\n\r\n\r\n\r\n<p>最近幾年大家一定經常聽到，人工智慧是台灣產業轉型關鍵技術這樣的說法，也有不少企業宣布已經導入人工智慧。但是，到底什麼是人工智慧？我想我們必須在課程開始的第一個重點，先釐清這個概念。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>人工智慧定義</strong></h2>\r\n<p><u>人工智慧的定義是，任何讓電腦能夠表現出類似人類智慧行為的技術。實現人工智慧的技術有許多種，目前這一波的人工智慧浪潮中，最主要用來實現人工智慧的技術叫做機器學習。</u></p>\r\n\r\n<p>機器學習的定義是，能夠從資料裡頭學習到規則的演算法，之後我們就可以將這些規則實作在電腦系統中，讓電腦展現看起來有智慧的行為。依這個定義來看，機器學習需要有資料才能發揮功用，所以，是否有合適的可用資料也是實現人工智慧的關鍵之一。</p>\r\n\r\n<p>因此，人工智慧、機器學習以及大數據這三個大家常見的名詞，事實上是息息相關的。今天的人工智慧系統，底層的引擎都是機器學習模型；而機器學習必須要基於大數據才能淬取出有用的規則。換句話說，<u>我們可以將大數據想成原料，機器學習則是處理這些原料的方法，而產出的結果就是人工智慧。</p></u>\r\n\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-1-e1576557161249.jpg\" alt=\"人工智慧、大數據與機器學習\" width=\"870\" height=\"400\" class=\"alignnone size-full wp-image-9882\" /></p>\r\n\r\n<p>人工智慧雖是台灣普遍關注的熱門議題，不僅企業想擁抱人工智慧，人才也想往人工智慧領域移動，大家也都聽過，人工智慧將帶領新一波科技革命，但究竟產業如何導入人工智慧，仍然是不太清楚。在認知不清的狀況下，台灣企業目前的資料運用程度，通常與人工智慧應用仍有一段距離。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>人工智慧發展的三個面向</strong></h2>\r\n<p>所以，在今天的課程中，要跟大家談的第二個重點是，先了解人工智慧發展的三個面向，再聚焦台灣產業與人工智慧的關係。</p>\r\n<p><u>人工智慧發展的第一個面向指的是技術發展，這個面向通常由學術界或業界實驗室來進行，鑽研機器學習演算法的改善。</u>它的目的是讓以前做不到的事變成可以做到，讓演算法可以基於同樣的資料在同樣的條件下，讓電腦表現出來更聰明。因為我們這個系列課程的目的在於人工智慧應用，在這次的課程中我們先不深入討論。</p>\r\n<p><u>人工智慧發展的第二個面向是AI產業化，像大家都知道的無人車、無人機、無人商店或服務型機器人，這些以人工智慧技術為主軸，所發展出來的新產業或新商業模式，稱為AI產業化。</u></p>\r\n\r\n<p><u>第三個面向，就是我們在這十二堂課程中要深入與各位分享討論的，叫做產業AI化。產業AI化指的是將人工智慧導入現有的各式產業中。</u>不論是製造業、金融業、零售業、服務業、農林漁牧業等等，都可以藉由人工智慧的協助，提升產品或服務的品質，同時降低管理、人事及生產成本等等，維持及提升產業競爭力，甚至成為升級及轉型的契機。</p>\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-2-e1576557397220.jpg\" alt=\"人工智慧發展的三個面向\" width=\"870\" height=\"528\" class=\"alignnone size-full wp-image-9884\" /></p>\r\n\r\n<h2 class=\"writingsH2\"><strong>商業智慧平台不等於人工智慧</strong></h2>\r\n\r\n<p><u>不同產業對於產業AI化的需求與方向不太一樣。</u>根據我個人協助許多企業的經驗，金融業與電信業因為監理法規的要求，通常已累積大量交易及使用者行為資料；製造業方面，因為工業4.0與物聯網的觀念推行，尤其是電子製造業，許多中、大型廠商都積極蒐集從備料，排程，生產，出貨到實際運行的所有資料。另外，電商平台生而數位，掌握所有使用者的交易資料。大型零售業也在POS系統的幫忙之下，有限度地瞭解使用者喜好及行為。</p>\r\n<p>這些產業基本上資料充足，且資料架構相對成熟，其中許多已經投資商業智慧平台，可以透過資源儀表板或關鍵績效指標的呈現，來做情勢評估，並據此進行管理。不過，應用數據報表來做情勢評估，仍仰賴人力來做解讀及決策，只是資料分析的最淺層應用，與人工智慧還有一段很長的距離。若企業自己覺得，我已經收集很多資料，每天也都有報表可以看，就是大數據的應用，那實在是太可惜了。 </p>\r\n<p><u>產業AI化談的就是下一步，在企業收集資料並有可能開始進行資料分析後，能讓「資料為企業產生價值」的終極手段，就是人工智慧。</u></p>\r\n<p>Gartner有篇報告<u>將資料分析按深度分為四個階段：描述型分析、診斷型分析、預測型分析與指示型分析。這四種階段，分別要回答「發生了什麼？」「為什麼發生？」「未來是否發生？」「如何讓它發生？」這四個問題。</u>其中，我們通常把前兩個層次，也就是描述型分析、診斷型分析，歸類為商業智慧平台的能力，而把後兩個層次，預測型分析與指示型分析，歸類為人工智慧，因為預測及指示，指示就是指下指令的動作，像是擁有人類智慧才能進行的工作。</p>\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-3-e1576574583444.jpg\" alt=\"資料分析運用四大階段\" width=\"870\" height=\"458\" class=\"alignnone size-full wp-image-9892\" /></p>\r\n<p>依我過去數年的觀察，比對上面所提到的描述、診斷、預測與指示四種資料分析階段，也可以說是資料運用的深度，目前台灣企業多數還停留在前兩個階段，甚至是第一個階段，也就是拿著數據產出報表，以人來解讀，號稱是洞察報告的階段。</p>\r\n<h2 class=\"writingsH2\"><strong>須先破除「人類才能做決策」迷思</strong></h2>\r\n<p>困難的是，有些企業誤以為這就是大數據分析該有的運用方式，因為只有人類可以理解瞬息萬變的市場，才有足夠的領域知識及經驗來進行企業裡各式大大小小的決策。這個理解在某些情境是正確的，畢竟今天的人工智慧還沒有真正的智慧；但在許多情境是錯誤的，有太多實例可以證明，在各式商業情境中，人工智慧進行決策，可以比有經驗的從業人員決策更為準確且快速。</p>\r\n<p>因此，在人工智慧的年代裡，企業若要維持現有的競爭力，甚至彎道超車勝過對手，產業AI化是非做不可的。<u>大家必須破除「人類才能做決策」的迷思，將資料運用能力提升到「預測」與「指示」的層次，讓人工智慧以合適的角色、合適的方式進入合適的企業流程中，透過人與人工智慧協同合作，讓人工智慧在各方面為企業加分，無論是開源，節流或是提升企業效率。</u></p>\r\n<p>要如何做到這一步呢？在下一次課程中，將會與各位分享，如何讓人工智慧持續變聰明的關鍵技術。</p>\r\n','台灣產業AI化的問題2〉人工智慧如何持續變聰明？','','inherit','closed','closed','','10558-revision-v1','','','2020-01-31 12:18:39','2020-01-31 04:18:39','',10558,'https://aiacademy.tw/10558-revision-v1/',0,'revision','',0),(10560,11,'2020-01-31 12:21:06','2020-01-31 04:21:06','<style>\r\nspan.em{\r\ncolor:#B10500;\r\nfont-weight: 500;\r\n}\r\n</style>\r\n<p>要深入了解產業如何應用人工智慧達成策略目標，首先必須瞭解AI究竟能做哪些事？無法做什麼事？企業對於AI又存在著哪些誤解？</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">在人工智慧的年代裡，企業若要維持現有的競爭力，甚至彎道超車勝過對手，產業AI化是非做不可的。</span></p></blockquote>\r\n\r\n\r\n\r\n<p>最近幾年大家一定經常聽到，人工智慧是台灣產業轉型關鍵技術這樣的說法，也有不少企業宣布已經導入人工智慧。但是，到底什麼是人工智慧？我想我們必須在課程開始的第一個重點，先釐清這個概念。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>人工智慧定義</strong></h2>\r\n<p><u>人工智慧的定義是，任何讓電腦能夠表現出類似人類智慧行為的技術。實現人工智慧的技術有許多種，目前這一波的人工智慧浪潮中，最主要用來實現人工智慧的技術叫做機器學習。</p></u>\r\n\r\n<p>機器學習的定義是，能夠從資料裡頭學習到規則的演算法，之後我們就可以將這些規則實作在電腦系統中，讓電腦展現看起來有智慧的行為。依這個定義來看，機器學習需要有資料才能發揮功用，所以，是否有合適的可用資料也是實現人工智慧的關鍵之一。</p>\r\n\r\n<p>因此，人工智慧、機器學習以及大數據這三個大家常見的名詞，事實上是息息相關的。今天的人工智慧系統，底層的引擎都是機器學習模型；而機器學習必須要基於大數據才能淬取出有用的規則。換句話說，<u>我們可以將大數據想成原料，機器學習則是處理這些原料的方法，而產出的結果就是人工智慧。</p></u>\r\n\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-1-e1576557161249.jpg\" alt=\"人工智慧、大數據與機器學習\" width=\"870\" height=\"400\" class=\"alignnone size-full wp-image-9882\" /></p>\r\n\r\n<p>人工智慧雖是台灣普遍關注的熱門議題，不僅企業想擁抱人工智慧，人才也想往人工智慧領域移動，大家也都聽過，人工智慧將帶領新一波科技革命，但究竟產業如何導入人工智慧，仍然是不太清楚。在認知不清的狀況下，台灣企業目前的資料運用程度，通常與人工智慧應用仍有一段距離。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>人工智慧發展的三個面向</strong></h2>\r\n<p>所以，在今天的課程中，要跟大家談的第二個重點是，先了解人工智慧發展的三個面向，再聚焦台灣產業與人工智慧的關係。</p>\r\n<p><u>人工智慧發展的第一個面向指的是技術發展，這個面向通常由學術界或業界實驗室來進行，鑽研機器學習演算法的改善。</u>它的目的是讓以前做不到的事變成可以做到，讓演算法可以基於同樣的資料在同樣的條件下，讓電腦表現出來更聰明。因為我們這個系列課程的目的在於人工智慧應用，在這次的課程中我們先不深入討論。</p>\r\n<p><u>人工智慧發展的第二個面向是AI產業化，像大家都知道的無人車、無人機、無人商店或服務型機器人，這些以人工智慧技術為主軸，所發展出來的新產業或新商業模式，稱為AI產業化。</u></p>\r\n\r\n<p><u>第三個面向，就是我們在這十二堂課程中要深入與各位分享討論的，叫做產業AI化。產業AI化指的是將人工智慧導入現有的各式產業中。</u>不論是製造業、金融業、零售業、服務業、農林漁牧業等等，都可以藉由人工智慧的協助，提升產品或服務的品質，同時降低管理、人事及生產成本等等，維持及提升產業競爭力，甚至成為升級及轉型的契機。</p>\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-2-e1576557397220.jpg\" alt=\"人工智慧發展的三個面向\" width=\"870\" height=\"528\" class=\"alignnone size-full wp-image-9884\" /></p>\r\n\r\n<h2 class=\"writingsH2\"><strong>商業智慧平台不等於人工智慧</strong></h2>\r\n\r\n<p><u>不同產業對於產業AI化的需求與方向不太一樣。</u>根據我個人協助許多企業的經驗，金融業與電信業因為監理法規的要求，通常已累積大量交易及使用者行為資料；製造業方面，因為工業4.0與物聯網的觀念推行，尤其是電子製造業，許多中、大型廠商都積極蒐集從備料，排程，生產，出貨到實際運行的所有資料。另外，電商平台生而數位，掌握所有使用者的交易資料。大型零售業也在POS系統的幫忙之下，有限度地瞭解使用者喜好及行為。</p>\r\n<p>這些產業基本上資料充足，且資料架構相對成熟，其中許多已經投資商業智慧平台，可以透過資源儀表板或關鍵績效指標的呈現，來做情勢評估，並據此進行管理。不過，應用數據報表來做情勢評估，仍仰賴人力來做解讀及決策，只是資料分析的最淺層應用，與人工智慧還有一段很長的距離。若企業自己覺得，我已經收集很多資料，每天也都有報表可以看，就是大數據的應用，那實在是太可惜了。 </p>\r\n<p><u>產業AI化談的就是下一步，在企業收集資料並有可能開始進行資料分析後，能讓「資料為企業產生價值」的終極手段，就是人工智慧。</u></p>\r\n<p>Gartner有篇報告<u>將資料分析按深度分為四個階段：描述型分析、診斷型分析、預測型分析與指示型分析。這四種階段，分別要回答「發生了什麼？」「為什麼發生？」「未來是否發生？」「如何讓它發生？」這四個問題。</u>其中，我們通常把前兩個層次，也就是描述型分析、診斷型分析，歸類為商業智慧平台的能力，而把後兩個層次，預測型分析與指示型分析，歸類為人工智慧，因為預測及指示，指示就是指下指令的動作，像是擁有人類智慧才能進行的工作。</p>\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-3-e1576574583444.jpg\" alt=\"資料分析運用四大階段\" width=\"870\" height=\"458\" class=\"alignnone size-full wp-image-9892\" /></p>\r\n<p>依我過去數年的觀察，比對上面所提到的描述、診斷、預測與指示四種資料分析階段，也可以說是資料運用的深度，目前台灣企業多數還停留在前兩個階段，甚至是第一個階段，也就是拿著數據產出報表，以人來解讀，號稱是洞察報告的階段。</p>\r\n<h2 class=\"writingsH2\"><strong>須先破除「人類才能做決策」迷思</strong></h2>\r\n<p>困難的是，有些企業誤以為這就是大數據分析該有的運用方式，因為只有人類可以理解瞬息萬變的市場，才有足夠的領域知識及經驗來進行企業裡各式大大小小的決策。這個理解在某些情境是正確的，畢竟今天的人工智慧還沒有真正的智慧；但在許多情境是錯誤的，有太多實例可以證明，在各式商業情境中，人工智慧進行決策，可以比有經驗的從業人員決策更為準確且快速。</p>\r\n<p>因此，在人工智慧的年代裡，企業若要維持現有的競爭力，甚至彎道超車勝過對手，產業AI化是非做不可的。<u>大家必須破除「人類才能做決策」的迷思，將資料運用能力提升到「預測」與「指示」的層次，讓人工智慧以合適的角色、合適的方式進入合適的企業流程中，透過人與人工智慧協同合作，讓人工智慧在各方面為企業加分，無論是開源，節流或是提升企業效率。</u></p>\r\n<p>要如何做到這一步呢？在下一次課程中，將會與各位分享，如何讓人工智慧持續變聰明的關鍵技術。</p>\r\n','台灣產業AI化的問題1〉人工智慧產業化的定義？','','inherit','closed','closed','','9871-revision-v1','','','2020-01-31 12:21:06','2020-01-31 04:21:06','',9871,'https://aiacademy.tw/9871-revision-v1/',0,'revision','',0),(10561,11,'2020-01-31 12:21:43','2020-01-31 04:21:43','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n</style>\r\n<p>要深入了解產業如何應用人工智慧達成策略目標，首先必須瞭解AI究竟能做哪些事？無法做什麼事？企業對於AI又存在著哪些誤解？</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">在人工智慧的年代裡，企業若要維持現有的競爭力，甚至彎道超車勝過對手，產業AI化是非做不可的。</span></p></blockquote>\r\n\r\n\r\n\r\n<p>最近幾年大家一定經常聽到，人工智慧是台灣產業轉型關鍵技術這樣的說法，也有不少企業宣布已經導入人工智慧。但是，到底什麼是人工智慧？我想我們必須在課程開始的第一個重點，先釐清這個概念。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>人工智慧定義</strong></h2>\r\n<p><u>人工智慧的定義是，任何讓電腦能夠表現出類似人類智慧行為的技術。實現人工智慧的技術有許多種，目前這一波的人工智慧浪潮中，最主要用來實現人工智慧的技術叫做機器學習。</p></u>\r\n\r\n<p>機器學習的定義是，能夠從資料裡頭學習到規則的演算法，之後我們就可以將這些規則實作在電腦系統中，讓電腦展現看起來有智慧的行為。依這個定義來看，機器學習需要有資料才能發揮功用，所以，是否有合適的可用資料也是實現人工智慧的關鍵之一。</p>\r\n\r\n<p>因此，人工智慧、機器學習以及大數據這三個大家常見的名詞，事實上是息息相關的。今天的人工智慧系統，底層的引擎都是機器學習模型；而機器學習必須要基於大數據才能淬取出有用的規則。換句話說，<u>我們可以將大數據想成原料，機器學習則是處理這些原料的方法，而產出的結果就是人工智慧。</p></u>\r\n\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-1-e1576557161249.jpg\" alt=\"人工智慧、大數據與機器學習\" width=\"870\" height=\"400\" class=\"alignnone size-full wp-image-9882\" /></p>\r\n\r\n<p>人工智慧雖是台灣普遍關注的熱門議題，不僅企業想擁抱人工智慧，人才也想往人工智慧領域移動，大家也都聽過，人工智慧將帶領新一波科技革命，但究竟產業如何導入人工智慧，仍然是不太清楚。在認知不清的狀況下，台灣企業目前的資料運用程度，通常與人工智慧應用仍有一段距離。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>人工智慧發展的三個面向</strong></h2>\r\n<p>所以，在今天的課程中，要跟大家談的第二個重點是，先了解人工智慧發展的三個面向，再聚焦台灣產業與人工智慧的關係。</p>\r\n<p><u>人工智慧發展的第一個面向指的是技術發展，這個面向通常由學術界或業界實驗室來進行，鑽研機器學習演算法的改善。</u>它的目的是讓以前做不到的事變成可以做到，讓演算法可以基於同樣的資料在同樣的條件下，讓電腦表現出來更聰明。因為我們這個系列課程的目的在於人工智慧應用，在這次的課程中我們先不深入討論。</p>\r\n<p><u>人工智慧發展的第二個面向是AI產業化，像大家都知道的無人車、無人機、無人商店或服務型機器人，這些以人工智慧技術為主軸，所發展出來的新產業或新商業模式，稱為AI產業化。</u></p>\r\n\r\n<p><u>第三個面向，就是我們在這十二堂課程中要深入與各位分享討論的，叫做產業AI化。產業AI化指的是將人工智慧導入現有的各式產業中。</u>不論是製造業、金融業、零售業、服務業、農林漁牧業等等，都可以藉由人工智慧的協助，提升產品或服務的品質，同時降低管理、人事及生產成本等等，維持及提升產業競爭力，甚至成為升級及轉型的契機。</p>\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-2-e1576557397220.jpg\" alt=\"人工智慧發展的三個面向\" width=\"870\" height=\"528\" class=\"alignnone size-full wp-image-9884\" /></p>\r\n\r\n<h2 class=\"writingsH2\"><strong>商業智慧平台不等於人工智慧</strong></h2>\r\n\r\n<p><u>不同產業對於產業AI化的需求與方向不太一樣。</u>根據我個人協助許多企業的經驗，金融業與電信業因為監理法規的要求，通常已累積大量交易及使用者行為資料；製造業方面，因為工業4.0與物聯網的觀念推行，尤其是電子製造業，許多中、大型廠商都積極蒐集從備料，排程，生產，出貨到實際運行的所有資料。另外，電商平台生而數位，掌握所有使用者的交易資料。大型零售業也在POS系統的幫忙之下，有限度地瞭解使用者喜好及行為。</p>\r\n<p>這些產業基本上資料充足，且資料架構相對成熟，其中許多已經投資商業智慧平台，可以透過資源儀表板或關鍵績效指標的呈現，來做情勢評估，並據此進行管理。不過，應用數據報表來做情勢評估，仍仰賴人力來做解讀及決策，只是資料分析的最淺層應用，與人工智慧還有一段很長的距離。若企業自己覺得，我已經收集很多資料，每天也都有報表可以看，就是大數據的應用，那實在是太可惜了。 </p>\r\n<p><u>產業AI化談的就是下一步，在企業收集資料並有可能開始進行資料分析後，能讓「資料為企業產生價值」的終極手段，就是人工智慧。</u></p>\r\n<p>Gartner有篇報告<u>將資料分析按深度分為四個階段：描述型分析、診斷型分析、預測型分析與指示型分析。這四種階段，分別要回答「發生了什麼？」「為什麼發生？」「未來是否發生？」「如何讓它發生？」這四個問題。</u>其中，我們通常把前兩個層次，也就是描述型分析、診斷型分析，歸類為商業智慧平台的能力，而把後兩個層次，預測型分析與指示型分析，歸類為人工智慧，因為預測及指示，指示就是指下指令的動作，像是擁有人類智慧才能進行的工作。</p>\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-3-e1576574583444.jpg\" alt=\"資料分析運用四大階段\" width=\"870\" height=\"458\" class=\"alignnone size-full wp-image-9892\" /></p>\r\n<p>依我過去數年的觀察，比對上面所提到的描述、診斷、預測與指示四種資料分析階段，也可以說是資料運用的深度，目前台灣企業多數還停留在前兩個階段，甚至是第一個階段，也就是拿著數據產出報表，以人來解讀，號稱是洞察報告的階段。</p>\r\n<h2 class=\"writingsH2\"><strong>須先破除「人類才能做決策」迷思</strong></h2>\r\n<p>困難的是，有些企業誤以為這就是大數據分析該有的運用方式，因為只有人類可以理解瞬息萬變的市場，才有足夠的領域知識及經驗來進行企業裡各式大大小小的決策。這個理解在某些情境是正確的，畢竟今天的人工智慧還沒有真正的智慧；但在許多情境是錯誤的，有太多實例可以證明，在各式商業情境中，人工智慧進行決策，可以比有經驗的從業人員決策更為準確且快速。</p>\r\n<p>因此，在人工智慧的年代裡，企業若要維持現有的競爭力，甚至彎道超車勝過對手，產業AI化是非做不可的。<u>大家必須破除「人類才能做決策」的迷思，將資料運用能力提升到「預測」與「指示」的層次，讓人工智慧以合適的角色、合適的方式進入合適的企業流程中，透過人與人工智慧協同合作，讓人工智慧在各方面為企業加分，無論是開源，節流或是提升企業效率。</u></p>\r\n<p>要如何做到這一步呢？在下一次課程中，將會與各位分享，如何讓人工智慧持續變聰明的關鍵技術。</p>\r\n','台灣產業AI化的問題1〉人工智慧產業化的定義？','','inherit','closed','closed','','9871-revision-v1','','','2020-01-31 12:21:43','2020-01-31 04:21:43','',9871,'https://aiacademy.tw/9871-revision-v1/',0,'revision','',0),(10563,11,'2020-01-31 14:04:27','2020-01-31 06:04:27','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>要深入了解產業如何應用人工智慧達成策略目標，首先必須瞭解AI究竟能做哪些事？無法做什麼事？企業對於AI又存在著哪些誤解？</p>\r\n<blockquote><p><span class=\"em\">在人工智慧的年代裡，企業若要維持現有的競爭力，甚至彎道超車勝過對手，產業AI化是非做不可的。</span></p></blockquote>\r\n\r\n<p>最近幾年大家一定經常聽到，人工智慧是台灣產業轉型關鍵技術這樣的說法，也有不少企業宣布已經導入人工智慧。但是，到底什麼是人工智慧？我想我們必須在課程開始的第一個重點，先釐清這個概念。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>人工智慧定義</strong></h2>\r\n<p class=\"blueP\">人工智慧的定義是，任何讓電腦能夠表現出類似人類智慧行為的技術。實現人工智慧的技術有許多種，目前這一波的人工智慧浪潮中，最主要用來實現人工智慧的技術叫做機器學習。</p>\r\n\r\n<p>機器學習的定義是，能夠從資料裡頭學習到規則的演算法，之後我們就可以將這些規則實作在電腦系統中，讓電腦展現看起來有智慧的行為。依這個定義來看，機器學習需要有資料才能發揮功用，所以，是否有合適的可用資料也是實現人工智慧的關鍵之一。</p>\r\n\r\n<p>因此，人工智慧、機器學習以及大數據這三個大家常見的名詞，事實上是息息相關的。今天的人工智慧系統，底層的引擎都是機器學習模型；而機器學習必須要基於大數據才能淬取出有用的規則。換句話說，<span class=\"blueP\">我們可以將大數據想成原料，機器學習則是處理這些原料的方法，而產出的結果就是人工智慧。</span></p>\r\n\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-1-e1576557161249.jpg\" alt=\"人工智慧、大數據與機器學習\" width=\"870\" height=\"400\" class=\"alignnone size-full wp-image-9882\" /></p>\r\n\r\n<p>人工智慧雖是台灣普遍關注的熱門議題，不僅企業想擁抱人工智慧，人才也想往人工智慧領域移動，大家也都聽過，人工智慧將帶領新一波科技革命，但究竟產業如何導入人工智慧，仍然是不太清楚。在認知不清的狀況下，台灣企業目前的資料運用程度，通常與人工智慧應用仍有一段距離。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>人工智慧發展的三個面向</strong></h2>\r\n<p>所以，在今天的課程中，要跟大家談的第二個重點是，先了解人工智慧發展的三個面向，再聚焦台灣產業與人工智慧的關係。</p>\r\n<p><span class=\"blueP\">人工智慧發展的第一個面向指的是技術發展，這個面向通常由學術界或業界實驗室來進行，鑽研機器學習演算法的改善。<span class=\"blueP\">它的目的是讓以前做不到的事變成可以做到，讓演算法可以基於同樣的資料在同樣的條件下，讓電腦表現出來更聰明。因為我們這個系列課程的目的在於人工智慧應用，在這次的課程中我們先不深入討論。</p>\r\n<p class=\"blueP\">人工智慧發展的第二個面向是AI產業化，像大家都知道的無人車、無人機、無人商店或服務型機器人，這些以人工智慧技術為主軸，所發展出來的新產業或新商業模式，稱為AI產業化。</p>\r\n\r\n<p><span class=\"blueP\">第三個面向，就是我們在這十二堂課程中要深入與各位分享討論的，叫做產業AI化。產業AI化指的是將人工智慧導入現有的各式產業中。</span>不論是製造業、金融業、零售業、服務業、農林漁牧業等等，都可以藉由人工智慧的協助，提升產品或服務的品質，同時降低管理、人事及生產成本等等，維持及提升產業競爭力，甚至成為升級及轉型的契機。</p>\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-2-e1576557397220.jpg\" alt=\"人工智慧發展的三個面向\" width=\"870\" height=\"528\" class=\"alignnone size-full wp-image-9884\" /></p>\r\n\r\n<h2 class=\"writingsH2\"><strong>商業智慧平台不等於人工智慧</strong></h2>\r\n\r\n<p><span class=\"blueP\">不同產業對於產業AI化的需求與方向不太一樣。</span>根據我個人協助許多企業的經驗，金融業與電信業因為監理法規的要求，通常已累積大量交易及使用者行為資料；製造業方面，因為工業4.0與物聯網的觀念推行，尤其是電子製造業，許多中、大型廠商都積極蒐集從備料，排程，生產，出貨到實際運行的所有資料。另外，電商平台生而數位，掌握所有使用者的交易資料。大型零售業也在POS系統的幫忙之下，有限度地瞭解使用者喜好及行為。</p>\r\n<p>這些產業基本上資料充足，且資料架構相對成熟，其中許多已經投資商業智慧平台，可以透過資源儀表板或關鍵績效指標的呈現，來做情勢評估，並據此進行管理。不過，應用數據報表來做情勢評估，仍仰賴人力來做解讀及決策，只是資料分析的最淺層應用，與人工智慧還有一段很長的距離。若企業自己覺得，我已經收集很多資料，每天也都有報表可以看，就是大數據的應用，那實在是太可惜了。 </p>\r\n<p class=\"blueP\">產業AI化談的就是下一步，在企業收集資料並有可能開始進行資料分析後，能讓「資料為企業產生價值」的終極手段，就是人工智慧。</p>\r\n<p>Gartner有篇報告<span class=\"blueP\">將資料分析按深度分為四個階段：描述型分析、診斷型分析、預測型分析與指示型分析。這四種階段，分別要回答「發生了什麼？」「為什麼發生？」「未來是否發生？」「如何讓它發生？」這四個問題。</span>其中，我們通常把前兩個層次，也就是描述型分析、診斷型分析，歸類為商業智慧平台的能力，而把後兩個層次，預測型分析與指示型分析，歸類為人工智慧，因為預測及指示，指示就是指下指令的動作，像是擁有人類智慧才能進行的工作。</p>\r\n<p><img src=\"/wp-content/uploads/2019/12/class1-3-e1576574583444.jpg\" alt=\"資料分析運用四大階段\" width=\"870\" height=\"458\" class=\"alignnone size-full wp-image-9892\" /></p>\r\n<p>依我過去數年的觀察，比對上面所提到的描述、診斷、預測與指示四種資料分析階段，也可以說是資料運用的深度，目前台灣企業多數還停留在前兩個階段，甚至是第一個階段，也就是拿著數據產出報表，以人來解讀，號稱是洞察報告的階段。</p>\r\n<h2 class=\"writingsH2\"><strong>須先破除「人類才能做決策」迷思</strong></h2>\r\n<p>困難的是，有些企業誤以為這就是大數據分析該有的運用方式，因為只有人類可以理解瞬息萬變的市場，才有足夠的領域知識及經驗來進行企業裡各式大大小小的決策。這個理解在某些情境是正確的，畢竟今天的人工智慧還沒有真正的智慧；但在許多情境是錯誤的，有太多實例可以證明，在各式商業情境中，人工智慧進行決策，可以比有經驗的從業人員決策更為準確且快速。</p>\r\n<p>因此，在人工智慧的年代裡，企業若要維持現有的競爭力，甚至彎道超車勝過對手，產業AI化是非做不可的。<span class=\"blueP\">大家必須破除「人類才能做決策」的迷思，將資料運用能力提升到「預測」與「指示」的層次，讓人工智慧以合適的角色、合適的方式進入合適的企業流程中，透過人與人工智慧協同合作，讓人工智慧在各方面為企業加分，無論是開源，節流或是提升企業效率。</span></p>\r\n<p>要如何做到這一步呢？在下一次課程中，將會與各位分享，如何讓人工智慧持續變聰明的關鍵技術。</p>\r\n','台灣產業AI化的問題1〉人工智慧產業化的定義？','','inherit','closed','closed','','9871-revision-v1','','','2020-01-31 14:04:27','2020-01-31 06:04:27','',9871,'https://aiacademy.tw/9871-revision-v1/',0,'revision','',0),(10566,16,'2020-01-31 14:19:26','2020-01-31 06:19:26','','ma-natural-language-processing-03','','inherit','closed','closed','','ma-natural-language-processing-03','','','2020-01-31 14:19:26','2020-01-31 06:19:26','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg',0,'attachment','image/jpeg',0),(10567,16,'2020-01-31 14:22:44','2020-01-31 06:22:44','','ma-natural-language-processing-05','','inherit','closed','closed','','ma-natural-language-processing-05','','','2020-01-31 14:22:44','2020-01-31 06:22:44','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg',0,'attachment','image/jpeg',0),(10568,16,'2020-01-31 14:22:57','2020-01-31 06:22:57','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 14:22:57','2020-01-31 06:22:57','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10570,11,'2020-01-31 14:30:52','2020-01-31 06:30:52','','img_5e33c99c59564','','inherit','closed','closed','','img_5e33c99c59564','','','2020-01-31 14:30:52','2020-01-31 06:30:52','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33c99c59564.png',0,'attachment','image/png',0),(10571,11,'2020-01-31 14:31:05','2020-01-31 06:31:05','','img_5e33c9a9a8a18','','inherit','closed','closed','','img_5e33c9a9a8a18','','','2020-01-31 14:31:05','2020-01-31 06:31:05','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33c9a9a8a18.png',0,'attachment','image/png',0),(10572,11,'2020-01-31 14:31:10','2020-01-31 06:31:10','','img_5e33c9ae5ca4e','','inherit','closed','closed','','img_5e33c9ae5ca4e','','','2020-01-31 14:31:10','2020-01-31 06:31:10','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33c9ae5ca4e.png',0,'attachment','image/png',0),(10573,11,'2020-01-31 14:31:17','2020-01-31 06:31:17','','img_5e33c9b58d0c6','','inherit','closed','closed','','img_5e33c9b58d0c6','','','2020-01-31 14:31:17','2020-01-31 06:31:17','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33c9b58d0c6.png',0,'attachment','image/png',0),(10574,11,'2020-01-31 14:31:22','2020-01-31 06:31:22','','img_5e33c9ba5f8dd','','inherit','closed','closed','','img_5e33c9ba5f8dd','','','2020-01-31 14:31:22','2020-01-31 06:31:22','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33c9ba5f8dd.png',0,'attachment','image/png',0),(10575,11,'2020-01-31 14:31:35','2020-01-31 06:31:35','','img_5e33c9c763d49','','inherit','closed','closed','','img_5e33c9c763d49','','','2020-01-31 14:31:35','2020-01-31 06:31:35','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33c9c763d49.png',0,'attachment','image/png',0),(10576,11,'2020-01-31 14:31:49','2020-01-31 06:31:49','','img_5e33c9d534482','','inherit','closed','closed','','img_5e33c9d534482','','','2020-01-31 14:31:49','2020-01-31 06:31:49','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33c9d534482.png',0,'attachment','image/png',0),(10577,11,'2020-01-31 14:31:53','2020-01-31 06:31:53','','img_5e33c9d9c1308','','inherit','closed','closed','','img_5e33c9d9c1308','','','2020-01-31 14:31:53','2020-01-31 06:31:53','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33c9d9c1308.png',0,'attachment','image/png',0),(10578,11,'2020-01-31 14:32:08','2020-01-31 06:32:08','','img_5e33c9e8b5cf1','','inherit','closed','closed','','img_5e33c9e8b5cf1','','','2020-01-31 14:32:08','2020-01-31 06:32:08','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33c9e8b5cf1.png',0,'attachment','image/png',0),(10579,11,'2020-01-31 14:33:35','2020-01-31 06:33:35','','img_5e33ca3fac47c','','inherit','closed','closed','','img_5e33ca3fac47c','','','2020-01-31 14:33:35','2020-01-31 06:33:35','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33ca3fac47c.png',0,'attachment','image/png',0),(10580,11,'2020-01-31 14:33:40','2020-01-31 06:33:40','','img_5e33ca447d5bf','','inherit','closed','closed','','img_5e33ca447d5bf','','','2020-01-31 14:33:40','2020-01-31 06:33:40','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/img_5e33ca447d5bf.png',0,'attachment','image/png',0),(10581,16,'2020-01-31 14:38:43','2020-01-31 06:38:43','','ma-natural-language-processing-06','','inherit','closed','closed','','ma-natural-language-processing-06','','','2020-01-31 14:38:43','2020-01-31 06:38:43','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg',0,'attachment','image/jpeg',0),(10582,11,'2020-01-31 14:48:33','2020-01-31 06:48:33','','02-1','','inherit','closed','closed','','02-1','','','2020-01-31 14:48:33','2020-01-31 06:48:33','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/02-1.png',0,'attachment','image/png',0);
INSERT INTO `aiady_posts` VALUES (10583,11,'2020-01-31 14:48:37','2020-01-31 06:48:37','','02-2','','inherit','closed','closed','','02-2','','','2020-01-31 14:48:37','2020-01-31 06:48:37','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/02-2.png',0,'attachment','image/png',0),(10584,11,'2020-01-31 14:48:39','2020-01-31 06:48:39','','02-3','','inherit','closed','closed','','02-3','','','2020-01-31 14:48:39','2020-01-31 06:48:39','',10558,'https://aiacademy.tw/wp-content/uploads/2020/01/02-3.png',0,'attachment','image/png',0),(10586,11,'2020-01-31 14:59:13','2020-01-31 06:59:13','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>在了解人工智慧對於企業與產業的影響，以及資料運用的四個層次之後，要進一步討論，為什麼人工智慧可以這麼聰明？是不是很快會取代人類？</p>\r\n<blockquote><p><span class=\"em\">基本上，只要是在封閉系統內發生的問題，人工智慧都可以做得很好，甚至超越人類，例如許多電腦遊戲及牌類、棋類遊戲，人類已無法與人工智慧匹敵</span></p></blockquote>\r\n<p>2016年3月，AlphaGo打敗世界圍棋冠軍李世乭，引起全球矚目，不只意味著人工智慧的發展進入一個全新里程碑，同時也讓人工智慧在近幾年成為最吸睛的話題。但是，究竟人工智慧為什麼那麼聰明？他們會持續變聰明嗎？有沒有可能很快取代人類？同樣成為許多人討論的焦點。</p>\r\n<p>在某些範疇與特定的領域中，人工智慧的確表現得很出色，甚至到達超越人類的程度。例如打造出AlphaGo的DeepMind團隊，後續又打造AlphaZero，一舉超越之前所有圍棋、象棋、國際將棋的人工智慧，當然，AlphaGo與人類一併都被超越了。</p>\r\n<p class=\"blueP\">AlphaZero與AlphaGo一個最大的不同是，AlphaZero不依賴人類棋士的領域知識及棋譜，純粹依賴計算，用難以想像的龐大計算量，讓電腦在左右互搏中找出致勝的線索，取代人類數百年來的切磋與計算。</p>\r\n<p>人工智慧指的是讓機器擁有類似人類智慧的技術，而今天的人工智慧指的是第三波的人工智慧。</p>\r\n<p>二、三十年前的第二波人工智慧，期待透過人類定義的規則來解決問題，但因為太多現實生活的難題，人類自己都無法解決，例如說預測火災或地震；或是有能力解決，但沒有能力把規則說出來，例如警衛判斷某個人是否圖謀不軌，或是面試官判斷某個人是否合適加入公司，因此，這種用人類制定規則的人工智慧系統表現並不好。</p>\r\n<P>今天的人工智慧，也就是第三波的人工智慧，運用機器學習技術來計算規則，因為資料量夠大，再加上運算速度的提升，讓機器學習有能力，找出比人類說得出口的規則更加精準的規則，才讓人工智慧出現突破性的發展。</P>\r\n<p class=\"blueP\">以技術角度來看，人工智慧包含傳統人工智慧與機器學習。傳統人工智慧指的就是基於人類經驗制定原則的方法，機器學習則包含所有讓電腦自行由大量資料中學習出規則的方法。</p>\r\n<img src=\"/wp-content/uploads/2020/01/02-1.png\" alt=\"\" width=\"864\" height=\"620\" class=\"aligncenter size-full wp-image-10582\" />\r\n<p>例如，如果想要讓電腦能夠辨識人們是不是在講「你好」，以機器學習的作法，必須先收集許多人的「你好」錄音，用機器學習演算法找出規則，之後就有判斷某個聲波是否為「你好」的能力。有了機器學習技術，之後延伸到「大家好」及「人帥真好」，只要多收集這兩種聲音檔即可，不用再以人工的方式來定義每一個句子的規則。</p>\r\n<p>跟語音辨識相較，圖像辨識的進展則快得多，在2015年時，機器學習在影像分類的挑戰賽已經超越人類，錯誤率開始低於5%。也因此近幾年有許多應用開始出現，可以讓手機隨時快速辨識照片中的人臉或動植物、汽機車、建築物等物體。</p>\r\n<p class=\"blueP\">機器學習技術又包含傳統機器學習與深度學習。兩者的差別是，深度學習技術所計算出來的規則是有層次的，而傳統機器學習的產出皆是單一層次的規則。</p>\r\n<p>例如線性迴歸或決策樹就屬於傳統機器學習。<span class=\"blueP\">相較於傳統機器學習，深度學習需要的資料量較大，運算量的需求也更為龐大，但好處是它可以處理高維度的問題，也就是具有上百、上千、甚至上萬個變數的問題。</span></p>\r\n<p>生活中常見的問題多屬於此類，例如涉及文字、影像、聲音、影片等問題通常皆是高維度的問題，也因此若有足夠的資料量，深度學習通常可以提供比傳統機器學習更好的解答。也因此，深度學習是目前人工智慧的主流技術，舉凡我們最近所見的臉部辨識、語音辨識、無人車等等，幾乎都是深度學習技術的成果。</p>\r\n<img src=\"/wp-content/uploads/2020/01/02-2.png\" alt=\"\" width=\"864\" height=\"620\" class=\"aligncenter size-full wp-image-10582\" />\r\n<p></p>\r\n<p>根據我手邊的一份資料，2014年第一季，Google這家公司內部就有超過200個專案使用深度學習，在2016年第一季，這家公司已經有超過2,000個專案在使用深度學習，也就是說，不論是在語音輸入、門牌路標辨識、照片分類、自動回信、垃圾郵件判斷，甚至在資料中心的營運上，Google已將深度學習應用在你想得到或想不到的各個應用上。在可見的未來，機器學習及深度學習將成為所有電腦軟體中不可或缺的決策元件。</p>\r\n<p>那麼，人工智慧會不會很快就比人類聰明、有智慧，甚至厲害到可以統治人類？這個問題可以有長的回答，也可以有短的回答。</p>\r\n<p>長的回答是，<span class=\"blueP\">我們必須先將所有的問題分為兩個軸度，第一個軸度是問題所在的系統是開放還是封閉的，例如象棋及所有棋類遊戲是百分之百的封閉系統，但信用卡盜刷問題屬於開放系統，因為我們根本無從觀察刷卡者是否為本人。第二個軸度是，我們知不知曉問題的答案，例如颱風的路徑我們在事後當然知道答案，但是若A公司併購了B公司後業績不錯，我們還是不知道若是併購案沒有發生，A公司的業績會不會更好。</span></p>\r\n<p></p>\r\n<img src=\"/wp-content/uploads/2020/01/02-3.png\" alt=\"\" width=\"864\" height=\"620\" class=\"aligncenter size-full wp-image-10582\" />\r\n<p></p>\r\n<p></p>\r\n<p class=\"blueP\">這兩個軸度可以將所有的問題切分為四個象限，基本上，只要問題是在封閉系統內發生的問題，人工智慧都可以做得很好，甚至超越人類，例如許多電腦遊戲及牌類、棋類遊戲，人類已無法與人工智慧匹敵。</p>\r\n<p><span class=\"blueP\">在開放系統但有明確答案的這個象限，人工智慧不見得可以做得很好，必須根據我們對於此開放系統的觀測能力而定。</span>例如說人流及車流計算是可以做得很好，但颱風路徑及金融市場的預測表現就不算好，主因是我們的觀測資料太有限，無法得知系統中的一舉一動；另一個原因是系統本身太過複雜，以今天的機器學習模型，還是沒有辦法找到觀察與預測值之間的關係。</p>\r\n<p class=\"blueP\">最後一個象限是開放系統中也沒有明確答案的問題，例如該不該跟某個女生告白，該不該進行某項新商品的發售，該不該進行某個政治操作，通常因為情勢及行為無法量化，所以根本無法以電腦來分析。在這個象限裡，就是人類智慧的天下，人工智慧基本上無計可施。</p>\r\n<p>所以，總結來說，對某些問題來說，人工智慧的表現優於人類；但在某些問題上頭，人工智慧比三歲小孩還不如，所以人工智慧是否會比人類聰明，必須限縮在某個領域來問題，不可一概而論。</p>\r\n<p class=\"blueP\">值得注意的是，即使是在人工智慧擅長的領域內，若沒有足夠的資料量，那還是沒轍，巧婦難為無米之炊，沒有訓練資料，就沒辦法找到規則，沒有辦法讓電腦擁有人工智慧。</p>\r\n<p>但人工智慧是否會比人類聰明這個問題，也有一個短的回答是：不會，這一波，也就是第三波的人工智慧，並沒有賦予電腦任何「思考」的能力，所以人工智慧絕對不會比人類聰明。</p>\r\n<p>所以，關於人工智慧，重點是瞭解他的能與不能，不要太過期待，但也要清楚瞭解它究竟能幫我們做什麼，以及怎麼做可以發揮它的潛力。這也是我們這系列課程的重點目標之一。</p>\r\n','台灣產業AI化的問題2〉人工智慧如何持續變聰明？','','inherit','closed','closed','','10558-revision-v1','','','2020-01-31 14:59:13','2020-01-31 06:59:13','',10558,'https://aiacademy.tw/10558-revision-v1/',0,'revision','',0),(10587,16,'2020-01-31 15:02:17','2020-01-31 07:02:17','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n<p>「開」的複合動詞結構舉例。</p>\r\n<p>資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:02:17','2020-01-31 07:02:17','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10588,16,'2020-01-31 15:02:53','2020-01-31 07:02:53','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:02:53','2020-01-31 07:02:53','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10589,11,'2020-01-31 15:19:18','2020-01-31 07:19:18','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>人工智慧究竟能做什麼？是企業萬能的問題解答者？還是人云亦云的奧妙玄學？在企業決定是否正式導入AI之前，可以先檢視一下，是否誤解了人工智慧。</p>\r\n<blockquote><p><span class=\"em\">簡單地說，問題不在於「有沒有導入人工智慧」，而是「人工智慧導入的程度」，包含影響的範圍、技術的深度，以及與企業營運流程整合的程度，這才是決定未來企業價值的關鍵。</span></p></blockquote>\r\n<p>在這堂課中主要分享的是，很多人對於人工智慧常見的誤解與迷思。</p>\r\n<p>在第一堂課時，我們提到人工智慧、機器學習以及大數據這三個大家常見的名詞，事實上是息息相關的。今天的人工智慧系統，底層的引擎都是機器學習模型，而機器學習必須要基於大數據才能淬取出有用的規則。換句話說，我們可以將大數據想成原料，機器學習則是處理這些原料的方法，而產出的結果就是人工智慧。</p>\r\n<h2 class=\"writingsH2\"><strong>弱人工智慧 Vs. 強人工智慧</strong></h2>\r\n<p>為什麼要再次複習這個概念？因為太多人關注人工智慧、談論人工智慧，還有不少人提出警告，說人工智慧即將取代多數人的工作。對於技術的不夠熟悉，再加上大眾媒體的推波助瀾，甚至還出現「人工智慧末日論」，好像人工智慧就快要統治人類了。</p>\r\n<p>事實上，只要對於人工智慧技術稍微有點認識，就會知道這些擔心是多餘的，這幾年進展快速的是「弱人工智慧」，這一波人工智慧的主流是透過機器學習，從資料裡頭淬取規則，把某一個工作做到最好；真的會思考、會推理、自我學習，能跟人對答如流，甚至還有自我情緒的「強人工智慧」，連影子都還沒看見。最樂觀的預測是，電影中所出現的強人工智慧，也許會由下一世代的人工智慧實現，但不會是我們今天所談的人工智慧技術。</p>\r\n<p>但即使是弱人工智慧，因為已證明在許多產業應用上的價值，讓許多企業趨之若鶩，不論本來談不談、做不做資料科學及大數據研發及導入的企業，今年都開始談人工智慧。他們可能說，我們已從大數據「進化」到人工智慧，比其他還在做大數據的公司更「先進」，這種有趣的說法，正好見證社會上有些人的不求甚解，經常在未真正瞭解一個詞彙之前就開始使用。</p>\r\n<h2 class=\"writingsH2\"><strong>大數據、機器學習及AI不可分割</strong></h2>\r\n<p>事實上，大數據、機器學習及人工智慧是不可分割的。大數據是資訊來源，機器學習是處理方法，從大數據中萃取出複雜的規則，讓電腦展現出擬似人類智慧的行為，就是我們所說的人工智慧。換句話說，以今天的技術來說，大數據及機器學習是發展人工智慧的必要條件，一家不重視數據及軟體人才的企業，不可能瞬間搖身一變，成為人工智慧見長的公司。</p>\r\n<p>而企業發展人工智慧時的迷思，往往也就出現在這些環節。依據我觀察與協助企業的經驗來看，在大家發展人工智慧時，經常卡在一些常見的迷思及陷阱。</p>\r\n<img src=\"/wp-content/uploads/2020/01/03-1.png\" alt=\"\" width=\"864\" height=\"647\" class=\"aligncenter size-full wp-image-10599\" />\r\n<p></p>\r\n<p></p>\r\n<p><span class=\"blueP\">第一個迷思：資料等於價值。</span>蒐集的資料，要經過處理、分析及開發資料產品，資料產品可能只是個影響決策的模型，也可能需要徹底改造營運流程，才能真正為企業產生價值。很多公司光是蒐集資料，從來沒有驗證資料的完整性及正確性，也沒注意過資料之間的斷點，也就是資料集之間是否能夠連結。要知道很多價值是在於資料的連結，而不是資料本身。</p>\r\n<p>例如我知道某一群人的薪水，也知道某一群人的姓名，這時候最有價值的資料反而是姓名與薪水之間的對應。另一個例子是大家所熟悉的AlphaZero，在圍棋、象棋、國際將棋天下無敵手的圍棋程式，它完全不需要歷史資料，而是根據圍棋規則自行對奕產生資料來建立人工智慧。它的厲害在於演算法，而不在獨家資料。也就是說，好的資料固然重要，但機器學習及計算硬體的進步，才是實現AlphaZero的主因。</p>\r\n<p><span class=\"blueP\">第二個迷思是，牽涉到資料的工作，就是IT部門的責任。</span>很多公司認為與電腦、資訊相關的工作，就應該由IT部門負責，但其實資料科學家與IT人員的訓練是完全不一樣的。<span class=\"blueP\">資料科學家必須具備四大領域的能力：數學與統計、程式設計與資料庫、領域知識以及軟性技能，包含溝通能力，而IT人員通常著重於程式設計與資料庫領域的技能，普遍缺乏進行資料分析及機器學習最需要的數學與統計訓練，再者可能也缺乏領域知識、商業經驗以及軟性技能，基本能力有相當大的差異。</span></p>\r\n<p><span class=\"blueP\">第三個迷思是，資料分析就是分析ERP、CRM系統中的資料。</span>企業常以為資料分析僅限於分析公司內部資料庫中的結構化資料，這也是為什麼管理資料倉儲人員通常直接被賦與資料分析任務的原因。但其實非結構化資料，例如影像、聲音、影片、文字等等，經常蘊含更大價值，卻往往被忽略。也因此，很多公司的資料分析成果就是報表、報表及更多的報表，讓主管們來解讀，這還真是暴殄天物啊。</p>\r\n<p><span class=\"blueP\">第四個迷思是，電腦的決策怎麼可能贏得過業界歷練二十載的我呢？</span>若你有這種想法，你可能不知道Amazon在1995年時，曾經讓一群50人的資深編輯團隊與演算法PK，看看誰推薦的書單，使用者比較容易買單。結局我想你一定猜得到，那個資深編輯團隊很快就輸了、解散掉，此後Amazon的書籍推薦都由電腦來進行。</p>\r\n<p>事實上，就連醫療診斷都已證明，人工智慧基於X光片、fMRI及病理切片上，判斷肺癌、乳癌、眼底視網膜病變，都優於訓練有素的醫師了。也就是說，<span class=\"blueP\">只要是有清楚訊號及回饋的問題上，只要有足夠的樣本，人工智慧都有機會優於人類的判斷；就算準確率差不多，人工智慧通常也比較快比較便宜。</span>因此，還是要清楚判斷人工智慧的優勢與極限，再來看如何導入，而不是一昧的認為，我的領域比較特別，我的多年經驗絕對無法被取代之類的。</p>\r\n<p><span class=\"blueP\">除了上面提到的這些迷思之外，我覺得最關鍵的問題在於「速食文化」的心態，</span>前幾年，大家發覺資料科學及大數據的重要性，所以各種不同產業都導入所謂的「大數據平台」。但導入平台之後突然發現，咦，怎麼沒有效果？因為，所謂的大數據平台只是收集、承載、處理資料的系統，平台只是一個工具，而所有的工具，都要有清楚的目的及能夠用得對、用得巧的人，才能讓工具產生價值。</p>\r\n<p>接著，人工智慧又席捲而來，企業同樣開始購置設備，導入國外科技大廠的技術，然後認為自己已經搭上人工智慧的列車。要特別提出這點的原因是，資訊管理系統，如ERP（企業資源規畫）、CRM（顧客關係管理）等平台，直接導入當然沒有問題。但是，人工智慧不一樣，它並不是一個資訊系統，而是一種最佳化的工具，它可以應用在企業流程、內部管理、產品設計、行銷等各個環節來輔助甚至直接決策，因此並不是單一的系統，也沒有標準作法，無法直接導入。</p>\r\n<p class=\"blueP\">簡單地說，問題不在於「有沒有導入人工智慧」，而是「人工智慧導入的程度」，包含影響的範圍、技術的深度，以及與企業營運流程整合的程度，這才是決定未來企業價值的關鍵。</p>\r\n<p>今天的課程在此先告一段落，在下次課程中，將會用前三堂課的概念為基礎，進一步討論人工智慧在企業實際運作中常會面對的困難與挑戰。</p>','The Issue of Taiwan\'s Industrial AI Series(3):Common misunderstandings and myths of AI','','publish','closed','open','','common-misunderstandings-myths-artificial-intelligence','','','2021-06-07 17:54:30','2021-06-07 09:54:30','',0,'https://aiacademy.tw/?p=10589',148,'post','',0),(10590,16,'2020-01-31 15:03:37','2020-01-31 07:03:37','','ma-natural-language-processing-07','','inherit','closed','closed','','ma-natural-language-processing-07','','','2020-01-31 15:03:37','2020-01-31 07:03:37','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg',0,'attachment','image/jpeg',0),(10591,16,'2020-01-31 15:03:46','2020-01-31 07:03:46','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明</p>\r\n語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>問電腦理解「詞」了，那「句子」呢？</p>\r\n<p>答學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n<p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p>\r\n\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明</p>\r\n<p>「張三打李四」和「李四被張三打」，兩個句子的結構樹。</p>\r\n<p>資料來源│馬偉雲說明</p>\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:03:46','2020-01-31 07:03:46','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10592,16,'2020-01-31 15:06:02','2020-01-31 07:06:02','','ma-natural-language-processing-08','','inherit','closed','closed','','ma-natural-language-processing-08','','','2020-01-31 15:06:02','2020-01-31 07:06:02','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg',0,'attachment','image/jpeg',0),(10593,16,'2020-01-31 15:06:15','2020-01-31 07:06:15','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<p>問自然語言處理的方法，有因「深度學習」而改變嗎？</p>\r\n<p>答近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n<p>詞向量的概念。(其中的向量數字為舉例)</p>\r\n<p>資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>答其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:06:15','2020-01-31 07:06:15','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10594,16,'2020-01-31 15:09:04','2020-01-31 07:09:04','','ma-natural-language-processing-04','','inherit','closed','closed','','ma-natural-language-processing-04','','','2020-01-31 15:09:04','2020-01-31 07:09:04','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg',0,'attachment','image/jpeg',0),(10595,16,'2020-01-31 15:09:14','2020-01-31 07:09:14','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p>詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n<p>You shall know a word by the company it keeps.</p>\r\n\r\n<p>John Rupert Firth 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<p>問自然語言處理，有什麼用？</p>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:09:14','2020-01-31 07:09:14','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10596,16,'2020-01-31 15:10:55','2020-01-31 07:10:55','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p>(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n<blockquote><p>You shall know a word by the company it keeps.</p></blockquote>\r\n\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:10:55','2020-01-31 07:10:55','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10597,16,'2020-01-31 15:11:29','2020-01-31 07:11:29','','ma-natural-language-processing-09','','inherit','closed','closed','','ma-natural-language-processing-09','','','2020-01-31 15:11:29','2020-01-31 07:11:29','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg',0,'attachment','image/jpeg',0),(10598,16,'2020-01-31 15:12:01','2020-01-31 07:12:01','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p>(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n<blockquote><p>You shall know a word by the company it keeps.</p></blockquote>\r\n\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p>自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n<p>自然語言處理，常見的後續應用。</p>\r\n<p>資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:12:01','2020-01-31 07:12:01','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10599,11,'2020-01-31 15:17:05','2020-01-31 07:17:05','','03-1','','inherit','closed','closed','','03-1','','','2020-01-31 15:17:05','2020-01-31 07:17:05','',10589,'https://aiacademy.tw/wp-content/uploads/2020/01/03-1.png',0,'attachment','image/png',0),(10601,11,'2020-01-31 15:18:04','2020-01-31 07:18:04','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>人工智慧究竟能做什麼？是企業萬能的問題解答者？還是人云亦云的奧妙玄學？在企業決定是否正式導入AI之前，可以先檢視一下，是否誤解了人工智慧。</p>\r\n<blockquote><p><span class=\"em\">簡單地說，問題不在於「有沒有導入人工智慧」，而是「人工智慧導入的程度」，包含影響的範圍、技術的深度，以及與企業營運流程整合的程度，這才是決定未來企業價值的關鍵。</span></p></blockquote>\r\n<p>在這堂課中主要分享的是，很多人對於人工智慧常見的誤解與迷思。</p>\r\n<p>在第一堂課時，我們提到人工智慧、機器學習以及大數據這三個大家常見的名詞，事實上是息息相關的。今天的人工智慧系統，底層的引擎都是機器學習模型，而機器學習必須要基於大數據才能淬取出有用的規則。換句話說，我們可以將大數據想成原料，機器學習則是處理這些原料的方法，而產出的結果就是人工智慧。</p>\r\n<h2 class=\"writingsH2\"><strong>弱人工智慧 Vs. 強人工智慧</strong></h2>\r\n<p>為什麼要再次複習這個概念？因為太多人關注人工智慧、談論人工智慧，還有不少人提出警告，說人工智慧即將取代多數人的工作。對於技術的不夠熟悉，再加上大眾媒體的推波助瀾，甚至還出現「人工智慧末日論」，好像人工智慧就快要統治人類了。</p>\r\n<p>事實上，只要對於人工智慧技術稍微有點認識，就會知道這些擔心是多餘的，這幾年進展快速的是「弱人工智慧」，這一波人工智慧的主流是透過機器學習，從資料裡頭淬取規則，把某一個工作做到最好；真的會思考、會推理、自我學習，能跟人對答如流，甚至還有自我情緒的「強人工智慧」，連影子都還沒看見。最樂觀的預測是，電影中所出現的強人工智慧，也許會由下一世代的人工智慧實現，但不會是我們今天所談的人工智慧技術。</p>\r\n<p>但即使是弱人工智慧，因為已證明在許多產業應用上的價值，讓許多企業趨之若鶩，不論本來談不談、做不做資料科學及大數據研發及導入的企業，今年都開始談人工智慧。他們可能說，我們已從大數據「進化」到人工智慧，比其他還在做大數據的公司更「先進」，這種有趣的說法，正好見證社會上有些人的不求甚解，經常在未真正瞭解一個詞彙之前就開始使用。</p>\r\n<h2 class=\"writingsH2\"><strong>大數據、機器學習及AI不可分割</strong></h2>\r\n<p>事實上，大數據、機器學習及人工智慧是不可分割的。大數據是資訊來源，機器學習是處理方法，從大數據中萃取出複雜的規則，讓電腦展現出擬似人類智慧的行為，就是我們所說的人工智慧。換句話說，以今天的技術來說，大數據及機器學習是發展人工智慧的必要條件，一家不重視數據及軟體人才的企業，不可能瞬間搖身一變，成為人工智慧見長的公司。</p>\r\n<p>而企業發展人工智慧時的迷思，往往也就出現在這些環節。依據我觀察與協助企業的經驗來看，在大家發展人工智慧時，經常卡在一些常見的迷思及陷阱。</p>\r\n<img src=\"/wp-content/uploads/2020/01/03-1.png\" alt=\"\" width=\"864\" height=\"647\" class=\"aligncenter size-full wp-image-10599\" />\r\n<p><span class=\"blueP\">第一個迷思：資料等於價值。</span>蒐集的資料，要經過處理、分析及開發資料產品，資料產品可能只是個影響決策的模型，也可能需要徹底改造營運流程，才能真正為企業產生價值。很多公司光是蒐集資料，從來沒有驗證資料的完整性及正確性，也沒注意過資料之間的斷點，也就是資料集之間是否能夠連結。要知道很多價值是在於資料的連結，而不是資料本身。</p>\r\n<p>例如我知道某一群人的薪水，也知道某一群人的姓名，這時候最有價值的資料反而是姓名與薪水之間的對應。另一個例子是大家所熟悉的AlphaZero，在圍棋、象棋、國際將棋天下無敵手的圍棋程式，它完全不需要歷史資料，而是根據圍棋規則自行對奕產生資料來建立人工智慧。它的厲害在於演算法，而不在獨家資料。也就是說，好的資料固然重要，但機器學習及計算硬體的進步，才是實現AlphaZero的主因。</p>\r\n<p><span class=\"blueP\">第二個迷思是，牽涉到資料的工作，就是IT部門的責任。</span>很多公司認為與電腦、資訊相關的工作，就應該由IT部門負責，但其實資料科學家與IT人員的訓練是完全不一樣的。<span class=\"blueP\">資料科學家必須具備四大領域的能力：數學與統計、程式設計與資料庫、領域知識以及軟性技能，包含溝通能力，而IT人員通常著重於程式設計與資料庫領域的技能，普遍缺乏進行資料分析及機器學習最需要的數學與統計訓練，再者可能也缺乏領域知識、商業經驗以及軟性技能，基本能力有相當大的差異。</span></p>\r\n<p><span class=\"blueP\">第三個迷思是，資料分析就是分析ERP、CRM系統中的資料。</span>企業常以為資料分析僅限於分析公司內部資料庫中的結構化資料，這也是為什麼管理資料倉儲人員通常直接被賦與資料分析任務的原因。但其實非結構化資料，例如影像、聲音、影片、文字等等，經常蘊含更大價值，卻往往被忽略。也因此，很多公司的資料分析成果就是報表、報表及更多的報表，讓主管們來解讀，這還真是暴殄天物啊。</p>\r\n<p><span class=\"blueP\">第四個迷思是，電腦的決策怎麼可能贏得過業界歷練二十載的我呢？</span>若你有這種想法，你可能不知道Amazon在1995年時，曾經讓一群50人的資深編輯團隊與演算法PK，看看誰推薦的書單，使用者比較容易買單。結局我想你一定猜得到，那個資深編輯團隊很快就輸了、解散掉，此後Amazon的書籍推薦都由電腦來進行。</p>\r\n<p>事實上，就連醫療診斷都已證明，人工智慧基於X光片、fMRI及病理切片上，判斷肺癌、乳癌、眼底視網膜病變，都優於訓練有素的醫師了。也就是說，<span class=\"blueP\">只要是有清楚訊號及回饋的問題上，只要有足夠的樣本，人工智慧都有機會優於人類的判斷；就算準確率差不多，人工智慧通常也比較快比較便宜。</span>因此，還是要清楚判斷人工智慧的優勢與極限，再來看如何導入，而不是一昧的認為，我的領域比較特別，我的多年經驗絕對無法被取代之類的。</p>\r\n<p><span class=\"blueP\">除了上面提到的這些迷思之外，我覺得最關鍵的問題在於「速食文化」的心態，</span>前幾年，大家發覺資料科學及大數據的重要性，所以各種不同產業都導入所謂的「大數據平台」。但導入平台之後突然發現，咦，怎麼沒有效果？因為，所謂的大數據平台只是收集、承載、處理資料的系統，平台只是一個工具，而所有的工具，都要有清楚的目的及能夠用得對、用得巧的人，才能讓工具產生價值。</p>\r\n<p>接著，人工智慧又席捲而來，企業同樣開始購置設備，導入國外科技大廠的技術，然後認為自己已經搭上人工智慧的列車。要特別提出這點的原因是，資訊管理系統，如ERP（企業資源規畫）、CRM（顧客關係管理）等平台，直接導入當然沒有問題。但是，人工智慧不一樣，它並不是一個資訊系統，而是一種最佳化的工具，它可以應用在企業流程、內部管理、產品設計、行銷等各個環節來輔助甚至直接決策，因此並不是單一的系統，也沒有標準作法，無法直接導入。</p>\r\n<p class=\"blueP\">簡單地說，問題不在於「有沒有導入人工智慧」，而是「人工智慧導入的程度」，包含影響的範圍、技術的深度，以及與企業營運流程整合的程度，這才是決定未來企業價值的關鍵。</p>\r\n<p>今天的課程在此先告一段落，在下次課程中，將會用前三堂課的概念為基礎，進一步討論人工智慧在企業實際運作中常會面對的困難與挑戰。</p>','台灣產業AI化的問題3〉人工智慧常見的誤解與迷思','','inherit','closed','closed','','10589-revision-v1','','','2020-01-31 15:18:04','2020-01-31 07:18:04','',10589,'https://aiacademy.tw/10589-revision-v1/',0,'revision','',0),(10602,11,'2020-01-31 15:18:34','2020-01-31 07:18:34','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>人工智慧究竟能做什麼？是企業萬能的問題解答者？還是人云亦云的奧妙玄學？在企業決定是否正式導入AI之前，可以先檢視一下，是否誤解了人工智慧。</p>\r\n<blockquote><p><span class=\"em\">簡單地說，問題不在於「有沒有導入人工智慧」，而是「人工智慧導入的程度」，包含影響的範圍、技術的深度，以及與企業營運流程整合的程度，這才是決定未來企業價值的關鍵。</span></p></blockquote>\r\n<p>在這堂課中主要分享的是，很多人對於人工智慧常見的誤解與迷思。</p>\r\n<p>在第一堂課時，我們提到人工智慧、機器學習以及大數據這三個大家常見的名詞，事實上是息息相關的。今天的人工智慧系統，底層的引擎都是機器學習模型，而機器學習必須要基於大數據才能淬取出有用的規則。換句話說，我們可以將大數據想成原料，機器學習則是處理這些原料的方法，而產出的結果就是人工智慧。</p>\r\n<h2 class=\"writingsH2\"><strong>弱人工智慧 Vs. 強人工智慧</strong></h2>\r\n<p>為什麼要再次複習這個概念？因為太多人關注人工智慧、談論人工智慧，還有不少人提出警告，說人工智慧即將取代多數人的工作。對於技術的不夠熟悉，再加上大眾媒體的推波助瀾，甚至還出現「人工智慧末日論」，好像人工智慧就快要統治人類了。</p>\r\n<p>事實上，只要對於人工智慧技術稍微有點認識，就會知道這些擔心是多餘的，這幾年進展快速的是「弱人工智慧」，這一波人工智慧的主流是透過機器學習，從資料裡頭淬取規則，把某一個工作做到最好；真的會思考、會推理、自我學習，能跟人對答如流，甚至還有自我情緒的「強人工智慧」，連影子都還沒看見。最樂觀的預測是，電影中所出現的強人工智慧，也許會由下一世代的人工智慧實現，但不會是我們今天所談的人工智慧技術。</p>\r\n<p>但即使是弱人工智慧，因為已證明在許多產業應用上的價值，讓許多企業趨之若鶩，不論本來談不談、做不做資料科學及大數據研發及導入的企業，今年都開始談人工智慧。他們可能說，我們已從大數據「進化」到人工智慧，比其他還在做大數據的公司更「先進」，這種有趣的說法，正好見證社會上有些人的不求甚解，經常在未真正瞭解一個詞彙之前就開始使用。</p>\r\n<h2 class=\"writingsH2\"><strong>大數據、機器學習及AI不可分割</strong></h2>\r\n<p>事實上，大數據、機器學習及人工智慧是不可分割的。大數據是資訊來源，機器學習是處理方法，從大數據中萃取出複雜的規則，讓電腦展現出擬似人類智慧的行為，就是我們所說的人工智慧。換句話說，以今天的技術來說，大數據及機器學習是發展人工智慧的必要條件，一家不重視數據及軟體人才的企業，不可能瞬間搖身一變，成為人工智慧見長的公司。</p>\r\n<p>而企業發展人工智慧時的迷思，往往也就出現在這些環節。依據我觀察與協助企業的經驗來看，在大家發展人工智慧時，經常卡在一些常見的迷思及陷阱。</p>\r\n<img src=\"/wp-content/uploads/2020/01/03-1.png\" alt=\"\" width=\"864\" height=\"647\" class=\"aligncenter size-full wp-image-10599\" />\r\n<p></p>\r\n<p></p>\r\n<p><span class=\"blueP\">第一個迷思：資料等於價值。</span>蒐集的資料，要經過處理、分析及開發資料產品，資料產品可能只是個影響決策的模型，也可能需要徹底改造營運流程，才能真正為企業產生價值。很多公司光是蒐集資料，從來沒有驗證資料的完整性及正確性，也沒注意過資料之間的斷點，也就是資料集之間是否能夠連結。要知道很多價值是在於資料的連結，而不是資料本身。</p>\r\n<p>例如我知道某一群人的薪水，也知道某一群人的姓名，這時候最有價值的資料反而是姓名與薪水之間的對應。另一個例子是大家所熟悉的AlphaZero，在圍棋、象棋、國際將棋天下無敵手的圍棋程式，它完全不需要歷史資料，而是根據圍棋規則自行對奕產生資料來建立人工智慧。它的厲害在於演算法，而不在獨家資料。也就是說，好的資料固然重要，但機器學習及計算硬體的進步，才是實現AlphaZero的主因。</p>\r\n<p><span class=\"blueP\">第二個迷思是，牽涉到資料的工作，就是IT部門的責任。</span>很多公司認為與電腦、資訊相關的工作，就應該由IT部門負責，但其實資料科學家與IT人員的訓練是完全不一樣的。<span class=\"blueP\">資料科學家必須具備四大領域的能力：數學與統計、程式設計與資料庫、領域知識以及軟性技能，包含溝通能力，而IT人員通常著重於程式設計與資料庫領域的技能，普遍缺乏進行資料分析及機器學習最需要的數學與統計訓練，再者可能也缺乏領域知識、商業經驗以及軟性技能，基本能力有相當大的差異。</span></p>\r\n<p><span class=\"blueP\">第三個迷思是，資料分析就是分析ERP、CRM系統中的資料。</span>企業常以為資料分析僅限於分析公司內部資料庫中的結構化資料，這也是為什麼管理資料倉儲人員通常直接被賦與資料分析任務的原因。但其實非結構化資料，例如影像、聲音、影片、文字等等，經常蘊含更大價值，卻往往被忽略。也因此，很多公司的資料分析成果就是報表、報表及更多的報表，讓主管們來解讀，這還真是暴殄天物啊。</p>\r\n<p><span class=\"blueP\">第四個迷思是，電腦的決策怎麼可能贏得過業界歷練二十載的我呢？</span>若你有這種想法，你可能不知道Amazon在1995年時，曾經讓一群50人的資深編輯團隊與演算法PK，看看誰推薦的書單，使用者比較容易買單。結局我想你一定猜得到，那個資深編輯團隊很快就輸了、解散掉，此後Amazon的書籍推薦都由電腦來進行。</p>\r\n<p>事實上，就連醫療診斷都已證明，人工智慧基於X光片、fMRI及病理切片上，判斷肺癌、乳癌、眼底視網膜病變，都優於訓練有素的醫師了。也就是說，<span class=\"blueP\">只要是有清楚訊號及回饋的問題上，只要有足夠的樣本，人工智慧都有機會優於人類的判斷；就算準確率差不多，人工智慧通常也比較快比較便宜。</span>因此，還是要清楚判斷人工智慧的優勢與極限，再來看如何導入，而不是一昧的認為，我的領域比較特別，我的多年經驗絕對無法被取代之類的。</p>\r\n<p><span class=\"blueP\">除了上面提到的這些迷思之外，我覺得最關鍵的問題在於「速食文化」的心態，</span>前幾年，大家發覺資料科學及大數據的重要性，所以各種不同產業都導入所謂的「大數據平台」。但導入平台之後突然發現，咦，怎麼沒有效果？因為，所謂的大數據平台只是收集、承載、處理資料的系統，平台只是一個工具，而所有的工具，都要有清楚的目的及能夠用得對、用得巧的人，才能讓工具產生價值。</p>\r\n<p>接著，人工智慧又席捲而來，企業同樣開始購置設備，導入國外科技大廠的技術，然後認為自己已經搭上人工智慧的列車。要特別提出這點的原因是，資訊管理系統，如ERP（企業資源規畫）、CRM（顧客關係管理）等平台，直接導入當然沒有問題。但是，人工智慧不一樣，它並不是一個資訊系統，而是一種最佳化的工具，它可以應用在企業流程、內部管理、產品設計、行銷等各個環節來輔助甚至直接決策，因此並不是單一的系統，也沒有標準作法，無法直接導入。</p>\r\n<p class=\"blueP\">簡單地說，問題不在於「有沒有導入人工智慧」，而是「人工智慧導入的程度」，包含影響的範圍、技術的深度，以及與企業營運流程整合的程度，這才是決定未來企業價值的關鍵。</p>\r\n<p>今天的課程在此先告一段落，在下次課程中，將會用前三堂課的概念為基礎，進一步討論人工智慧在企業實際運作中常會面對的困難與挑戰。</p>','台灣產業AI化的問題3〉人工智慧常見的誤解與迷思','','inherit','closed','closed','','10589-revision-v1','','','2020-01-31 15:18:34','2020-01-31 07:18:34','',10589,'https://aiacademy.tw/10589-revision-v1/',0,'revision','',0),(10603,11,'2020-01-31 15:19:18','2020-01-31 07:19:18','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>人工智慧究竟能做什麼？是企業萬能的問題解答者？還是人云亦云的奧妙玄學？在企業決定是否正式導入AI之前，可以先檢視一下，是否誤解了人工智慧。</p>\r\n<blockquote><p><span class=\"em\">簡單地說，問題不在於「有沒有導入人工智慧」，而是「人工智慧導入的程度」，包含影響的範圍、技術的深度，以及與企業營運流程整合的程度，這才是決定未來企業價值的關鍵。</span></p></blockquote>\r\n<p>在這堂課中主要分享的是，很多人對於人工智慧常見的誤解與迷思。</p>\r\n<p>在第一堂課時，我們提到人工智慧、機器學習以及大數據這三個大家常見的名詞，事實上是息息相關的。今天的人工智慧系統，底層的引擎都是機器學習模型，而機器學習必須要基於大數據才能淬取出有用的規則。換句話說，我們可以將大數據想成原料，機器學習則是處理這些原料的方法，而產出的結果就是人工智慧。</p>\r\n<h2 class=\"writingsH2\"><strong>弱人工智慧 Vs. 強人工智慧</strong></h2>\r\n<p>為什麼要再次複習這個概念？因為太多人關注人工智慧、談論人工智慧，還有不少人提出警告，說人工智慧即將取代多數人的工作。對於技術的不夠熟悉，再加上大眾媒體的推波助瀾，甚至還出現「人工智慧末日論」，好像人工智慧就快要統治人類了。</p>\r\n<p>事實上，只要對於人工智慧技術稍微有點認識，就會知道這些擔心是多餘的，這幾年進展快速的是「弱人工智慧」，這一波人工智慧的主流是透過機器學習，從資料裡頭淬取規則，把某一個工作做到最好；真的會思考、會推理、自我學習，能跟人對答如流，甚至還有自我情緒的「強人工智慧」，連影子都還沒看見。最樂觀的預測是，電影中所出現的強人工智慧，也許會由下一世代的人工智慧實現，但不會是我們今天所談的人工智慧技術。</p>\r\n<p>但即使是弱人工智慧，因為已證明在許多產業應用上的價值，讓許多企業趨之若鶩，不論本來談不談、做不做資料科學及大數據研發及導入的企業，今年都開始談人工智慧。他們可能說，我們已從大數據「進化」到人工智慧，比其他還在做大數據的公司更「先進」，這種有趣的說法，正好見證社會上有些人的不求甚解，經常在未真正瞭解一個詞彙之前就開始使用。</p>\r\n<h2 class=\"writingsH2\"><strong>大數據、機器學習及AI不可分割</strong></h2>\r\n<p>事實上，大數據、機器學習及人工智慧是不可分割的。大數據是資訊來源，機器學習是處理方法，從大數據中萃取出複雜的規則，讓電腦展現出擬似人類智慧的行為，就是我們所說的人工智慧。換句話說，以今天的技術來說，大數據及機器學習是發展人工智慧的必要條件，一家不重視數據及軟體人才的企業，不可能瞬間搖身一變，成為人工智慧見長的公司。</p>\r\n<p>而企業發展人工智慧時的迷思，往往也就出現在這些環節。依據我觀察與協助企業的經驗來看，在大家發展人工智慧時，經常卡在一些常見的迷思及陷阱。</p>\r\n<img src=\"/wp-content/uploads/2020/01/03-1.png\" alt=\"\" width=\"864\" height=\"647\" class=\"aligncenter size-full wp-image-10599\" />\r\n<p></p>\r\n<p></p>\r\n<p><span class=\"blueP\">第一個迷思：資料等於價值。</span>蒐集的資料，要經過處理、分析及開發資料產品，資料產品可能只是個影響決策的模型，也可能需要徹底改造營運流程，才能真正為企業產生價值。很多公司光是蒐集資料，從來沒有驗證資料的完整性及正確性，也沒注意過資料之間的斷點，也就是資料集之間是否能夠連結。要知道很多價值是在於資料的連結，而不是資料本身。</p>\r\n<p>例如我知道某一群人的薪水，也知道某一群人的姓名，這時候最有價值的資料反而是姓名與薪水之間的對應。另一個例子是大家所熟悉的AlphaZero，在圍棋、象棋、國際將棋天下無敵手的圍棋程式，它完全不需要歷史資料，而是根據圍棋規則自行對奕產生資料來建立人工智慧。它的厲害在於演算法，而不在獨家資料。也就是說，好的資料固然重要，但機器學習及計算硬體的進步，才是實現AlphaZero的主因。</p>\r\n<p><span class=\"blueP\">第二個迷思是，牽涉到資料的工作，就是IT部門的責任。</span>很多公司認為與電腦、資訊相關的工作，就應該由IT部門負責，但其實資料科學家與IT人員的訓練是完全不一樣的。<span class=\"blueP\">資料科學家必須具備四大領域的能力：數學與統計、程式設計與資料庫、領域知識以及軟性技能，包含溝通能力，而IT人員通常著重於程式設計與資料庫領域的技能，普遍缺乏進行資料分析及機器學習最需要的數學與統計訓練，再者可能也缺乏領域知識、商業經驗以及軟性技能，基本能力有相當大的差異。</span></p>\r\n<p><span class=\"blueP\">第三個迷思是，資料分析就是分析ERP、CRM系統中的資料。</span>企業常以為資料分析僅限於分析公司內部資料庫中的結構化資料，這也是為什麼管理資料倉儲人員通常直接被賦與資料分析任務的原因。但其實非結構化資料，例如影像、聲音、影片、文字等等，經常蘊含更大價值，卻往往被忽略。也因此，很多公司的資料分析成果就是報表、報表及更多的報表，讓主管們來解讀，這還真是暴殄天物啊。</p>\r\n<p><span class=\"blueP\">第四個迷思是，電腦的決策怎麼可能贏得過業界歷練二十載的我呢？</span>若你有這種想法，你可能不知道Amazon在1995年時，曾經讓一群50人的資深編輯團隊與演算法PK，看看誰推薦的書單，使用者比較容易買單。結局我想你一定猜得到，那個資深編輯團隊很快就輸了、解散掉，此後Amazon的書籍推薦都由電腦來進行。</p>\r\n<p>事實上，就連醫療診斷都已證明，人工智慧基於X光片、fMRI及病理切片上，判斷肺癌、乳癌、眼底視網膜病變，都優於訓練有素的醫師了。也就是說，<span class=\"blueP\">只要是有清楚訊號及回饋的問題上，只要有足夠的樣本，人工智慧都有機會優於人類的判斷；就算準確率差不多，人工智慧通常也比較快比較便宜。</span>因此，還是要清楚判斷人工智慧的優勢與極限，再來看如何導入，而不是一昧的認為，我的領域比較特別，我的多年經驗絕對無法被取代之類的。</p>\r\n<p><span class=\"blueP\">除了上面提到的這些迷思之外，我覺得最關鍵的問題在於「速食文化」的心態，</span>前幾年，大家發覺資料科學及大數據的重要性，所以各種不同產業都導入所謂的「大數據平台」。但導入平台之後突然發現，咦，怎麼沒有效果？因為，所謂的大數據平台只是收集、承載、處理資料的系統，平台只是一個工具，而所有的工具，都要有清楚的目的及能夠用得對、用得巧的人，才能讓工具產生價值。</p>\r\n<p>接著，人工智慧又席捲而來，企業同樣開始購置設備，導入國外科技大廠的技術，然後認為自己已經搭上人工智慧的列車。要特別提出這點的原因是，資訊管理系統，如ERP（企業資源規畫）、CRM（顧客關係管理）等平台，直接導入當然沒有問題。但是，人工智慧不一樣，它並不是一個資訊系統，而是一種最佳化的工具，它可以應用在企業流程、內部管理、產品設計、行銷等各個環節來輔助甚至直接決策，因此並不是單一的系統，也沒有標準作法，無法直接導入。</p>\r\n<p class=\"blueP\">簡單地說，問題不在於「有沒有導入人工智慧」，而是「人工智慧導入的程度」，包含影響的範圍、技術的深度，以及與企業營運流程整合的程度，這才是決定未來企業價值的關鍵。</p>\r\n<p>今天的課程在此先告一段落，在下次課程中，將會用前三堂課的概念為基礎，進一步討論人工智慧在企業實際運作中常會面對的困難與挑戰。</p>','台灣產業AI化的問題3〉人工智慧常見的誤解與迷思','','inherit','closed','closed','','10589-revision-v1','','','2020-01-31 15:19:18','2020-01-31 07:19:18','',10589,'https://aiacademy.tw/10589-revision-v1/',0,'revision','',0),(10605,16,'2020-01-31 15:29:56','2020-01-31 07:29:56','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p>(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n<blockquote><p>You shall know a word by the company it keeps.</p></blockquote>\r\n\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p>(自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<p>問為什麼會對「讓電腦擁有語言能力」感到著迷？</p>\r\n<p>答我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n<p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p>\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n<p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p>\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:29:56','2020-01-31 07:29:56','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10606,16,'2020-01-31 15:32:43','2020-01-31 07:32:43','<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p>因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p>(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n<blockquote><p>You shall know a word by the company it keeps.</p></blockquote>\r\n\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p>(自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>為什麼會對「讓電腦擁有語言能力」感到著迷？</strong></h2>\r\n<p>我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n\r\n\r\n<blockquote><p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p></blockquote>\r\n\r\n\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n\r\n\r\n<blockquote><p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p></blockquote>\r\n\r\n\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:32:43','2020-01-31 07:32:43','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10607,11,'2020-01-31 16:48:45','2020-01-31 08:48:45','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>對於很多企業而言，大概已經了解AI的基本概念與重要性，但是，究竟如何踏出第一步？有哪些困難必須先克服？</p>\r\n<blockquote><p><span class=\"em\">人工智慧導入的難易度，就是看一家企業的e化程度是否徹底，是只有傳統上要做報表數字在 Excel表格那種淺層的e化？或是在企業流程中融入資料收集及以資料做輔助決策的那種e化？</span></p></blockquote>\r\n<p>延續上一堂課的討論，以今天的技術來說，大數據及機器學習是發展人工智慧的兩個必要條件。所以我們可以歸納出：<span class=\"blueP\">人工智慧技術領先的企業，必然也是大數據及機器學習的領先者，沒有人能夠跳過這兩者而直接開發出先進的人工智慧系統。</span></p>\r\n<h2 class=\"writingsH2\"><strong>想導入人工智慧？先盤點還清「技術債」</strong></h2>\r\n<p>因此，企業想要導入人工智慧，過去欠的「技術債」，必須先盤點還清。<span class=\"blueP\">首先，企業裡的資料基礎建設，像是資料倉儲完整嗎？資料格式有統一嗎？</span>在大部分企業裡，因為各個資訊系統是在不同時間由不同部門交由不同團隊開發，因此連日期及時間的格式可能都有數十種。</p>\r\n<p><span class=\"blueP\">資料治理有個明確的授權規則及治理單位嗎？</span>或是依舊得讓資料使用者四處奔走，一一去說服企業中分散各處的資料擁有者？</p>\r\n<p><span class=\"blueP\">資料的蒐集及產出是否融入企業流程中？</span>還是每次得為了特定的專案再花人力時間資源來整理蒐集？</p>\r\n<P class=\"blueP\">資料應用的導入是預設得進行的常規任務，還是得另外花力氣去說服所有相關單位？</P>\r\n<P class=\"blueP\">分析資料的團隊是管理資料的團隊兼任，還是有個專業的資料分析團隊來進行？</P>\r\n<P class=\"blueP\">資料工程師都熟悉機器學習嗎？還是只是以傳統繪圖製表工具做基礎層次的資料視覺化？</P>\r\n<h2 class=\"writingsH2\"><strong>圖表數據只是淺層e化</strong></h2>\r\n<p>更直白的說，<span class=\"blueP\">人工智慧導入的難易度，就是看一家企業的e化程度是否徹底，是只有傳統上要做報表數字在 Excel 表格那種淺層的e化？或是在企業流程中融入資料收集及以資料做輔助決策的那種e化？</span>我們都知道e化不是0或1，同樣在做e化的公司及政府部門，層次可以天差地遠。</p>\r\n<p>這個概念也可以套用在雲端計算、大數據及資料分析上頭。千萬不要以為公司有資料倉儲，打開電腦有報表可以看，公司同仁開會討論時都是基於漂亮的即時圖表，就是把大數據應用得很好。事實可能剛好相反。<span class=\"blueP\">最淺層的資料應用是讓老闆每天看圖表；最深入的資料應用是隱形的，看不到圖表。</span></p>\r\n<p>我們可以想想看，AlphaGo及無人車是有人根據圖表來做決策嗎？就知道人工智慧跟看圖表無關，但如果這些數據只是讓人拿來做決策，而不是讓機器從資料中萃取規則，讓機器來輔助我們做決策，那就太可惜了</p>\r\n<h2 class=\"writingsH2\"><strong>人才荒最嚴重 全球皆然</strong></h2>	\r\n<p>從2014年開始我舉辦台灣資料科學年會，2017年舉辦台灣人工智慧年會，2018年籌辦台灣人工智慧學校，為此遍訪全台灣製造業、石化業、紡織業、精密機械、工業電腦及工具機等產業，我看到的是，<span class=\"blueP\">若要用人工智慧幫助台灣產業升級，目前有四大挑戰，包括人才缺乏、不容易找對問題、產學之間的鴻溝及資料基礎建設的不足。其中，首要必須解決的是人才缺乏的問題。</span></p>\r\n<p>人工智慧人才的不足，不是台灣獨有的問題，全球都求才若渴，美國相關科系甚至連教授們都大量被科技公司挖角。因為相較於一般資訊科技產業所需軟體人才，人工智慧技術人才培育的門檻更高，不但必須具備數學、統計、機器學習、程式設計等科學及實作能力，還要藉著「做中學」來累積足夠經驗，才能在不斷解題過程中，掌握技術，培養及發現問題所需的經驗。因此，系統性的「垂直領域人工智慧人才」培訓將是關鍵，也才有可能填補這個結構性的人才缺口。</p>\r\n<p>國內的科技創新生態，尤其是軟體創新生態，長年以來處於力不從心的狀況，畢竟整個生態系統的問題不是個人或少數公司可以改變的。<span class=\"blueP\">有趣的是，軟體開發相較於硬體開發投資上「省錢」許多，可能帶來的價值槓桿更大，為何一直無法以軟帶硬，帶出具規模的軟體創新生態系統呢？</span></p>\r\n<p>其中一個主要問題在舞台。國內的B2B軟體系統，大型、複雜的，多採購國外大廠的解決方案，免得犯錯；國內的B2C軟體系統，因為市場規模不大，單純的軟體技術也做得到，多是一組前端加後端工程師用現有的程式庫就兜得出來，連資深的系統架構師都派不上用場，也不太會犯錯。再加上薪資、分紅等因素，國內的優秀人才容易被硬體廠吸引，留下的軟體人才在沒有具系統及規模挑戰性的地方，只讓他們銷售或改良國外大廠的解決方案，自然引發惡性循環，更難吸引人才留在軟體業。</p>\r\n<h2 class=\"writingsH2\"><strong>從培養人才著手 解開國內科技生態圈死結</strong></h2>	\r\n<p>若能在短時間內大量地培植各垂直領域的人工智慧人才，可能是個<span class=\"blueP\">解開國內科技生態系統死結的有效手段。原因有四：一是人工智慧短時間內不容易有現成的解決方案，可適用所有產業的所有問題，國內外皆然；二是人工智慧的技術門檻相對高，或說入門門檻不高，但發展至極致的門檻極高，目前已吸引許多年輕高手自主地投入學習，潛力已存在；三是每家公司幾乎都有為數不少人才投入在流程、維運、人力資源、倉儲、進銷存、客戶、物流各面向，可用人工智慧很快切入；四是人工智慧是以小搏大，以軟體開發為主，導入成本相對小，但效益無窮。</span></p>\r\n<p>因此，我們迫切需要更多具有人工智慧技術思維與實戰經驗的技術領袖人才，讓「找不到人才」不再成為產官學研各界發展人工智慧的障礙。同時，也需要培養更多雖然不是技術出身，但具有人工智慧思維的中高階管理者，有足夠的視野與格局，願意投入資源、給予舞台，才能讓人工智慧真正成為組織變革創新的動力。這也是我與諸多產學界先進共同籌組台灣人工智慧學校的初衷。</p>\r\n<p>今天的課程在此告一段落，在談過關於產業AI化的幾個重要觀念後，下次的課程中，將會跟大家說明，與製造相關產業應該如何應用人工智慧。</p>','The Issue of Taiwan\'s Industrial AI Series(4):Challenges and difficulties in the implementation of AI','','publish','closed','open','','challenges-and-difficulties-in-the-implementation-of-artificial-intelligence','','','2021-06-07 17:54:18','2021-06-07 09:54:18','',0,'https://aiacademy.tw/?p=10607',147,'post','',0),(10610,16,'2020-01-31 15:45:47','2020-01-31 07:45:47','','shutterstock_1349870873','','inherit','closed','closed','','shutterstock_1349870873','','','2020-01-31 15:45:47','2020-01-31 07:45:47','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/shutterstock_1349870873.jpg',0,'attachment','image/jpeg',0),(10613,11,'2020-01-31 15:55:56','2020-01-31 07:55:56','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p class=\"span.em\">因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p>(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n<blockquote><p>You shall know a word by the company it keeps.</p></blockquote>\r\n\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p>(自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>為什麼會對「讓電腦擁有語言能力」感到著迷？</strong></h2>\r\n<p>我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n\r\n\r\n<blockquote><p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p></blockquote>\r\n\r\n\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n\r\n\r\n<blockquote><p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p></blockquote>\r\n\r\n\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:55:56','2020-01-31 07:55:56','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10614,11,'2020-01-31 15:56:18','2020-01-31 07:56:18','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p class=\"span.em\">因為，詞彙是語言的最小單位。</p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p>(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n<blockquote><p>You shall know a word by the company it keeps.</p></blockquote>\r\n\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p>(自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>為什麼會對「讓電腦擁有語言能力」感到著迷？</strong></h2>\r\n<p>我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n\r\n\r\n<blockquote><p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p></blockquote>\r\n\r\n\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n\r\n\r\n<blockquote><p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p></blockquote>\r\n\r\n\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:56:18','2020-01-31 07:56:18','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10615,11,'2020-01-31 15:56:54','2020-01-31 07:56:54','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n\r\n<blockquote><p><span class=\"em\">因為，詞彙是語言的最小單位。</sapn></p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p>(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n<blockquote><p>You shall know a word by the company it keeps.</p></blockquote>\r\n\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p>(自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>為什麼會對「讓電腦擁有語言能力」感到著迷？</strong></h2>\r\n<p>我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n\r\n\r\n<blockquote><p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p></blockquote>\r\n\r\n\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n\r\n\r\n<blockquote><p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p></blockquote>\r\n\r\n\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:56:54','2020-01-31 07:56:54','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10616,11,'2020-01-31 15:57:27','2020-01-31 07:57:27','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">人工智慧導入的難易度，就是看一家企業的e化程度是否徹底，是只有傳統上要做報表數字在 Excel表格那種淺層的e化？或是在企業流程中融入資料收集及以資料做輔助決策的那種e化？</span></p></blockquote>\r\n<blockquote><p><span class=\"em\">因為，詞彙是語言的最小單位。</sapn></p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p>(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n<blockquote><p>You shall know a word by the company it keeps.</p></blockquote>\r\n\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p>(自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>為什麼會對「讓電腦擁有語言能力」感到著迷？</strong></h2>\r\n<p>我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n\r\n\r\n<blockquote><p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p></blockquote>\r\n\r\n\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n\r\n\r\n<blockquote><p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p></blockquote>\r\n\r\n\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:57:27','2020-01-31 07:57:27','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10617,11,'2020-01-31 15:57:43','2020-01-31 07:57:43','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">因為，詞彙是語言的最小單位。</sapn></p></blockquote>\r\n\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p>中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。</p>\r\n<p>資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p>(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p>(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n\r\n<blockquote><p>第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</p></blockquote>\r\n\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p>自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p>通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p>(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p>(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p>(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n\r\n<blockquote><p>我們怎麼表達句子的語義呢？答案是透過「結構樹」。</p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p>(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p>(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n<blockquote><p>You shall know a word by the company it keeps.</p></blockquote>\r\n\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p>(自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>為什麼會對「讓電腦擁有語言能力」感到著迷？</strong></h2>\r\n<p>我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n\r\n\r\n<blockquote><p>語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</p></blockquote>\r\n\r\n\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n\r\n\r\n<blockquote><p>至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</p></blockquote>\r\n\r\n\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 15:57:43','2020-01-31 07:57:43','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10618,11,'2020-01-31 16:15:10','2020-01-31 08:15:10','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n.source{\r\ncolor: gray;\r\nfont-size: 13px;\r\n}\r\n}\r\n</style>\r\n<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n<blockquote><p><span class=\"em\">因為，詞彙是語言的最小單位。</sapn></p></blockquote>\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p class=\"source\">中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\" target=\"_blank\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p class=\"source\">(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p class=\"source\">(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</sapn></p></blockquote>\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"4167\" height=\"2659\" class=\"alignnone size-full wp-image-10566\" />\r\n<p class=\"source\">自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</sapn></p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p><span class=\"em\">通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</sapn></p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p class=\"source\">(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p class=\"source\">(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p class=\"source\">(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">我們怎麼表達句子的語義呢？答案是透過「結構樹」。</sapn></p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p class=\"source\">(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p class=\"source\">(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n\r\n<blockquote><p><span class=\"em\">You shall know a word by the company it keeps.</sapn></p></blockquote>\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\" target=\"_blank\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p class=\"source\">(自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>為什麼會對「讓電腦擁有語言能力」感到著迷？</strong></h2>\r\n<p>我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n\r\n\r\n<blockquote><p><span class=\"em\">語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</sapn></p></blockquote>\r\n\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</sapn></p></blockquote>\r\n\r\n\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\" target=\"_blank\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\" target=\"_blank\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 16:15:10','2020-01-31 08:15:10','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10619,11,'2020-01-31 16:18:02','2020-01-31 08:18:02','span.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n.source{\r\ncolor: gray;\r\nfont-size: 13px;\r\n}\r\n}\r\n</style>\r\n<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n<blockquote><p><span class=\"em\">因為，詞彙是語言的最小單位。</sapn></p></blockquote>\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p class=\"source\">中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\" target=\"_blank\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.jpg\" alt=\"\" width=\"4901\" height=\"3267\" class=\"alignnone size-full wp-image-10519\" />\r\n<p class=\"source\">(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p class=\"source\">(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</sapn></p></blockquote>\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"870\" height=\"auto\" class=\"alignnone size-full wp-image-10566\" />\r\n<p class=\"source\">自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</sapn></p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p><span class=\"em\">通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</sapn></p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p class=\"source\">(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p class=\"source\">(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p class=\"source\">(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">我們怎麼表達句子的語義呢？答案是透過「結構樹」。</sapn></p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p class=\"source\">(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p class=\"source\">(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n\r\n<blockquote><p><span class=\"em\">You shall know a word by the company it keeps.</sapn></p></blockquote>\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\" target=\"_blank\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p class=\"source\">(自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>為什麼會對「讓電腦擁有語言能力」感到著迷？</strong></h2>\r\n<p>我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n\r\n\r\n<blockquote><p><span class=\"em\">語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</sapn></p></blockquote>\r\n\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</sapn></p></blockquote>\r\n\r\n\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\" target=\"_blank\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\" target=\"_blank\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 16:18:02','2020-01-31 08:18:02','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10620,11,'2020-01-31 16:25:46','2020-01-31 08:25:46','','ma-natural-language-processing-11','','inherit','closed','closed','','ma-natural-language-processing-11-2','','','2020-01-31 16:25:46','2020-01-31 08:25:46','',10507,'https://aiacademy.tw/wp-content/uploads/2020/01/ma-natural-language-processing-11.png',0,'attachment','image/png',0),(10621,16,'2020-01-31 16:25:59','2020-01-31 08:25:59','[word_section_start]\r\n\r\n[word_section no=1 title=\"修業期限：\"]本學期自 2020 年 03 月 14 日起，至 2020 年 07 月 11 日止，共 16 週。每週三、五、六上課，時間皆為早上九時半至下午六時，國定假日除外。[/word_section]\r\n\r\n[word_section no=2 title=\"錄取人數：\"]每班 200 名 (得不足額錄取)[/word_section]\r\n\r\n[word_section no=3 title=\"上課地點：\"]台中市西區民權路 239 號 16F (校本部)[/word_section]\r\n\r\n[word_section no=4 title=\"報名注意事項及規定：\"]考生上網登錄報名資料之通訊地址、電話號碼及電子郵件地址應正確，否則無法通知而致延誤考試及其他重要事項，其後果自行負責。`外籍學生入學就讀之簽證及居留相關事項請於報名前向有關單位確認，註冊後如因居留問題無法就讀，由考生自行負責。[/word_section]\r\n\r\n[word_section no=5 title=\"報名方式：\"]本招生採<a href=\"https://aiacademy.neticrm.tw/civicrm/event/info?reset=1&id=123\" rel=\"noopener\" target=\"_blank\">網路報名</a>，請於截止日 2020/02/07 前上網填寫報名資料，上傳或繳交資料不齊或不符規定者，視同未完成報名。[/word_section]\r\n\r\n[word_section no=6 title=\"考試：\"]考試時間為 2020 年 02 月 15 日 (星期六) 14:00-15:40，採<a href=\"/tech-exam-notes/\">網路考試</a>。`考試內容分為兩部分，將以英文出題。第一部分為選擇題，內容以 <a href=\"http://www.deeplearningbook.org/\" target=\"_blank\" rel=\"noopener\">Deep Learning</a> 的 Part1。 (其他輔助書目可參考： <a href=\"https://ocw.mit.edu/ans7870/resources/Strang/Edited/Calculus/Calculus.pdf\" target=\"_blank\" rel=\"noopener\">Calculus online textbook</a> 的 ch2、ch3、ch4、ch13; <a href=\"http://joshua.smcvt.edu/linearalgebra/book.pdf\" target=\"_blank\" rel=\"noopener\">Linear Algebra</a> 的 ch1、ch3.4、ch5.2; <a href=\"https://2012books.lardbucket.org/pdfs/beginning-statistics.pdf\" target=\"_blank\" rel=\"noopener\"> Beginning Statistics </a>的 ch2、ch3、ch4、ch5、ch10 )。題目包含基礎統計與機率、線性代數與微積分。第二部分為程式題，測試應試者的程式設計能力，以偽代碼 (pseudo code) 進行，描述如何用基本的運算符號與邏輯完成特定的作業 (如：數字排序)，屆時在題目上會有示範代碼提供與試者參考。\"][/word_section]\r\n\r\n[word_section no=7 title=\"放榜：\"]放榜日期：2020 年 02 月 19 日（星期三）`公布方式：正、備取生將以電子郵件寄發通知。`放榜後，考生應主動查詢，俾於獲知正（備）取後如期辦理註冊，逾期未註冊者，不得以未接獲通知為由要求補救措施。[/word_section]\r\n\r\n[word_section no=8 title=\"正、備取生網路註冊及收費標準：\"]註冊時間：正取生需於放榜後一週內完成註冊。備取生需於遞補通知寄送後一週內完成註冊。`請於註冊時間內依規定至本校網址辦理網路註冊，未依規定辦理或逾期未註冊者，正取生取消其入學資格，備取生取消其遞補資格，事後不得以任何理由要求補註冊。`收費標準：技術領袖培訓班 - 學雜費 48,000 元整（單位：新台幣元）[/word_section]\r\n\r\n[word_section no=9 title=\"注意事項：\"]錄取考生如經發現報考資格不符規定，或所繳資料有偽造、變造、假借、冒用、剽竊、 內容不實、塗改等情事，未入學者取消錄取資格，已入學者開除學籍，並應負法律責任，且不發給任何有關學業之證明，如係在本校結業後始發覺者，除勒令撤銷其結業證書外，並公告取消其結業資格。`錄取考生因重病須長期療養或應徵入營服役，致不能於該學期入學時，應檢具有關證明申請保留入學資格（因重病者須持有健保局特約區域醫院以上之醫院出具之證明，且須經執行長可；服役者則須提出徵集令）`<span style=\"color: #ff0000;\">本期停課日：2020 年 04 月 03 日~2020 年 04 月 04 日（清明連假停課）、2020 年 05 月 01 日（勞動節停課）、2020 年 06 月 26 日~2020 年 06 月 27 日（端午連假停課）。</span>[/word_section]\r\n\r\n[timeline]2019/11/22<a href=\"https://aiacademy.neticrm.tw/civicrm/event/info?reset=1&id=123\">開放報名</a>`2020/02/07報名截止日`2020/02/15報名者進行<a href=\"/tech-exam-notes/?2020\">網路考試</a> (14:00-15:40)`2020/02/19錄取名單公布`2020/02/26正取生註冊截止`2020/03/14<a href=\"/curriculum-tech/\">學期開始</a>`2020/07/11學期結束[/timeline]\r\n<div class=\"aia_btns\"><a class=\"aia_btn1 qbutton large center default\" href=\"/curriculum-tech/\">課程大綱</a>\r\n[admission_signup_button entry=\"419947227\" open=\"https://aiacademy.neticrm.tw/civicrm/event/info?reset=1&id=123\"]<a href=\"/offsite-problem-solving/\" target=\"_blank\" rel=\"noopener\"></a>\r\n\r\n</div>\r\n[word_section_end]','台中分校第五期技術領袖培訓班招生簡章','','inherit','closed','closed','','9509-revision-v1','','','2020-01-31 16:25:59','2020-01-31 08:25:59','',9509,'https://aiacademy.tw/9509-revision-v1/',0,'revision','',0),(10622,11,'2020-01-31 16:27:00','2020-01-31 08:27:00','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n.source{\r\ncolor: gray;\r\nfont-size: 13px;\r\n}\r\n</style>\r\n<p>「自然語言處理」是什麼</p>\r\n<p>讓電腦擁有理解人類語言的能力，就是自然語言處理 (Natural Language Processing，縮寫 NLP)。然而，人和人之間就會誤會彼此的語言了，電腦要如何理解語義？中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。</p>\r\n<h2 class=\"writingsH2\"><strong>如何理解一種語言？</strong></h2>\r\n<p>小時候學習中文，會背誦課文詞彙的注釋，在作業簿練習這個詞的寫法。到了國中時期學英文，面對像天書般的英文文章，會把不懂的單字圈起來，拿出字典查這個字的意思。為什麼這樣做？</p>\r\n\r\n<blockquote><p><span class=\"em\">因為，詞彙是語言的最小單位。</sapn></p></blockquote>\r\n\r\n\r\n<p>然而，中文有一個特殊現象，就是「詞」和「詞」之間沒有邊界，整句串起來像條鎖鏈，不像英文有空格將每個字斷開。所以，若要理解一篇中文文章，必須先學會斷詞，而要學會斷詞，必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-10.jpg\" alt=\"\" width=\"4167\" height=\"1243\" class=\"alignnone size-full wp-image-10515\" />\r\n<p class=\"source\">中文的詞沒有邊界，若誤解「詞的意思」與「句法結構」，會寫出這般造句練習。資料來源│網路趣聞</p>\r\n\r\n<p>那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是<a href=\"https://zh.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86\" target=\"_blank\">自然語言處理</a> (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲，聊聊自然語言處理究竟是什麼。</p>\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-11.png\" alt=\"\" width=\"930\" height=\"400\" class=\"aligncenter size-full wp-image-10620\" />\r\n<p class=\"source\">(馬偉雲，是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。攝影│張語辰)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>問「自然語言」有多自然？</strong></h2>\r\n<p>我們先來了解「自然語言」的定義，與「程式語言」有什麼差別。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-02.jpg\" alt=\"\" width=\"4167\" height=\"2296\" class=\"alignnone size-full wp-image-10522\" />\r\n<p class=\"source\">(程式語言 vs. 自然語言 / 圖說設計│林婷嫻、張語辰)</p>\r\n\r\n<p>簡要來說，程式語言是人類為了與計算機溝通，而設計的人工語言；而自然語言的自然，是相對於「人工」語言的「自然」，換句話說，自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標，就在於讓電腦理解、或是運用人類語言。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>如何教電腦學會一種語言？</strong></h2>\r\n<p>若要讓電腦理解人類的語言，以中文來說，分成兩步驟：</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">第一步是斷詞、理解詞；第二步則是分析句子，包含語法及語義的自動解析。</sapn></p></blockquote>\r\n\r\n\r\n<p>自然語言處理透過這兩個步驟，將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則，現在則是讓機器自己學習。</p>\r\n\r\n<p>早期的方式是基於一套詞彙資料庫，用程式語言寫好人工訂定的規則，讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性，例如，當同樣的詞在不同上下文產生不同意思，就會和原本的人工規則相互牴觸。</p>\r\n\r\n<p>1980 年代末期，自然語言處理引進機器學習 (Machine Learning) 的演算法，不再用程式語言命令電腦所有規則，而是建立演算法模型，讓電腦學會從訓練的資料中，尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法，讓電腦學會從訓練的資料中，自動歸納出語言的特性。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-03.jpg\" alt=\"\" width=\"870\" height=\"auto\" class=\"alignnone size-full wp-image-10566\" />\r\n<p class=\"source\">自然語言處理的演變。 圖說設計│林婷嫻、張語辰</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>訓練電腦處理自然語言，需要什麼樣的資料？</strong></h2>\r\n<p>我們團隊成員涵蓋中研院語言所、資訊所的研究人員，所以我們也充分利用這兩個領域的專長。</p>\r\n\r\n<p>首先，語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式，並且也標明詞彙之間的關係，例如：「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係；「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜，我們稱為「廣義知網」。</p>\r\n\r\n<p>詞彙的語法、語義定義完畢後，接下來我們就依這些規則，大量分析文章中的每個句子、每個詞彙的語法和語義，並將分析的結果記錄下來 ，這就是「語料標注」的工作。這些標注的語料，提供給電腦系統進行機器學習，讓電腦學會自動歸納、找出語言的語法以及語義。</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">我們的想法是，既然語言學家已分析了某些語言結構的邏輯，那麼基於這些存在的語言學知識來教電腦歸納出語言的特性，是一種相當自然合理的方式。</sapn></p></blockquote>\r\n\r\n\r\n<p>只是我們大多數情況下，不會直接教電腦學會語言學上的規則，給它一條魚，不如給它一支釣竿。我們是給電腦看語言學家分析完成的大量結果，由電腦利用機器學習而自動歸納得到 「規則」， 並以參數的方式(請別擔心，一定是人們看得懂的形態)，儲存在資訊學家所設計的模型當中。這種電腦自動學出來的模型，能夠很好地解決語言歧異性，也不會有人工寫死規則的問題。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦可以認識所有「詞」嗎？</strong></h2>\r\n<p>語言的詞彙組合無窮無盡，不可能將所有詞都收進資料庫中訓練電腦。當電腦面對與時俱進的新詞，例如「郭書瑤」、「班奈狄克·康柏拜區」、「漫撕男」、「非典」，電腦就無法辨識、理解這個詞。</p>\r\n\r\n\r\n\r\n<blockquote><p><span class=\"em\">通常未知詞可分為幾種類型：可能是人名、可能是複合詞、或可能是專有名詞。</sapn></p></blockquote>\r\n\r\n\r\n\r\n<p>我們團隊將「中文斷詞」這個工作，切分成下圖 7 個步驟，每個步驟都是一種演算法模組，處理一種特別的問題。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-05.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10567\" />\r\n<p class=\"source\">(中文斷詞系統的處理步驟。 資料來源│〈未知詞擷取作法〉，作者：馬偉雲)</p>\r\n\r\n<p>教電腦擷取人名，是相對單純的工作，因為人名的結構有跡可循。</p>\r\n\r\n<p>中文人名通常是三個字、或兩個字，甚至能參考百家姓、某一年考生的所有名字來建立資料庫，例如「慧」、「婷」常出現在女性人名中，而「雄」這個字常用在男性人名中。從統計機率來看，有些字則是不可能作為人名使用。人名的前後文也會有一些暗示訊息，例如「XXX 表示…」、「 XXX 做了…」、「執行長 XXX」。當電腦分析訓練用的文章資料，自己找出這些規律，電腦就能學會判斷某些未知詞是否為人名。</p>\r\n\r\n<p>此外，「複合詞」也是舉不勝舉的未知詞來源。</p>\r\n\r\n<p>中文的複合詞，由相當隨性的詞性結構組成，例如「趣味性」，隨意置換字尾，就變成「趣味感」或是「趣味化」。複合詞的字差一點點，就能延伸許多詞意，這讓電腦需辨識的詞彙量變得無比龐大。這部分透過前輩們的研究，漸漸找出複合詞的組成邏輯，整理在中央研究院漢語平衡語料庫(標記了一千多萬個詞彙)，也整理出常用詞首、詞尾字資料庫。</p>\r\n\r\n<p>目前斷詞系統中的複合詞主要是針對「名詞複合詞」，但其實我們也在「動詞複合詞」上也累積了不少研究。舉一個實例來說明，例如「開聊」和「聊開」：</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-06.jpg\" alt=\"\" width=\"4167\" height=\"1697\" class=\"alignnone size-full wp-image-10581\" />\r\n<p class=\"source\">(「開」的複合動詞結構舉例。 資料來源│〈現代漢語複合動詞之詞首詞尾研究〉，作者：邱智銘、駱季青、陳克健)</p>\r\n\r\n<p>從語言學的角度，動詞是句子的核心，也是最重要的中心語。「開」這個字有著動詞中心語的起始功能 (inchoative)，然而放在詞首、詞尾不同位置會產生些微差異。</p>\r\n\r\n<p>除了人名、複合詞，新聞或網路文章還會看到許多新創的專有詞，例如：非典( SARS 重症非典型肺炎的簡稱)、河蟹(意指封鎖、掩蓋負面消息)。這類專有詞可以透過 bottom-up merging algorithm (合併字詞演算法)處理。</p>\r\n\r\n<p>以「河蟹」為例，透過合併字詞演算法分析新聞、網路文章等資料，電腦會發現：通常「河」後面就是「蟹」，「蟹」前面就是「河」，「河蟹」兩個字一起出現的統計機率蠻高的，而且整組詞意無法單用「河」或「蟹」的各別字意取代。因此，電腦就會判斷「河蟹」最可能是個專有詞、並做出斷詞。</p>\r\n\r\n<p>此外，就算是字典當中已經有的詞彙，有時候仍然會有不同斷詞的情況，我們必須根據上下文決定哪一種斷法才是正確的。例如：「努力才能成功」的「才能」應該切分為兩個詞彙：「才」和「能」，語義接近英文的 “to make\"；而「他的領導才能很突出」的「才能」是一個詞彙，不可切分，在此表達英文的 “ability\" 的意思。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-07.jpg\" alt=\"\" width=\"4167\" height=\"1038\" class=\"alignnone size-full wp-image-10590\" />\r\n<p class=\"source\">(語言學家會把這樣子的斷詞標注清楚，供電腦進行機器學習。經過不同語句的大量標注，電腦最後會自己學會利用「才能」的上下文做判斷。 資料來源│馬偉雲說明)</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>電腦理解「詞」了，那「句子」呢？</strong></h2>\r\n<p>學會斷詞、並理解個別的詞義之後，下一步我們就要使電腦學會理解整個句子的意思。例如「張三打李四」和「李四被張三打」，兩個句子雖然句型不同，但是語義卻是一樣。</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">我們怎麼表達句子的語義呢？答案是透過「結構樹」。</sapn></p></blockquote>\r\n\r\n\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-08.jpg\" alt=\"\" width=\"4167\" height=\"2351\" class=\"alignnone size-full wp-image-10592\" />\r\n<p class=\"source\">(「張三打李四」和「李四被張三打」，兩個句子的結構樹。 資料來源│馬偉雲說明)</p>\r\n\r\n\r\n<p>我們將每個詞彙集結成片語，再把每個片語標記上它所扮演的語義角色 (semantic role)。「張三」在兩個結構樹中都是「打」的發動者 (agent) 的角色，而「李四」都是「打」的對象 (goal) 的角色。如此一來，透過包含語義角色的結構樹，我們可以得知這兩個句子擁有相同的語義。</p>\r\n\r\n<p>先透過人工訂好結構樹的表達，下一步就是要利用機器學習，使電腦能夠自動針對每一句產生出正確的結構樹。歷年來，中文詞知識庫小組從中央研究院漢語平衡語料庫抽取句子，經由電腦初步剖析成結構樹，再加以人工修正檢驗，共整理了六萬多個中文句結構樹圖，標注了各個中文句的語法以及語義角色，這些就形成機器學習的訓練材料，使得電腦剖析結構樹的工作越做越好。</p>\r\n\r\n<p>自然語言處理的進展到了這裡，斷詞有解，句子結構及語義有解，但還有另一個難題──曖昧不清的指代詞。</p>\r\n\r\n<p>寫作時為了避免某些詞重複出現，會使用別的指代詞，像是「他」、「某某職稱」等等。用句子舉例，「張三打李四，他很痛」，覺得痛的人究竟是誰？除了考量語句結構，也需基於常識和上下文來理解。</p>\r\n\r\n<p>若要教電腦理解指代詞、處理「指代消解」(Coreference Resolution) 的問題，有兩種方式。一種較傳統，用程式語言寫好所有判定的人工規則，好處是較精準，壞處是有其侷限，因為列舉的規則不可能對應至世間所有指代情形。另一種是機器學習的方式，當電腦分析所有訓練文章的上下文發現：幾乎都是被打的李四感到痛，「他 = 李四」這個相關性的機率即為最高，進而做為電腦日後判斷的準則。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理的方法，有因「深度學習」而改變嗎？</strong></h2>\r\n<p>近年來蓬勃發展的深度學習 (Deep Learning)，提出了另一種方法來教電腦表達詞彙。這種方法是將詞彙轉換為「詞向量」，也就是 Word Vector 或稱 Word Embedding，作法是讓電腦閱讀大量文章，利用前後文的統計特性，慢慢學習出每一個詞彙的詞向量，不必利用任何語言學知識。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-04.jpg\" alt=\"\" width=\"4167\" height=\"2309\" class=\"alignnone size-full wp-image-10594\" />\r\n<p class=\"source\">(詞向量的概念。(其中的向量數字為舉例) 資料來源│馬偉雲 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n\r\n<p>舉例來說，傳統的符號學中，「蝴蝶」、「瓢蟲」、「爬」是不同的三個詞彙。但改成用向量思考，「蝴蝶」和「瓢蟲」的向量距離就會比較近，「蝴蝶」和「爬」的向量距離就會比較遠，隨著訓練的文本越來越多，電腦可以自動調整各個詞彙的向量，解決訓練資料不足的問題，並提升電腦的抽象化思考。</p>\r\n\r\n<p>運用「詞向量」的好處是，很多時候針對特定的自然語言處理任務，訓練資料是不足的。因為許多字詞的語義，在人類語感上明明意思很接近、可以相通，但對機器來說，詞彙符號(也就是字元)不同，就是截然不同的詞彙，造成各個詞彙在訓練資料的統計佔比相當低，無法得到足夠信心水準的分析結果。</p>\r\n\r\n<p>然而，訓練過程中，若我們以「詞彙向量」作統計，在向量空間上，有些字詞間的向量很靠近，團結力量大，就會發現相近的詞彙向量在訓練資料的統計佔比大幅提升，解決了訓練資料不足的困境。同時，詞彙向量在深度學習的模型之中，被視為可修改的參數，所以也具備了語義(詞彙向量)自動調整的能力。</p>\r\n\r\n\r\n\r\n\r\n<blockquote><p><span class=\"em\">You shall know a word by the company it keeps.</sapn></p></blockquote>\r\n\r\n\r\n<p><a href=\"https://en.wikipedia.org/wiki/John_Rupert_Firth\" target=\"_blank\">John Rupert Firth</a> 這句古老的語言學名言，恰巧能說明「詞向量」的思維。其實每個詞就像一個人，若想了解這個人，可以觀察他身旁的人是什麼模樣，也就是物以類聚的概念。</p>\r\n\r\n<p>我們團隊目前嘗試結合「傳統詞彙符號」與「詞向量」，共同從事自然語言處理的任務、以及教電腦表達知識。傳統詞彙符號的好處，在於提供清晰的解釋與穩定的應用，而詞向量可以解決訓練資料不足的困境，並且提供語義(詞彙向量)自動調整的能力。這兩者的長處互補，結合起來具有很高的學理價值、更多應用突破。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>自然語言處理，有什麼用？</strong></h2>\r\n<p>其實，自然語言處理的用途，已經悄悄在我們身邊幫上許多忙。</p>\r\n<img src=\"/wp-content/uploads/2020/01/ma-natural-language-processing-09.jpg\" alt=\"\" width=\"4167\" height=\"3334\" class=\"alignnone size-full wp-image-10597\" />\r\n<p class=\"source\">(自然語言處理，常見的後續應用。 資料來源│李宏毅演講 圖說重製│林婷嫻、張語辰)</p>\r\n\r\n<p>例如，運用「摘要文本大綱」的能力，電腦可以擔任助手，幫助連睡覺時間都快沒有的醫生閱讀最新的醫學報告、篩選醫學文獻，找出眼前這位病患的病徵，可能跟哪些疾病相關、或是服用某種藥物可能有哪些副作用。像是 2017 年台北醫學大學，就導入 IBM 的 Watson for Oncology (人工智慧治療輔助系統) ，協助醫師診斷致病機制複雜的癌症。</p>\r\n\r\n<p>現在許多人遇到地震、颱風等災害，第一步是上社群媒體發佈消息，例如哪裡的大樓倒了、哪些親友失聯了、各地需要捐助多少物資等等。若運用自然語言處理，讓電腦自動搜集、分析這些社群媒體的文本，就能幫助整合災情、協助救援。</p>\r\n\r\n<p>另外，輿情分析、聊天機器人等熱門應用，其基礎也需要先讓電腦理解人類所使用的語言，掌握其中的句法結構、分析字裡行間的情緒，才能統計輿情、或讓機器人做出適當的聊天回應。</p>\r\n\r\n<p>自然語言處理，是時間的累積。從民國 75 年到現在，中研院資訊所和語言所合作建立許多語料庫和線上系統，我們很歡迎公家機關和公益團體無償使用，也歡迎有需求的單位來討論合作方式。</p>\r\n\r\n<h2 class=\"writingsH2\"><strong>為什麼會對「讓電腦擁有語言能力」感到著迷？</strong></h2>\r\n<p>我很幸運十幾年前有機會進入這個領域，那時候很驚嘆：怎麼會有一種學問，可以把「語言學」和「計算機科學」結合在一起。</p>\r\n\r\n\r\n\r\n<blockquote><p><span class=\"em\">語言是很複雜的現象，語言也代表人類的智慧，像是我們的思緒、意識，很多都是透過語言來展現。</sapn></p></blockquote>\r\n\r\n\r\n<p>1999 年那時候，我在交大電腦科學與資訊工程系碩士班是做語音辨識，那時候我只懂「聲音訊號」的處理，很好奇「語言」這塊怎麼讓電腦了解。當時和中研院接觸，知道中研院做了很多自然語言處理的工作，例如蒐集大量語料，用計算機的方式把語言的統計特性找出來。</p>\r\n\r\n<p>後來我來到中研院服國防役，從研究助理做起，跟著陳克健老師研究中文的斷詞切分，也逐漸發現原來理解語言有非常多面向，包含：語音、詞彙本身的學問、語法結構(這句話怎麼說才合理)、語義解讀(這句話是什麼意思)，還有「語用」，也就是什麼時候講這句話、為什麼要這樣講。</p>\r\n\r\n<p>2006 年之後，我到美國哥倫比亞大學的電腦科學系讀碩博士，除了博士論文是做機器翻譯，也在那裡的實驗室研究電腦的 Q&A 系統：問電腦問題，讓電腦讀過一堆文獻後回答，這些文獻資料包含中文、英文和阿拉伯文，三種語言混合運用。因為國防上的需求，美國國防部需要透過電腦幫助，了解這些文本在說什麼。</p>\r\n\r\n<p>有些對人工智慧發展的疑慮是，在近年電腦深度學習的運算過程中，不知道為什麼會這樣得出結果、難以控制電腦。但現在有一種發展方向，叫做「可解釋人工智慧」(Explainable AI)，明確了解電腦運算過程，藉以優化表現、降低人們擔憂。舉例來說，當 IBM 的 Watson for Oncology 建議醫生要開刀治療病患，醫生也得知道電腦分析文本的過程、為什麼會下這個決策，不是電腦控制人而已。</p>\r\n\r\n\r\n<blockquote><p><span class=\"em\">至於之前曾傳出 Facebook 的 AI 對話失控，其實是過度擔憂。</sapn></p></blockquote>\r\n\r\n\r\n\r\n<p>因為這只是 Facebook 工程師教電腦學會「談判」的過程中，電腦自動將對話內容表達地極簡再極簡、能通就好。</p>\r\n\r\n<p>當初唸書時，「自然語言」很冷門，跟別人說也不知道這是什麼東西，因為那時人工智慧在商業上還沒有實際應用，和我們的生活還很遙遠。選擇這個領域並不是因為有遠見，只是基於好奇參與、覺得這很有趣，過程就看到自然語言處理 (NLP) 蓬勃發展至今。</p>\r\n\r\n本文經<a href=\"https://www.facebook.com/research.sinica/\" target=\"_blank\">研之有物</a>授權刊登，原文<a href=\"https://research.sinica.edu.tw/nlp-natural-language-processing-chinese-knowledge-information/\" target=\"_blank\">刊載於此</a>','斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？','','inherit','closed','closed','','10507-revision-v1','','','2020-01-31 16:27:00','2020-01-31 08:27:00','',10507,'https://aiacademy.tw/10507-revision-v1/',0,'revision','',0),(10623,28,'2020-01-31 16:37:32','2020-01-31 08:37:32','','吳信漢 / 廣達電腦 - 經理<br>蔡育儒 / AIA - AI 工程師','','inherit','closed','closed','','9900-revision-v1','','','2020-01-31 16:37:32','2020-01-31 08:37:32','',9900,'https://aiacademy.tw/9900-revision-v1/',0,'revision','',0),(10624,11,'2020-01-31 16:47:10','2020-01-31 08:47:10','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>對於很多企業而言，大概已經了解AI的基本概念與重要性，但是，究竟如何踏出第一步？有哪些困難必須先克服？</p>\r\n<blockquote><p><span class=\"em\">人工智慧導入的難易度，就是看一家企業的e化程度是否徹底，是只有傳統上要做報表數字在 Excel表格那種淺層的e化？或是在企業流程中融入資料收集及以資料做輔助決策的那種e化？</span></p></blockquote>\r\n<p>延續上一堂課的討論，以今天的技術來說，大數據及機器學習是發展人工智慧的兩個必要條件。所以我們可以歸納出：<span class=\"blueP\">人工智慧技術領先的企業，必然也是大數據及機器學習的領先者，沒有人能夠跳過這兩者而直接開發出先進的人工智慧系統。</span></p>\r\n<h2 class=\"writingsH2\"><strong>想導入人工智慧？先盤點還清「技術債」</strong></h2>\r\n<p>因此，企業想要導入人工智慧，過去欠的「技術債」，必須先盤點還清。<span class=\"blueP\">首先，企業裡的資料基礎建設，像是資料倉儲完整嗎？資料格式有統一嗎？</span>在大部分企業裡，因為各個資訊系統是在不同時間由不同部門交由不同團隊開發，因此連日期及時間的格式可能都有數十種。</p>\r\n<p><span class=\"blueP\">資料治理有個明確的授權規則及治理單位嗎？</span>或是依舊得讓資料使用者四處奔走，一一去說服企業中分散各處的資料擁有者？</p>\r\n<p><span class=\"blueP\">資料的蒐集及產出是否融入企業流程中？</span>還是每次得為了特定的專案再花人力時間資源來整理蒐集？</p>\r\n<P class=\"blueP\">資料應用的導入是預設得進行的常規任務，還是得另外花力氣去說服所有相關單位？</P>\r\n<P class=\"blueP\">分析資料的團隊是管理資料的團隊兼任，還是有個專業的資料分析團隊來進行？</P>\r\n<P class=\"blueP\">資料工程師都熟悉機器學習嗎？還是只是以傳統繪圖製表工具做基礎層次的資料視覺化？</P>\r\n<h2 class=\"writingsH2\"><strong>圖表數據只是淺層e化</strong></h2>\r\n<p>更直白的說，<span class=\"blueP\">人工智慧導入的難易度，就是看一家企業的e化程度是否徹底，是只有傳統上要做報表數字在 Excel 表格那種淺層的e化？或是在企業流程中融入資料收集及以資料做輔助決策的那種e化？</span>我們都知道e化不是0或1，同樣在做e化的公司及政府部門，層次可以天差地遠。</p>\r\n<p>這個概念也可以套用在雲端計算、大數據及資料分析上頭。千萬不要以為公司有資料倉儲，打開電腦有報表可以看，公司同仁開會討論時都是基於漂亮的即時圖表，就是把大數據應用得很好。事實可能剛好相反。<span class=\"blueP\">最淺層的資料應用是讓老闆每天看圖表；最深入的資料應用是隱形的，看不到圖表。</span></p>\r\n<p>我們可以想想看，AlphaGo及無人車是有人根據圖表來做決策嗎？就知道人工智慧跟看圖表無關，但如果這些數據只是讓人拿來做決策，而不是讓機器從資料中萃取規則，讓機器來輔助我們做決策，那就太可惜了</p>\r\n<h2 class=\"writingsH2\"><strong>人才荒最嚴重 全球皆然</strong></h2>	\r\n<p>從2014年開始我舉辦台灣資料科學年會，2017年舉辦台灣人工智慧年會，2018年籌辦台灣人工智慧學校，為此遍訪全台灣製造業、石化業、紡織業、精密機械、工業電腦及工具機等產業，我看到的是，<span class=\"blueP\">若要用人工智慧幫助台灣產業升級，目前有四大挑戰，包括人才缺乏、不容易找對問題、產學之間的鴻溝及資料基礎建設的不足。其中，首要必須解決的是人才缺乏的問題。</span></p>\r\n<p>人工智慧人才的不足，不是台灣獨有的問題，全球都求才若渴，美國相關科系甚至連教授們都大量被科技公司挖角。因為相較於一般資訊科技產業所需軟體人才，人工智慧技術人才培育的門檻更高，不但必須具備數學、統計、機器學習、程式設計等科學及實作能力，還要藉著「做中學」來累積足夠經驗，才能在不斷解題過程中，掌握技術，培養及發現問題所需的經驗。因此，系統性的「垂直領域人工智慧人才」培訓將是關鍵，也才有可能填補這個結構性的人才缺口。</p>\r\n<p>國內的科技創新生態，尤其是軟體創新生態，長年以來處於力不從心的狀況，畢竟整個生態系統的問題不是個人或少數公司可以改變的。<span class=\"blueP\">有趣的是，軟體開發相較於硬體開發投資上「省錢」許多，可能帶來的價值槓桿更大，為何一直無法以軟帶硬，帶出具規模的軟體創新生態系統呢？</span></p>\r\n<p>其中一個主要問題在舞台。國內的B2B軟體系統，大型、複雜的，多採購國外大廠的解決方案，免得犯錯；國內的B2C軟體系統，因為市場規模不大，單純的軟體技術也做得到，多是一組前端加後端工程師用現有的程式庫就兜得出來，連資深的系統架構師都派不上用場，也不太會犯錯。再加上薪資、分紅等因素，國內的優秀人才容易被硬體廠吸引，留下的軟體人才在沒有具系統及規模挑戰性的地方，只讓他們銷售或改良國外大廠的解決方案，自然引發惡性循環，更難吸引人才留在軟體業。</p>\r\n<h2 class=\"writingsH2\"><strong>從培養人才著手 解開國內科技生態圈死結</strong></h2>	\r\n<p>若能在短時間內大量地培植各垂直領域的人工智慧人才，可能是個<span class=\"blueP\">解開國內科技生態系統死結的有效手段。原因有四：一是人工智慧短時間內不容易有現成的解決方案，可適用所有產業的所有問題，國內外皆然；二是人工智慧的技術門檻相對高，或說入門門檻不高，但發展至極致的門檻極高，目前已吸引許多年輕高手自主地投入學習，潛力已存在；三是每家公司幾乎都有為數不少人才投入在流程、維運、人力資源、倉儲、進銷存、客戶、物流各面向，可用人工智慧很快切入；四是人工智慧是以小搏大，以軟體開發為主，導入成本相對小，但效益無窮。</span></p>\r\n<p>因此，我們迫切需要更多具有人工智慧技術思維與實戰經驗的技術領袖人才，讓「找不到人才」不再成為產官學研各界發展人工智慧的障礙。同時，也需要培養更多雖然不是技術出身，但具有人工智慧思維的中高階管理者，有足夠的視野與格局，願意投入資源、給予舞台，才能讓人工智慧真正成為組織變革創新的動力。這也是我與諸多產學界先進共同籌組台灣人工智慧學校的初衷。</p>\r\n<p>今天的課程在此告一段落，在談過關於產業AI化的幾個重要觀念後，下次的課程中，將會跟大家說明，與製造相關產業應該如何應用人工智慧。</p>','台灣產業AI化的問題4〉人工智慧實作上的挑戰與困難','','inherit','closed','closed','','10607-revision-v1','','','2020-01-31 16:47:10','2020-01-31 08:47:10','',10607,'https://aiacademy.tw/10607-revision-v1/',0,'revision','',0),(10625,11,'2020-01-31 16:48:45','2020-01-31 08:48:45','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>對於很多企業而言，大概已經了解AI的基本概念與重要性，但是，究竟如何踏出第一步？有哪些困難必須先克服？</p>\r\n<blockquote><p><span class=\"em\">人工智慧導入的難易度，就是看一家企業的e化程度是否徹底，是只有傳統上要做報表數字在 Excel表格那種淺層的e化？或是在企業流程中融入資料收集及以資料做輔助決策的那種e化？</span></p></blockquote>\r\n<p>延續上一堂課的討論，以今天的技術來說，大數據及機器學習是發展人工智慧的兩個必要條件。所以我們可以歸納出：<span class=\"blueP\">人工智慧技術領先的企業，必然也是大數據及機器學習的領先者，沒有人能夠跳過這兩者而直接開發出先進的人工智慧系統。</span></p>\r\n<h2 class=\"writingsH2\"><strong>想導入人工智慧？先盤點還清「技術債」</strong></h2>\r\n<p>因此，企業想要導入人工智慧，過去欠的「技術債」，必須先盤點還清。<span class=\"blueP\">首先，企業裡的資料基礎建設，像是資料倉儲完整嗎？資料格式有統一嗎？</span>在大部分企業裡，因為各個資訊系統是在不同時間由不同部門交由不同團隊開發，因此連日期及時間的格式可能都有數十種。</p>\r\n<p><span class=\"blueP\">資料治理有個明確的授權規則及治理單位嗎？</span>或是依舊得讓資料使用者四處奔走，一一去說服企業中分散各處的資料擁有者？</p>\r\n<p><span class=\"blueP\">資料的蒐集及產出是否融入企業流程中？</span>還是每次得為了特定的專案再花人力時間資源來整理蒐集？</p>\r\n<P class=\"blueP\">資料應用的導入是預設得進行的常規任務，還是得另外花力氣去說服所有相關單位？</P>\r\n<P class=\"blueP\">分析資料的團隊是管理資料的團隊兼任，還是有個專業的資料分析團隊來進行？</P>\r\n<P class=\"blueP\">資料工程師都熟悉機器學習嗎？還是只是以傳統繪圖製表工具做基礎層次的資料視覺化？</P>\r\n<h2 class=\"writingsH2\"><strong>圖表數據只是淺層e化</strong></h2>\r\n<p>更直白的說，<span class=\"blueP\">人工智慧導入的難易度，就是看一家企業的e化程度是否徹底，是只有傳統上要做報表數字在 Excel 表格那種淺層的e化？或是在企業流程中融入資料收集及以資料做輔助決策的那種e化？</span>我們都知道e化不是0或1，同樣在做e化的公司及政府部門，層次可以天差地遠。</p>\r\n<p>這個概念也可以套用在雲端計算、大數據及資料分析上頭。千萬不要以為公司有資料倉儲，打開電腦有報表可以看，公司同仁開會討論時都是基於漂亮的即時圖表，就是把大數據應用得很好。事實可能剛好相反。<span class=\"blueP\">最淺層的資料應用是讓老闆每天看圖表；最深入的資料應用是隱形的，看不到圖表。</span></p>\r\n<p>我們可以想想看，AlphaGo及無人車是有人根據圖表來做決策嗎？就知道人工智慧跟看圖表無關，但如果這些數據只是讓人拿來做決策，而不是讓機器從資料中萃取規則，讓機器來輔助我們做決策，那就太可惜了</p>\r\n<h2 class=\"writingsH2\"><strong>人才荒最嚴重 全球皆然</strong></h2>	\r\n<p>從2014年開始我舉辦台灣資料科學年會，2017年舉辦台灣人工智慧年會，2018年籌辦台灣人工智慧學校，為此遍訪全台灣製造業、石化業、紡織業、精密機械、工業電腦及工具機等產業，我看到的是，<span class=\"blueP\">若要用人工智慧幫助台灣產業升級，目前有四大挑戰，包括人才缺乏、不容易找對問題、產學之間的鴻溝及資料基礎建設的不足。其中，首要必須解決的是人才缺乏的問題。</span></p>\r\n<p>人工智慧人才的不足，不是台灣獨有的問題，全球都求才若渴，美國相關科系甚至連教授們都大量被科技公司挖角。因為相較於一般資訊科技產業所需軟體人才，人工智慧技術人才培育的門檻更高，不但必須具備數學、統計、機器學習、程式設計等科學及實作能力，還要藉著「做中學」來累積足夠經驗，才能在不斷解題過程中，掌握技術，培養及發現問題所需的經驗。因此，系統性的「垂直領域人工智慧人才」培訓將是關鍵，也才有可能填補這個結構性的人才缺口。</p>\r\n<p>國內的科技創新生態，尤其是軟體創新生態，長年以來處於力不從心的狀況，畢竟整個生態系統的問題不是個人或少數公司可以改變的。<span class=\"blueP\">有趣的是，軟體開發相較於硬體開發投資上「省錢」許多，可能帶來的價值槓桿更大，為何一直無法以軟帶硬，帶出具規模的軟體創新生態系統呢？</span></p>\r\n<p>其中一個主要問題在舞台。國內的B2B軟體系統，大型、複雜的，多採購國外大廠的解決方案，免得犯錯；國內的B2C軟體系統，因為市場規模不大，單純的軟體技術也做得到，多是一組前端加後端工程師用現有的程式庫就兜得出來，連資深的系統架構師都派不上用場，也不太會犯錯。再加上薪資、分紅等因素，國內的優秀人才容易被硬體廠吸引，留下的軟體人才在沒有具系統及規模挑戰性的地方，只讓他們銷售或改良國外大廠的解決方案，自然引發惡性循環，更難吸引人才留在軟體業。</p>\r\n<h2 class=\"writingsH2\"><strong>從培養人才著手 解開國內科技生態圈死結</strong></h2>	\r\n<p>若能在短時間內大量地培植各垂直領域的人工智慧人才，可能是個<span class=\"blueP\">解開國內科技生態系統死結的有效手段。原因有四：一是人工智慧短時間內不容易有現成的解決方案，可適用所有產業的所有問題，國內外皆然；二是人工智慧的技術門檻相對高，或說入門門檻不高，但發展至極致的門檻極高，目前已吸引許多年輕高手自主地投入學習，潛力已存在；三是每家公司幾乎都有為數不少人才投入在流程、維運、人力資源、倉儲、進銷存、客戶、物流各面向，可用人工智慧很快切入；四是人工智慧是以小搏大，以軟體開發為主，導入成本相對小，但效益無窮。</span></p>\r\n<p>因此，我們迫切需要更多具有人工智慧技術思維與實戰經驗的技術領袖人才，讓「找不到人才」不再成為產官學研各界發展人工智慧的障礙。同時，也需要培養更多雖然不是技術出身，但具有人工智慧思維的中高階管理者，有足夠的視野與格局，願意投入資源、給予舞台，才能讓人工智慧真正成為組織變革創新的動力。這也是我與諸多產學界先進共同籌組台灣人工智慧學校的初衷。</p>\r\n<p>今天的課程在此告一段落，在談過關於產業AI化的幾個重要觀念後，下次的課程中，將會跟大家說明，與製造相關產業應該如何應用人工智慧。</p>','台灣產業AI化的問題4〉人工智慧實作上的挑戰與困難','','inherit','closed','closed','','10607-revision-v1','','','2020-01-31 16:48:45','2020-01-31 08:48:45','',10607,'https://aiacademy.tw/10607-revision-v1/',0,'revision','',0),(10626,11,'2020-01-31 17:08:49','2020-01-31 09:08:49','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業都想導入 AI 來解決現有的問題、創造價值。但是，幾乎毫無例外，在導入前，企業都會遇到四個難解的問題而卡關。是哪些問題？有辦法解決嗎？怎麼解決？</p>\r\n<blockquote><p><span class=\"em\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p></blockquote>\r\n<p>人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</p>\r\n<p>在前四堂課中，我們從人工智慧的基本概念談起，也檢視了大眾對於人工智慧常見的誤解與疑問。從這堂課開始，我們會更聚焦在產業AI化過程中，必須真實面對的具體挑戰。</p>\r\n<p>在這之前，想跟各位分享一個故事。2017年春天，我在中央研究院的院區裡與孔祥重院士碰面，他是一位極具專業素養與社會關懷的學者，一直憂心台灣已經40年沒有新的產業出現。我們都一致同意人工智慧是一波大好機會，若不把握的話，下一波產業創新機會不知道何時才會出現；也因此，我們一拍即合，決定一起以人工智慧來幫助台灣產業創新及升級。我們列出一個企業名單，從石化業開始，接著是電子業、工具機業、紡織業、半導體業及農業，一家一家聯絡拜訪。</p>\r\n<img src=\"/wp-content/uploads/2020/01/05-1.png\" alt=\"\" width=\"864\" height=\"677\" class=\"aligncenter size-full wp-image-10631\" />\r\n<p></p>\r\n<p>拜訪各個企業時，我們都會提出同樣的問題：「你們發展人工智慧時遇到的挑戰？」，以及「有沒有什麼是我們可以幫上忙的？」</p>\r\n<h2 class=\"writingsH2\"><strong>導入前企業遇到的四大挑戰</strong></h2>\r\n<p>幾乎沒有例外，<span class=\"blueP\">大家遇到的第一個挑戰就是缺乏人才，尤其是有經驗的人工智慧工程師。</p>\r\n<p><span class=\"blueP\">第二個挑戰是資料可用性，因為機器學習就是需要以資料做為原料，若資料沒有準備好，光有人才也沒有用。</span>但資料基礎建設並不是一夕之間就可以建立，若沒有在幾年前開始蒐集資料，也沒有實際驗證過資料的可用性，往往資料不夠全面完整，沒有足夠的條件以機器學習來解題。</p>\r\n<p><span class=\"blueP\">第三個挑戰是如何找到切入點。</span>工程師的視角通常比較關注在技術面，沒有整個企業或集團的全貌，因此，若只有工程師懂得人工智慧的內涵，雖然很容易找到「可用人工智慧來幫助」的問題，但很難找出對企業或集團來說最為優先關鍵，同時也是技術上可行的問題。正因如此，我認為企業中的經理人是否真正能掌握人工智慧的能力及極限，也是產業AI化很重要的一個關鍵。 </p>\r\n<p>產業所面對的<span class=\"blueP\">第四個常見挑戰是，台灣在機器學習領域超過十年經驗的人，幾乎統統都在學術界，</span>但是產業界與學術界中間，只有一條微弱的點對點產學合作形式做為連結，無法以足夠的速度及深度將學術界的專業知識及經驗，匯流到產業界的第一線實務工作上。</p>\r\n<p></p>\r\n<img src=\"/wp-content/uploads/2020/01/05-2.png\" alt=\"\" width=\"864\" height=\"641\" class=\"aligncenter size-full wp-image-10632\" />\r\n<p></p>\r\n<p>以上談到的四個挑戰，是我們要進行產業AI化的過程中，不論產業別及公司規模大小，幾乎都會遇到的共通挑戰。從今年開始，陸陸續續可以看到各界有不同的努力，希望來解決這些問題。例如，台灣人工智慧學校的技術領袖培訓班，希望能以系統化的方式，大量培訓人工智慧工程師，來解決「找不到人才」的問題；同時也開設經理人周末培訓班，讓經理人們也能一窺堂奧，瞭解機器學習的原理、強項及限制，能夠有評估人工智慧技術及問題可行性的能力。</p>\r\n<p>另一方面，要解決資料可用性的問題，就得按部就班地蒐集所有相關資料，確認資料的完整性及可信度，以及資料之間有沒有斷點，這當中完全沒有捷徑。最後，在產學連結之間，這一兩年來越來越多學者以兼任或借調的方式加入產業界，短期內，這也許是讓學術與實務結合最有效率的方式。</p>\r\n<h2 class=\"writingsH2\"><strong>人工智慧非萬能 只能解決特定問題</strong></h2>\r\n<p>除此之外，要知道當我們談「導入」人工智慧，與平常我們說「導入」某某技術或某某平台，同樣是「導入」兩個字，內涵其實差異不小。若對於人工智慧技術沒有正確的認知，力氣及資源放在不對的點上，要成功地擁抱人工智慧，可沒有那麼容易。</p>\r\n<p>癥結在於，人工智慧系統跟我們過去所熟悉的軟體系統不同。今天的人工智慧系統都是基於機器學習技術來開發，一旦開發出來，只能解決特定的問題。<span class=\"blueP\">同樣是機器學習模型，要解決什麼問題、能解決什麼問題、能解到什麼程度、產生多少價值，都與每家公司的商業模式、流程、部門分工、資料基礎建設及情境高度相關，多元性及客製化程度遠比導入ERP（企業資源規畫）或CRM（客戶關係管理）等系統高得太多，</span>也就是說，對於企業應用來說，人工智慧系統幾乎無法做成現成的套裝軟體，只要一個簡單的導入步驟就能大功告成。</p>\r\n<p>例如，<span class=\"blueP\">同樣是瑕疵的自動檢測技術，檢測電路板瑕疵、檢測紡織品瑕疵以及檢測玻璃瑕疵的系統無法直接套裝化。甚至，若以高標準來要求的話，同樣是檢測PCB電路板瑕疵的技術，也沒有辦法光是調整參數，就能直接在不同家同業公司中使用。</span>因此，未來的五年甚至更久的時間內，很難期待會有套裝系統可以直接購入及進行簡單客製化，符合各產業、各公司、各種問題的需求。</p>\r\n<h2 class=\"writingsH2\"><strong>有人才沒資料 再好的系統也無法運作</strong></h2>\r\n<p>另一個癥結點是，人工智慧系統並沒有辦法即插即用。原因是<span class=\"blueP\">機器學習必須要有大量資料來訓練，若公司裡原本並沒有蒐集某個想要解決的問題所需的資料，或資料蒐集的時間不夠長、資料的品質不夠好，那麼不管引入再好的系統也沒有用。</span></p>\r\n<p>例如，若想要進行未來半年某產品的銷量預測，我們必須先要有該產品及競品在過去至少三年或五年以上銷售量，以及相關的客戶訂單資料和各式環境及市場因素等資料。若是沒有把這些資料準備好，人工智慧系統就是不能動，就像是光有引擎，沒有油就沒有辦法發電的道理一樣。</p>\r\n<p>國內企業面對這波人工智慧浪潮的反應，嚴格說來不算慢，只是方向必須再更精準，不能再像過去流行的大數據一樣，把資源大多投注在資料平台上。很多公司在導入後突然發現，為什麼沒有出現傳說中神奇的效果？因為，所謂的大數據平台只是蒐集、承載、處理資料的系統，少了資料分析這一步，價值不會憑空出現。<span class=\"blueP\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p>\r\n<p>這就是我所說的，要導入人工智慧，企業首先要對這個技術有正確的認知，才知道施力點在哪裡，才知道預期的成效會在什麼地方以什麼形式出現。<span class=\"blueP\">沒有任何技術會是特效藥，可以解決任何企業的難題，包含人工智慧也是。</span></p>\r\n<p>有了正確的認知後，由誰來找到切入點及執行導入工作，也是一個大哉問。很多人以為人工智慧既然跟電腦有關，就應該是IT部門的工作，如果事情這麼簡單就好了。那麼，究竟該怎麼做才好呢？在下一堂課將會繼續深入跟各位分享，該由誰來進行人工智慧的初步導入，也就是，企業應該如何建立第一支人工智慧團隊。</p>','The Issue of Taiwan\'s Industrial AI Series(5):Before adopting AI, what preparations should industries do?','','publish','closed','open','','what-should-companies-do-before-introducing-artificial-intelligence','','','2021-06-07 17:54:06','2021-06-07 09:54:06','',0,'https://aiacademy.tw/?p=10626',146,'post','',0),(10627,28,'2020-01-31 16:55:00','2020-01-31 08:55:00','','吳信漢 / 廣達電腦 - 經理<br>蔡育儒 / AIA - AI 工程師','','inherit','closed','closed','','9900-revision-v1','','','2020-01-31 16:55:00','2020-01-31 08:55:00','',9900,'https://aiacademy.tw/9900-revision-v1/',0,'revision','',0),(10630,11,'2020-01-31 17:06:37','2020-01-31 09:06:37','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業都想導入 AI 來解決現有的問題、創造價值。但是，幾乎毫無例外，在導入前，企業都會遇到四個難解的問題而卡關。是哪些問題？有辦法解決嗎？怎麼解決？</p>\r\n<blockquote><p><span class=\"em\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p></blockquote>\r\n<p>人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</p>\r\n<p>在前四堂課中，我們從人工智慧的基本概念談起，也檢視了大眾對於人工智慧常見的誤解與疑問。從這堂課開始，我們會更聚焦在產業AI化過程中，必須真實面對的具體挑戰。</p>\r\n<p>在這之前，想跟各位分享一個故事。2017年春天，我在中央研究院的院區裡與孔祥重院士碰面，他是一位極具專業素養與社會關懷的學者，一直憂心台灣已經40年沒有新的產業出現。我們都一致同意人工智慧是一波大好機會，若不把握的話，下一波產業創新機會不知道何時才會出現；也因此，我們一拍即合，決定一起以人工智慧來幫助台灣產業創新及升級。我們列出一個企業名單，從石化業開始，接著是電子業、工具機業、紡織業、半導體業及農業，一家一家聯絡拜訪。</p>\r\n<img src=\"05-1\" alt=\"\">\r\n<p>拜訪各個企業時，我們都會提出同樣的問題：「你們發展人工智慧時遇到的挑戰？」，以及「有沒有什麼是我們可以幫上忙的？」</p>\r\n<h2 class=\"writingsH2\"><strong>導入前企業遇到的四大挑戰</strong></h2>\r\n<p>幾乎沒有例外，<span class=\"blueP\">大家遇到的第一個挑戰就是缺乏人才，尤其是有經驗的人工智慧工程師。</p>\r\n<p><span class=\"blueP\">第二個挑戰是資料可用性，因為機器學習就是需要以資料做為原料，若資料沒有準備好，光有人才也沒有用。</span>但資料基礎建設並不是一夕之間就可以建立，若沒有在幾年前開始蒐集資料，也沒有實際驗證過資料的可用性，往往資料不夠全面完整，沒有足夠的條件以機器學習來解題。</p>\r\n<p><span class=\"blueP\">第三個挑戰是如何找到切入點。</span>工程師的視角通常比較關注在技術面，沒有整個企業或集團的全貌，因此，若只有工程師懂得人工智慧的內涵，雖然很容易找到「可用人工智慧來幫助」的問題，但很難找出對企業或集團來說最為優先關鍵，同時也是技術上可行的問題。正因如此，我認為企業中的經理人是否真正能掌握人工智慧的能力及極限，也是產業AI化很重要的一個關鍵。 </p>\r\n<p>產業所面對的<span class=\"blueP\">第四個常見挑戰是，台灣在機器學習領域超過十年經驗的人，幾乎統統都在學術界，</span>但是產業界與學術界中間，只有一條微弱的點對點產學合作形式做為連結，無法以足夠的速度及深度將學術界的專業知識及經驗，匯流到產業界的第一線實務工作上。</p>\r\n<p></p>\r\n<img src=\"05-2\" alt=\"\">\r\n<p>以上談到的四個挑戰，是我們要進行產業AI化的過程中，不論產業別及公司規模大小，幾乎都會遇到的共通挑戰。從今年開始，陸陸續續可以看到各界有不同的努力，希望來解決這些問題。例如，台灣人工智慧學校的技術領袖培訓班，希望能以系統化的方式，大量培訓人工智慧工程師，來解決「找不到人才」的問題；同時也開設經理人周末培訓班，讓經理人們也能一窺堂奧，瞭解機器學習的原理、強項及限制，能夠有評估人工智慧技術及問題可行性的能力。</p>\r\n<p>另一方面，要解決資料可用性的問題，就得按部就班地蒐集所有相關資料，確認資料的完整性及可信度，以及資料之間有沒有斷點，這當中完全沒有捷徑。最後，在產學連結之間，這一兩年來越來越多學者以兼任或借調的方式加入產業界，短期內，這也許是讓學術與實務結合最有效率的方式。</p>\r\n<h2 class=\"writingsH2\"><strong>人工智慧非萬能 只能解決特定問題</strong></h2>\r\n<p>除此之外，要知道當我們談「導入」人工智慧，與平常我們說「導入」某某技術或某某平台，同樣是「導入」兩個字，內涵其實差異不小。若對於人工智慧技術沒有正確的認知，力氣及資源放在不對的點上，要成功地擁抱人工智慧，可沒有那麼容易。</p>\r\n<p>癥結在於，人工智慧系統跟我們過去所熟悉的軟體系統不同。今天的人工智慧系統都是基於機器學習技術來開發，一旦開發出來，只能解決特定的問題。<span class=\"blueP\">同樣是機器學習模型，要解決什麼問題、能解決什麼問題、能解到什麼程度、產生多少價值，都與每家公司的商業模式、流程、部門分工、資料基礎建設及情境高度相關，多元性及客製化程度遠比導入ERP（企業資源規畫）或CRM（客戶關係管理）等系統高得太多，</span>也就是說，對於企業應用來說，人工智慧系統幾乎無法做成現成的套裝軟體，只要一個簡單的導入步驟就能大功告成。</p>\r\n<p>例如，<span class=\"blueP\">同樣是瑕疵的自動檢測技術，檢測電路板瑕疵、檢測紡織品瑕疵以及檢測玻璃瑕疵的系統無法直接套裝化。甚至，若以高標準來要求的話，同樣是檢測PCB電路板瑕疵的技術，也沒有辦法光是調整參數，就能直接在不同家同業公司中使用。</span>因此，未來的五年甚至更久的時間內，很難期待會有套裝系統可以直接購入及進行簡單客製化，符合各產業、各公司、各種問題的需求。</p>\r\n<h2 class=\"writingsH2\"><strong>有人才沒資料 再好的系統也無法運作</strong></h2>\r\n<p>另一個癥結點是，人工智慧系統並沒有辦法即插即用。原因是<span class=\"blueP\">機器學習必須要有大量資料來訓練，若公司裡原本並沒有蒐集某個想要解決的問題所需的資料，或資料蒐集的時間不夠長、資料的品質不夠好，那麼不管引入再好的系統也沒有用。</span></p>\r\n<p>例如，若想要進行未來半年某產品的銷量預測，我們必須先要有該產品及競品在過去至少三年或五年以上銷售量，以及相關的客戶訂單資料和各式環境及市場因素等資料。若是沒有把這些資料準備好，人工智慧系統就是不能動，就像是光有引擎，沒有油就沒有辦法發電的道理一樣。</p>\r\n<p>國內企業面對這波人工智慧浪潮的反應，嚴格說來不算慢，只是方向必須再更精準，不能再像過去流行的大數據一樣，把資源大多投注在資料平台上。很多公司在導入後突然發現，為什麼沒有出現傳說中神奇的效果？因為，所謂的大數據平台只是蒐集、承載、處理資料的系統，少了資料分析這一步，價值不會憑空出現。<span class=\"blueP\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p>\r\n<p>這就是我所說的，要導入人工智慧，企業首先要對這個技術有正確的認知，才知道施力點在哪裡，才知道預期的成效會在什麼地方以什麼形式出現。<span class=\"blueP\">沒有任何技術會是特效藥，可以解決任何企業的難題，包含人工智慧也是。</span></p>\r\n<p>有了正確的認知後，由誰來找到切入點及執行導入工作，也是一個大哉問。很多人以為人工智慧既然跟電腦有關，就應該是IT部門的工作，如果事情這麼簡單就好了。那麼，究竟該怎麼做才好呢？在下一堂課將會繼續深入跟各位分享，該由誰來進行人工智慧的初步導入，也就是，企業應該如何建立第一支人工智慧團隊。</p>','台灣產業AI化的問題5〉導入人工智慧前，企業該做哪些準備？','','inherit','closed','closed','','10626-revision-v1','','','2020-01-31 17:06:37','2020-01-31 09:06:37','',10626,'https://aiacademy.tw/10626-revision-v1/',0,'revision','',0),(10631,11,'2020-01-31 17:06:59','2020-01-31 09:06:59','','05-1','','inherit','closed','closed','','05-1','','','2020-01-31 17:06:59','2020-01-31 09:06:59','',10626,'https://aiacademy.tw/wp-content/uploads/2020/01/05-1.png',0,'attachment','image/png',0),(10632,11,'2020-01-31 17:07:03','2020-01-31 09:07:03','','05-2','','inherit','closed','closed','','05-2','','','2020-01-31 17:07:03','2020-01-31 09:07:03','',10626,'https://aiacademy.tw/wp-content/uploads/2020/01/05-2.png',0,'attachment','image/png',0),(10633,11,'2020-01-31 17:07:31','2020-01-31 09:07:31','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業都想導入 AI 來解決現有的問題、創造價值。但是，幾乎毫無例外，在導入前，企業都會遇到四個難解的問題而卡關。是哪些問題？有辦法解決嗎？怎麼解決？</p>\r\n<blockquote><p><span class=\"em\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p></blockquote>\r\n<p>人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</p>\r\n<p>在前四堂課中，我們從人工智慧的基本概念談起，也檢視了大眾對於人工智慧常見的誤解與疑問。從這堂課開始，我們會更聚焦在產業AI化過程中，必須真實面對的具體挑戰。</p>\r\n<p>在這之前，想跟各位分享一個故事。2017年春天，我在中央研究院的院區裡與孔祥重院士碰面，他是一位極具專業素養與社會關懷的學者，一直憂心台灣已經40年沒有新的產業出現。我們都一致同意人工智慧是一波大好機會，若不把握的話，下一波產業創新機會不知道何時才會出現；也因此，我們一拍即合，決定一起以人工智慧來幫助台灣產業創新及升級。我們列出一個企業名單，從石化業開始，接著是電子業、工具機業、紡織業、半導體業及農業，一家一家聯絡拜訪。</p>\r\n<img src=\"/wp-content/uploads/2020/01/05-1.png\" alt=\"\" width=\"864\" height=\"677\" class=\"aligncenter size-full wp-image-10631\" />\r\n<p>拜訪各個企業時，我們都會提出同樣的問題：「你們發展人工智慧時遇到的挑戰？」，以及「有沒有什麼是我們可以幫上忙的？」</p>\r\n<h2 class=\"writingsH2\"><strong>導入前企業遇到的四大挑戰</strong></h2>\r\n<p>幾乎沒有例外，<span class=\"blueP\">大家遇到的第一個挑戰就是缺乏人才，尤其是有經驗的人工智慧工程師。</p>\r\n<p><span class=\"blueP\">第二個挑戰是資料可用性，因為機器學習就是需要以資料做為原料，若資料沒有準備好，光有人才也沒有用。</span>但資料基礎建設並不是一夕之間就可以建立，若沒有在幾年前開始蒐集資料，也沒有實際驗證過資料的可用性，往往資料不夠全面完整，沒有足夠的條件以機器學習來解題。</p>\r\n<p><span class=\"blueP\">第三個挑戰是如何找到切入點。</span>工程師的視角通常比較關注在技術面，沒有整個企業或集團的全貌，因此，若只有工程師懂得人工智慧的內涵，雖然很容易找到「可用人工智慧來幫助」的問題，但很難找出對企業或集團來說最為優先關鍵，同時也是技術上可行的問題。正因如此，我認為企業中的經理人是否真正能掌握人工智慧的能力及極限，也是產業AI化很重要的一個關鍵。 </p>\r\n<p>產業所面對的<span class=\"blueP\">第四個常見挑戰是，台灣在機器學習領域超過十年經驗的人，幾乎統統都在學術界，</span>但是產業界與學術界中間，只有一條微弱的點對點產學合作形式做為連結，無法以足夠的速度及深度將學術界的專業知識及經驗，匯流到產業界的第一線實務工作上。</p>\r\n<p></p>\r\n<img src=\"/wp-content/uploads/2020/01/05-2.png\" alt=\"\" width=\"864\" height=\"641\" class=\"aligncenter size-full wp-image-10632\" />\r\n<p>以上談到的四個挑戰，是我們要進行產業AI化的過程中，不論產業別及公司規模大小，幾乎都會遇到的共通挑戰。從今年開始，陸陸續續可以看到各界有不同的努力，希望來解決這些問題。例如，台灣人工智慧學校的技術領袖培訓班，希望能以系統化的方式，大量培訓人工智慧工程師，來解決「找不到人才」的問題；同時也開設經理人周末培訓班，讓經理人們也能一窺堂奧，瞭解機器學習的原理、強項及限制，能夠有評估人工智慧技術及問題可行性的能力。</p>\r\n<p>另一方面，要解決資料可用性的問題，就得按部就班地蒐集所有相關資料，確認資料的完整性及可信度，以及資料之間有沒有斷點，這當中完全沒有捷徑。最後，在產學連結之間，這一兩年來越來越多學者以兼任或借調的方式加入產業界，短期內，這也許是讓學術與實務結合最有效率的方式。</p>\r\n<h2 class=\"writingsH2\"><strong>人工智慧非萬能 只能解決特定問題</strong></h2>\r\n<p>除此之外，要知道當我們談「導入」人工智慧，與平常我們說「導入」某某技術或某某平台，同樣是「導入」兩個字，內涵其實差異不小。若對於人工智慧技術沒有正確的認知，力氣及資源放在不對的點上，要成功地擁抱人工智慧，可沒有那麼容易。</p>\r\n<p>癥結在於，人工智慧系統跟我們過去所熟悉的軟體系統不同。今天的人工智慧系統都是基於機器學習技術來開發，一旦開發出來，只能解決特定的問題。<span class=\"blueP\">同樣是機器學習模型，要解決什麼問題、能解決什麼問題、能解到什麼程度、產生多少價值，都與每家公司的商業模式、流程、部門分工、資料基礎建設及情境高度相關，多元性及客製化程度遠比導入ERP（企業資源規畫）或CRM（客戶關係管理）等系統高得太多，</span>也就是說，對於企業應用來說，人工智慧系統幾乎無法做成現成的套裝軟體，只要一個簡單的導入步驟就能大功告成。</p>\r\n<p>例如，<span class=\"blueP\">同樣是瑕疵的自動檢測技術，檢測電路板瑕疵、檢測紡織品瑕疵以及檢測玻璃瑕疵的系統無法直接套裝化。甚至，若以高標準來要求的話，同樣是檢測PCB電路板瑕疵的技術，也沒有辦法光是調整參數，就能直接在不同家同業公司中使用。</span>因此，未來的五年甚至更久的時間內，很難期待會有套裝系統可以直接購入及進行簡單客製化，符合各產業、各公司、各種問題的需求。</p>\r\n<h2 class=\"writingsH2\"><strong>有人才沒資料 再好的系統也無法運作</strong></h2>\r\n<p>另一個癥結點是，人工智慧系統並沒有辦法即插即用。原因是<span class=\"blueP\">機器學習必須要有大量資料來訓練，若公司裡原本並沒有蒐集某個想要解決的問題所需的資料，或資料蒐集的時間不夠長、資料的品質不夠好，那麼不管引入再好的系統也沒有用。</span></p>\r\n<p>例如，若想要進行未來半年某產品的銷量預測，我們必須先要有該產品及競品在過去至少三年或五年以上銷售量，以及相關的客戶訂單資料和各式環境及市場因素等資料。若是沒有把這些資料準備好，人工智慧系統就是不能動，就像是光有引擎，沒有油就沒有辦法發電的道理一樣。</p>\r\n<p>國內企業面對這波人工智慧浪潮的反應，嚴格說來不算慢，只是方向必須再更精準，不能再像過去流行的大數據一樣，把資源大多投注在資料平台上。很多公司在導入後突然發現，為什麼沒有出現傳說中神奇的效果？因為，所謂的大數據平台只是蒐集、承載、處理資料的系統，少了資料分析這一步，價值不會憑空出現。<span class=\"blueP\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p>\r\n<p>這就是我所說的，要導入人工智慧，企業首先要對這個技術有正確的認知，才知道施力點在哪裡，才知道預期的成效會在什麼地方以什麼形式出現。<span class=\"blueP\">沒有任何技術會是特效藥，可以解決任何企業的難題，包含人工智慧也是。</span></p>\r\n<p>有了正確的認知後，由誰來找到切入點及執行導入工作，也是一個大哉問。很多人以為人工智慧既然跟電腦有關，就應該是IT部門的工作，如果事情這麼簡單就好了。那麼，究竟該怎麼做才好呢？在下一堂課將會繼續深入跟各位分享，該由誰來進行人工智慧的初步導入，也就是，企業應該如何建立第一支人工智慧團隊。</p>','台灣產業AI化的問題5〉導入人工智慧前，企業該做哪些準備？','','inherit','closed','closed','','10626-revision-v1','','','2020-01-31 17:07:31','2020-01-31 09:07:31','',10626,'https://aiacademy.tw/10626-revision-v1/',0,'revision','',0),(10634,11,'2020-01-31 17:08:32','2020-01-31 09:08:32','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業都想導入 AI 來解決現有的問題、創造價值。但是，幾乎毫無例外，在導入前，企業都會遇到四個難解的問題而卡關。是哪些問題？有辦法解決嗎？怎麼解決？</p>\r\n<blockquote><p><span class=\"em\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p></blockquote>\r\n<p>人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</p>\r\n<p>在前四堂課中，我們從人工智慧的基本概念談起，也檢視了大眾對於人工智慧常見的誤解與疑問。從這堂課開始，我們會更聚焦在產業AI化過程中，必須真實面對的具體挑戰。</p>\r\n<p>在這之前，想跟各位分享一個故事。2017年春天，我在中央研究院的院區裡與孔祥重院士碰面，他是一位極具專業素養與社會關懷的學者，一直憂心台灣已經40年沒有新的產業出現。我們都一致同意人工智慧是一波大好機會，若不把握的話，下一波產業創新機會不知道何時才會出現；也因此，我們一拍即合，決定一起以人工智慧來幫助台灣產業創新及升級。我們列出一個企業名單，從石化業開始，接著是電子業、工具機業、紡織業、半導體業及農業，一家一家聯絡拜訪。</p>\r\n<img src=\"/wp-content/uploads/2020/01/05-1.png\" alt=\"\" width=\"864\" height=\"677\" class=\"aligncenter size-full wp-image-10631\" />\r\n<p></p>\r\n<p>拜訪各個企業時，我們都會提出同樣的問題：「你們發展人工智慧時遇到的挑戰？」，以及「有沒有什麼是我們可以幫上忙的？」</p>\r\n<h2 class=\"writingsH2\"><strong>導入前企業遇到的四大挑戰</strong></h2>\r\n<p>幾乎沒有例外，<span class=\"blueP\">大家遇到的第一個挑戰就是缺乏人才，尤其是有經驗的人工智慧工程師。</p>\r\n<p><span class=\"blueP\">第二個挑戰是資料可用性，因為機器學習就是需要以資料做為原料，若資料沒有準備好，光有人才也沒有用。</span>但資料基礎建設並不是一夕之間就可以建立，若沒有在幾年前開始蒐集資料，也沒有實際驗證過資料的可用性，往往資料不夠全面完整，沒有足夠的條件以機器學習來解題。</p>\r\n<p><span class=\"blueP\">第三個挑戰是如何找到切入點。</span>工程師的視角通常比較關注在技術面，沒有整個企業或集團的全貌，因此，若只有工程師懂得人工智慧的內涵，雖然很容易找到「可用人工智慧來幫助」的問題，但很難找出對企業或集團來說最為優先關鍵，同時也是技術上可行的問題。正因如此，我認為企業中的經理人是否真正能掌握人工智慧的能力及極限，也是產業AI化很重要的一個關鍵。 </p>\r\n<p>產業所面對的<span class=\"blueP\">第四個常見挑戰是，台灣在機器學習領域超過十年經驗的人，幾乎統統都在學術界，</span>但是產業界與學術界中間，只有一條微弱的點對點產學合作形式做為連結，無法以足夠的速度及深度將學術界的專業知識及經驗，匯流到產業界的第一線實務工作上。</p>\r\n<p></p>\r\n<img src=\"/wp-content/uploads/2020/01/05-2.png\" alt=\"\" width=\"864\" height=\"641\" class=\"aligncenter size-full wp-image-10632\" />\r\n<p></p>\r\n<p>以上談到的四個挑戰，是我們要進行產業AI化的過程中，不論產業別及公司規模大小，幾乎都會遇到的共通挑戰。從今年開始，陸陸續續可以看到各界有不同的努力，希望來解決這些問題。例如，台灣人工智慧學校的技術領袖培訓班，希望能以系統化的方式，大量培訓人工智慧工程師，來解決「找不到人才」的問題；同時也開設經理人周末培訓班，讓經理人們也能一窺堂奧，瞭解機器學習的原理、強項及限制，能夠有評估人工智慧技術及問題可行性的能力。</p>\r\n<p>另一方面，要解決資料可用性的問題，就得按部就班地蒐集所有相關資料，確認資料的完整性及可信度，以及資料之間有沒有斷點，這當中完全沒有捷徑。最後，在產學連結之間，這一兩年來越來越多學者以兼任或借調的方式加入產業界，短期內，這也許是讓學術與實務結合最有效率的方式。</p>\r\n<h2 class=\"writingsH2\"><strong>人工智慧非萬能 只能解決特定問題</strong></h2>\r\n<p>除此之外，要知道當我們談「導入」人工智慧，與平常我們說「導入」某某技術或某某平台，同樣是「導入」兩個字，內涵其實差異不小。若對於人工智慧技術沒有正確的認知，力氣及資源放在不對的點上，要成功地擁抱人工智慧，可沒有那麼容易。</p>\r\n<p>癥結在於，人工智慧系統跟我們過去所熟悉的軟體系統不同。今天的人工智慧系統都是基於機器學習技術來開發，一旦開發出來，只能解決特定的問題。<span class=\"blueP\">同樣是機器學習模型，要解決什麼問題、能解決什麼問題、能解到什麼程度、產生多少價值，都與每家公司的商業模式、流程、部門分工、資料基礎建設及情境高度相關，多元性及客製化程度遠比導入ERP（企業資源規畫）或CRM（客戶關係管理）等系統高得太多，</span>也就是說，對於企業應用來說，人工智慧系統幾乎無法做成現成的套裝軟體，只要一個簡單的導入步驟就能大功告成。</p>\r\n<p>例如，<span class=\"blueP\">同樣是瑕疵的自動檢測技術，檢測電路板瑕疵、檢測紡織品瑕疵以及檢測玻璃瑕疵的系統無法直接套裝化。甚至，若以高標準來要求的話，同樣是檢測PCB電路板瑕疵的技術，也沒有辦法光是調整參數，就能直接在不同家同業公司中使用。</span>因此，未來的五年甚至更久的時間內，很難期待會有套裝系統可以直接購入及進行簡單客製化，符合各產業、各公司、各種問題的需求。</p>\r\n<h2 class=\"writingsH2\"><strong>有人才沒資料 再好的系統也無法運作</strong></h2>\r\n<p>另一個癥結點是，人工智慧系統並沒有辦法即插即用。原因是<span class=\"blueP\">機器學習必須要有大量資料來訓練，若公司裡原本並沒有蒐集某個想要解決的問題所需的資料，或資料蒐集的時間不夠長、資料的品質不夠好，那麼不管引入再好的系統也沒有用。</span></p>\r\n<p>例如，若想要進行未來半年某產品的銷量預測，我們必須先要有該產品及競品在過去至少三年或五年以上銷售量，以及相關的客戶訂單資料和各式環境及市場因素等資料。若是沒有把這些資料準備好，人工智慧系統就是不能動，就像是光有引擎，沒有油就沒有辦法發電的道理一樣。</p>\r\n<p>國內企業面對這波人工智慧浪潮的反應，嚴格說來不算慢，只是方向必須再更精準，不能再像過去流行的大數據一樣，把資源大多投注在資料平台上。很多公司在導入後突然發現，為什麼沒有出現傳說中神奇的效果？因為，所謂的大數據平台只是蒐集、承載、處理資料的系統，少了資料分析這一步，價值不會憑空出現。<span class=\"blueP\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p>\r\n<p>這就是我所說的，要導入人工智慧，企業首先要對這個技術有正確的認知，才知道施力點在哪裡，才知道預期的成效會在什麼地方以什麼形式出現。<span class=\"blueP\">沒有任何技術會是特效藥，可以解決任何企業的難題，包含人工智慧也是。</span></p>\r\n<p>有了正確的認知後，由誰來找到切入點及執行導入工作，也是一個大哉問。很多人以為人工智慧既然跟電腦有關，就應該是IT部門的工作，如果事情這麼簡單就好了。那麼，究竟該怎麼做才好呢？在下一堂課將會繼續深入跟各位分享，該由誰來進行人工智慧的初步導入，也就是，企業應該如何建立第一支人工智慧團隊。</p>','台灣產業AI化的問題5〉導入人工智慧前，企業該做哪些準備？','','inherit','closed','closed','','10626-revision-v1','','','2020-01-31 17:08:32','2020-01-31 09:08:32','',10626,'https://aiacademy.tw/10626-revision-v1/',0,'revision','',0),(10635,11,'2020-01-31 17:08:49','2020-01-31 09:08:49','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業都想導入 AI 來解決現有的問題、創造價值。但是，幾乎毫無例外，在導入前，企業都會遇到四個難解的問題而卡關。是哪些問題？有辦法解決嗎？怎麼解決？</p>\r\n<blockquote><p><span class=\"em\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p></blockquote>\r\n<p>人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</p>\r\n<p>在前四堂課中，我們從人工智慧的基本概念談起，也檢視了大眾對於人工智慧常見的誤解與疑問。從這堂課開始，我們會更聚焦在產業AI化過程中，必須真實面對的具體挑戰。</p>\r\n<p>在這之前，想跟各位分享一個故事。2017年春天，我在中央研究院的院區裡與孔祥重院士碰面，他是一位極具專業素養與社會關懷的學者，一直憂心台灣已經40年沒有新的產業出現。我們都一致同意人工智慧是一波大好機會，若不把握的話，下一波產業創新機會不知道何時才會出現；也因此，我們一拍即合，決定一起以人工智慧來幫助台灣產業創新及升級。我們列出一個企業名單，從石化業開始，接著是電子業、工具機業、紡織業、半導體業及農業，一家一家聯絡拜訪。</p>\r\n<img src=\"/wp-content/uploads/2020/01/05-1.png\" alt=\"\" width=\"864\" height=\"677\" class=\"aligncenter size-full wp-image-10631\" />\r\n<p></p>\r\n<p>拜訪各個企業時，我們都會提出同樣的問題：「你們發展人工智慧時遇到的挑戰？」，以及「有沒有什麼是我們可以幫上忙的？」</p>\r\n<h2 class=\"writingsH2\"><strong>導入前企業遇到的四大挑戰</strong></h2>\r\n<p>幾乎沒有例外，<span class=\"blueP\">大家遇到的第一個挑戰就是缺乏人才，尤其是有經驗的人工智慧工程師。</p>\r\n<p><span class=\"blueP\">第二個挑戰是資料可用性，因為機器學習就是需要以資料做為原料，若資料沒有準備好，光有人才也沒有用。</span>但資料基礎建設並不是一夕之間就可以建立，若沒有在幾年前開始蒐集資料，也沒有實際驗證過資料的可用性，往往資料不夠全面完整，沒有足夠的條件以機器學習來解題。</p>\r\n<p><span class=\"blueP\">第三個挑戰是如何找到切入點。</span>工程師的視角通常比較關注在技術面，沒有整個企業或集團的全貌，因此，若只有工程師懂得人工智慧的內涵，雖然很容易找到「可用人工智慧來幫助」的問題，但很難找出對企業或集團來說最為優先關鍵，同時也是技術上可行的問題。正因如此，我認為企業中的經理人是否真正能掌握人工智慧的能力及極限，也是產業AI化很重要的一個關鍵。 </p>\r\n<p>產業所面對的<span class=\"blueP\">第四個常見挑戰是，台灣在機器學習領域超過十年經驗的人，幾乎統統都在學術界，</span>但是產業界與學術界中間，只有一條微弱的點對點產學合作形式做為連結，無法以足夠的速度及深度將學術界的專業知識及經驗，匯流到產業界的第一線實務工作上。</p>\r\n<p></p>\r\n<img src=\"/wp-content/uploads/2020/01/05-2.png\" alt=\"\" width=\"864\" height=\"641\" class=\"aligncenter size-full wp-image-10632\" />\r\n<p></p>\r\n<p>以上談到的四個挑戰，是我們要進行產業AI化的過程中，不論產業別及公司規模大小，幾乎都會遇到的共通挑戰。從今年開始，陸陸續續可以看到各界有不同的努力，希望來解決這些問題。例如，台灣人工智慧學校的技術領袖培訓班，希望能以系統化的方式，大量培訓人工智慧工程師，來解決「找不到人才」的問題；同時也開設經理人周末培訓班，讓經理人們也能一窺堂奧，瞭解機器學習的原理、強項及限制，能夠有評估人工智慧技術及問題可行性的能力。</p>\r\n<p>另一方面，要解決資料可用性的問題，就得按部就班地蒐集所有相關資料，確認資料的完整性及可信度，以及資料之間有沒有斷點，這當中完全沒有捷徑。最後，在產學連結之間，這一兩年來越來越多學者以兼任或借調的方式加入產業界，短期內，這也許是讓學術與實務結合最有效率的方式。</p>\r\n<h2 class=\"writingsH2\"><strong>人工智慧非萬能 只能解決特定問題</strong></h2>\r\n<p>除此之外，要知道當我們談「導入」人工智慧，與平常我們說「導入」某某技術或某某平台，同樣是「導入」兩個字，內涵其實差異不小。若對於人工智慧技術沒有正確的認知，力氣及資源放在不對的點上，要成功地擁抱人工智慧，可沒有那麼容易。</p>\r\n<p>癥結在於，人工智慧系統跟我們過去所熟悉的軟體系統不同。今天的人工智慧系統都是基於機器學習技術來開發，一旦開發出來，只能解決特定的問題。<span class=\"blueP\">同樣是機器學習模型，要解決什麼問題、能解決什麼問題、能解到什麼程度、產生多少價值，都與每家公司的商業模式、流程、部門分工、資料基礎建設及情境高度相關，多元性及客製化程度遠比導入ERP（企業資源規畫）或CRM（客戶關係管理）等系統高得太多，</span>也就是說，對於企業應用來說，人工智慧系統幾乎無法做成現成的套裝軟體，只要一個簡單的導入步驟就能大功告成。</p>\r\n<p>例如，<span class=\"blueP\">同樣是瑕疵的自動檢測技術，檢測電路板瑕疵、檢測紡織品瑕疵以及檢測玻璃瑕疵的系統無法直接套裝化。甚至，若以高標準來要求的話，同樣是檢測PCB電路板瑕疵的技術，也沒有辦法光是調整參數，就能直接在不同家同業公司中使用。</span>因此，未來的五年甚至更久的時間內，很難期待會有套裝系統可以直接購入及進行簡單客製化，符合各產業、各公司、各種問題的需求。</p>\r\n<h2 class=\"writingsH2\"><strong>有人才沒資料 再好的系統也無法運作</strong></h2>\r\n<p>另一個癥結點是，人工智慧系統並沒有辦法即插即用。原因是<span class=\"blueP\">機器學習必須要有大量資料來訓練，若公司裡原本並沒有蒐集某個想要解決的問題所需的資料，或資料蒐集的時間不夠長、資料的品質不夠好，那麼不管引入再好的系統也沒有用。</span></p>\r\n<p>例如，若想要進行未來半年某產品的銷量預測，我們必須先要有該產品及競品在過去至少三年或五年以上銷售量，以及相關的客戶訂單資料和各式環境及市場因素等資料。若是沒有把這些資料準備好，人工智慧系統就是不能動，就像是光有引擎，沒有油就沒有辦法發電的道理一樣。</p>\r\n<p>國內企業面對這波人工智慧浪潮的反應，嚴格說來不算慢，只是方向必須再更精準，不能再像過去流行的大數據一樣，把資源大多投注在資料平台上。很多公司在導入後突然發現，為什麼沒有出現傳說中神奇的效果？因為，所謂的大數據平台只是蒐集、承載、處理資料的系統，少了資料分析這一步，價值不會憑空出現。<span class=\"blueP\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p>\r\n<p>這就是我所說的，要導入人工智慧，企業首先要對這個技術有正確的認知，才知道施力點在哪裡，才知道預期的成效會在什麼地方以什麼形式出現。<span class=\"blueP\">沒有任何技術會是特效藥，可以解決任何企業的難題，包含人工智慧也是。</span></p>\r\n<p>有了正確的認知後，由誰來找到切入點及執行導入工作，也是一個大哉問。很多人以為人工智慧既然跟電腦有關，就應該是IT部門的工作，如果事情這麼簡單就好了。那麼，究竟該怎麼做才好呢？在下一堂課將會繼續深入跟各位分享，該由誰來進行人工智慧的初步導入，也就是，企業應該如何建立第一支人工智慧團隊。</p>','台灣產業AI化的問題5〉導入人工智慧前，企業該做哪些準備？','','inherit','closed','closed','','10626-revision-v1','','','2020-01-31 17:08:49','2020-01-31 09:08:49','',10626,'https://aiacademy.tw/10626-revision-v1/',0,'revision','',0),(10636,11,'2020-01-31 17:12:57','2020-01-31 09:12:57','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業發展 AI，為什麼需要建立自己的團隊？為什麼資料科學家會被《哈佛商業評論》稱為 21 世紀最有吸引力的工作？企業要如何讓 AI 團隊發揮最大能量，加速公司的成長？</p>\r\n<blockquote><p><span class=\"em\">與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。</span></p></blockquote>\r\n<p>在前幾堂課，我們談到導入人工智慧前企業應有的準備，包括要有正確的認知，要有資料基礎建設，確認導入的問題標的及 KPI，接下來的關鍵步驟就在，誰來進行人工智慧的初步導入；換句話說，企業中的第一個人工智慧團隊該如何組成。</p>\r\n<p>通常<span class=\"blueP\">人工智慧團隊的核心成員有資料科學家、資料工程師及機器學習工程師三種專家。我們可以各用一句話來描述他們的特長，資料科學家擅長連結資料與商業價值，資料工程師擅長蒐集及處理資料，機器學習工程師擅長演算法，從資料裡頭榨取出最多的資訊，讓人工智慧系統的決策更精準。</span>當然也有人可以身兼多種職務，團隊成員可多可少，初期若有資源疑慮，也可以先從兩、三個成員開始，先求有，再求好。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-1.png\" alt=\"\" width=\"864\" height=\"487\" class=\"aligncenter size-full wp-image-10641\" />\r\n<p></p>\r\n<p>在這三種職位中，又以資料科學家這種職稱最廣為人知，因此我最常被問到的問題是，什麼是資料科學家？資料科學家必須具備哪些能力？是不是資訊背景出身的人，才能擔任資料科學家？</p>\r\n<h2 class=\"writingsH2\"><strong>資料科學家應該具備的能力</strong></h2>\r\n<p>以定義而言，<span class=\"blueP\">資料科學家就是能夠處理、分析資料，讓資料能夠為企業產生商業價值的專業工作者。</span>在技術面上，資料科學家必須在資訊、統計、企業業務範圍等三種領域都有一定的造詣，他們不一定非要資訊背景出身，無論是資工、電機等工程背景，數學、統計、經濟等數理背景，或其他與產業專業相關的科系。只要對該產業有一定的商業知識及嗅覺，並有一定的程式及資料分析能力，都有機會成為炙手可熱的資料科學家。</p>\r\n<p>要強調的是，資料科學家的專業能力中，程式及資料分析能力當然有其門檻，但更難得的是商業敏感度，可以嗅得出商業上的潛在威脅、挑戰與機會。商業敏感度不會憑空出現，想成為一位稱職的資料科學家，不只要在資料科學精益求精，更需要常和業務前線的人在一起，不只是一起開會，最好還要一起喝茶、吃飯，藉此了解企業與客戶的互動，還有客戶的需求及痛點，回頭面對數據時，更能找出隱藏在其中的商機。</p>\r\n<p>這也能解釋為什麼，<span class=\"blueP\">我們對資料科學家的人格特質也有一定的期待，除了細心與溝通能力之外，最好還有一定的創意。</span>細心是因為資料科學家是解讀資料的人，解讀錯誤將會造成災難；溝通能力是因為資料科學家有大半的時間都在與蒐集資料的人、保管資料的人、能夠解讀資料的人、做業務決策的人以及將被流程改善影響的人做溝通，擅長溝通才能夠事半功倍。</p>\r\n<p>那為什麼資料科學家需要創意？因為有創意的人才懂得在企業流程常規中，提出一般人所不疑的疑點。資料分析不是魔術，無法直接告訴我們問題所在，必須要有人先透過觀察找出潛在的問題，才能以資料來證明問題所在，再來用機器學習改善問題。第一個步驟總是由人來提出問題，因此，<span class=\"blueP\">最高明的資料科學家必須能在「不疑處有疑」，不會把常規的企業或商業流程視為理所當然，而能夠在理所當然之中提出大膽假設，並以資料分析小心求證。</span></p>\r\n<h2 class=\"writingsH2\"><strong>企業內部建立 AI 團隊的必要</strong></h2>\r\n<p>談到這裡，可能有些聽眾開始懷疑：想喝牛奶真的需要養一頭牛嗎？難道我們不能夠直接導入既有的套裝軟體或者聘請顧問公司就好？在上一堂課，我們已經談過，以今天的人工智慧技術來說，並沒有即插即用的套裝軟體，通常需要大量的客製化工作。即使自行開發，系統及流程整合的工作往往也無法避免，<span class=\"blueP\">因此我們這裡所談的人工智慧團隊並不見得一定要做系統開發，而是熟悉企業業務、流程、資料、及目標，能夠確認切入點的合理性及資料可用性，能夠與內外部團隊協同合作，並擔任產品及績效管理的專業團隊。</span></p>\r\n<p>就產業 AI 化來說，我們不見得需要最先進的人工智慧技術，經常可以就既有的技術來解決企業本身的問題。因為要解決的問題、領域知識以及資料，都在自己家裡，因此，<span class=\"blueP\">若能培養自己的人工智慧團隊，不論接下來系統要自建或是外包、外購，才能有足夠的掌握度來確認目標及進程，並且做實質的績效管理。</span></p>\r\n<p>下一步，就是很多企業頭痛的問題了，這些專業的資料科學家、資料工程師及機器學習工程師該去哪裡尋找？</p>\r\n<h2 class=\"writingsH2\"><strong>善用人工智慧民主化趨勢</strong></h2>\r\n<p>坦白說，因為機器學習技術進展神速，只要從學校畢業超過兩年，不可能在學校中學過最先進的機器學習及深度學習技術，因此很難在市場上找到厲害且富經驗的人工智慧人才，就算要挖角也無從挖起。這個現象不只是在台灣，全球各大企業都同樣在想盡辦法尋求有經驗的人工智慧高手加入。</p>\r\n<p>幸運的是，這一波，也是人類歷史上第三波的人工智慧浪潮，伴隨著一個我們稱為「人工智慧民主化」的趨勢，其中最重要的概念是，人工智慧技術不應該只被某些跨國企業所壟斷，應該讓所有需要的人都有機會參與及使用。具體的作法包含各種機器學習開發工具及模型的開放源碼，以及各式最新核心技術的分享等等。</p>\r\n<p>因此，我的建議是，趁著這一波人工智慧民主化的趨勢，與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。台灣人工智慧學校以及為數不少的線上教學平台，都提供人工智慧的訓練課程，但要記得這一波的人工智慧技術以工程為主，理論為輔；因此，在教育訓練一定要包含大量的實作課程，才能夠訓練出有實戰能力的部隊。</p>\r\n<h2 class=\"writingsH2\"><strong>讓AI團隊完全展現能量的 3 大關鍵</strong></h2>\r\n<p>當人工智慧團隊建立起來後，企業仍然有許多資源、組織面及文化面的支持工作要進行，才能讓團隊全力展現能量。<span class=\"blueP\">最基本的第一步是，要有足夠的軟硬體來支持機器學習程式的運行。</span>全球的人工智慧發展目前走到軍備競賽的地步，若是同一個題目，同業花一小時可以訓練出一個機器學習模型，但內部團隊因為計算設備不足必須花十小時才能做到同一件事，那麼，同樣的時間內，同業可以嘗試十種不同的參數組合，我們只能嘗試一種。除非天縱英明，不然在大多數情況下，我們的演算法表現就是會比別人差一截。</p>\r\n<p><span class=\"blueP\">第二點，要讓他們能夠取得所有該取得的資料。</span>這聽起來很荒謬，但我認識不少人工智慧團隊的工作瓶頸，是無法取得自己公司裡頭的資料，可能原因很多，包含企業尚未認清資料是企業資產，而非各部門擁兵自重的資產，因此形成我們所謂的「資料孤島」或「資料穀倉」。要解決這類型的問題唯有企業主將企業資料治理視為重點策略，並且投注長期的支持。</p>\r\n<p><span class=\"blueP\">第三點，建立容許實驗的文化。</span>我們都知道高報酬的投資必然有風險，但是十分弔詭的是，在很多企業中，專案只許成功，不許失敗，人工智慧這樣尚未成熟的技術在不許犯錯的企業文化中要好好發展尤其困難。</p>\r\n<p>對人工智慧技術發展熟悉的聽眾應該都知道 Google Brain 這個團隊，在此團隊中，工程師被鼓勵進行高報酬、高風險的研究，他們的KPI不與失敗綁定，只與最終效益有關。即使某位成員的實驗老是失敗，最糟狀況就是無法加薪。但對於高階的管理者來說，若不進行高報酬也伴隨高風險的計畫並取得成功，是很難再繼續晉升的。對於資料分析及人工智慧團隊來說，他們需要一個容許嘗試錯誤、以最終產出為依歸的環境，才能嘗試不同的可能，針對不同的問題找到有效的解法。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-2.png\" alt=\"\" width=\"864\" height=\"650\" class=\"aligncenter size-full wp-image-10643\" />\r\n<p></P>\r\n<p>說到這裡，我們來總結今天的課程，發展人工智慧的要素有四：人才、資料，演算法及運算能力。人才與資料是重中之重，往往是決勝的關鍵。演算法因為人工智慧民主化的趨勢，全球的水平雖然有差異，但若以產業AI化，尤其是企業內部運用而言，差異不會太大；而運算能力是純粹的硬體投資，取得相對最容易。</p>\r\n<p>因此，已經打造流程自動化及資料基礎建設的企業，應該要把握這個機會及時間點，儘早在公司內部打造人工智慧團隊，開始探索人工智慧的可用之處。團隊再小也沒關係，重點是儘早將問題定義清楚，建立好資料蒐集機制，納入企業日常運作中，以開放源碼工具儘早驗證資料的可用性，以及人工智慧可能帶來的價值，才能將自己準備好，日後不論是建立正規部隊或是導入外部系統，都能讓人工智慧為企業產生最大價值。</p>\r\n<p>下一堂課，會開始與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，第一個案例是擔負台灣經濟命脈的製造業。</p>\r\n','The Issue of Taiwan\'s Industrial AI Series(6):Build the first AI team? Let’s start!','','publish','closed','open','','start-like-this','','','2021-06-07 17:53:54','2021-06-07 09:53:54','',0,'https://aiacademy.tw/?p=10636',145,'post','',0),(10637,11,'2020-01-31 17:13:40','2020-01-31 09:13:40','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業都想導入 AI 來解決現有的問題、創造價值。但是，幾乎毫無例外，在導入前，企業都會遇到四個難解的問題而卡關。是哪些問題？有辦法解決嗎？怎麼解決？</p>\r\n<blockquote><p><span class=\"em\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p></blockquote>\r\n<p>人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</p>\r\n<p>在前四堂課中，我們從人工智慧的基本概念談起，也檢視了大眾對於人工智慧常見的誤解與疑問。從這堂課開始，我們會更聚焦在產業AI化過程中，必須真實面對的具體挑戰。</p>\r\n<p>在這之前，想跟各位分享一個故事。2017年春天，我在中央研究院的院區裡與孔祥重院士碰面，他是一位極具專業素養與社會關懷的學者，一直憂心台灣已經40年沒有新的產業出現。我們都一致同意人工智慧是一波大好機會，若不把握的話，下一波產業創新機會不知道何時才會出現；也因此，我們一拍即合，決定一起以人工智慧來幫助台灣產業創新及升級。我們列出一個企業名單，從石化業開始，接著是電子業、工具機業、紡織業、半導體業及農業，一家一家聯絡拜訪。</p>\r\n<img src=\"/wp-content/uploads/2020/01/05-1.png\" alt=\"\" width=\"864\" height=\"677\" class=\"aligncenter size-full wp-image-10631\" />\r\n<p></p>\r\n<p>拜訪各個企業時，我們都會提出同樣的問題：「你們發展人工智慧時遇到的挑戰？」，以及「有沒有什麼是我們可以幫上忙的？」</p>\r\n<h2 class=\"writingsH2\"><strong>導入前企業遇到的四大挑戰</strong></h2>\r\n<p>幾乎沒有例外，<span class=\"blueP\">大家遇到的第一個挑戰就是缺乏人才，尤其是有經驗的人工智慧工程師。</p>\r\n<p><span class=\"blueP\">第二個挑戰是資料可用性，因為機器學習就是需要以資料做為原料，若資料沒有準備好，光有人才也沒有用。</span>但資料基礎建設並不是一夕之間就可以建立，若沒有在幾年前開始蒐集資料，也沒有實際驗證過資料的可用性，往往資料不夠全面完整，沒有足夠的條件以機器學習來解題。</p>\r\n<p><span class=\"blueP\">第三個挑戰是如何找到切入點。</span>工程師的視角通常比較關注在技術面，沒有整個企業或集團的全貌，因此，若只有工程師懂得人工智慧的內涵，雖然很容易找到「可用人工智慧來幫助」的問題，但很難找出對企業或集團來說最為優先關鍵，同時也是技術上可行的問題。正因如此，我認為企業中的經理人是否真正能掌握人工智慧的能力及極限，也是產業AI化很重要的一個關鍵。 </p>\r\n<p>產業所面對的<span class=\"blueP\">第四個常見挑戰是，台灣在機器學習領域超過十年經驗的人，幾乎統統都在學術界，</span>但是產業界與學術界中間，只有一條微弱的點對點產學合作形式做為連結，無法以足夠的速度及深度將學術界的專業知識及經驗，匯流到產業界的第一線實務工作上。</p>\r\n<p></p>\r\n<img src=\"/wp-content/uploads/2020/01/05-2.png\" alt=\"\" width=\"864\" height=\"641\" class=\"aligncenter size-full wp-image-10632\" />\r\n<p></p>\r\n<p>以上談到的四個挑戰，是我們要進行產業AI化的過程中，不論產業別及公司規模大小，幾乎都會遇到的共通挑戰。從今年開始，陸陸續續可以看到各界有不同的努力，希望來解決這些問題。例如，台灣人工智慧學校的技術領袖培訓班，希望能以系統化的方式，大量培訓人工智慧工程師，來解決「找不到人才」的問題；同時也開設經理人周末培訓班，讓經理人們也能一窺堂奧，瞭解機器學習的原理、強項及限制，能夠有評估人工智慧技術及問題可行性的能力。</p>\r\n<p>另一方面，要解決資料可用性的問題，就得按部就班地蒐集所有相關資料，確認資料的完整性及可信度，以及資料之間有沒有斷點，這當中完全沒有捷徑。最後，在產學連結之間，這一兩年來越來越多學者以兼任或借調的方式加入產業界，短期內，這也許是讓學術與實務結合最有效率的方式。</p>\r\n<h2 class=\"writingsH2\"><strong>人工智慧非萬能 只能解決特定問題</strong></h2>\r\n<p>除此之外，要知道當我們談「導入」人工智慧，與平常我們說「導入」某某技術或某某平台，同樣是「導入」兩個字，內涵其實差異不小。若對於人工智慧技術沒有正確的認知，力氣及資源放在不對的點上，要成功地擁抱人工智慧，可沒有那麼容易。</p>\r\n<p>癥結在於，人工智慧系統跟我們過去所熟悉的軟體系統不同。今天的人工智慧系統都是基於機器學習技術來開發，一旦開發出來，只能解決特定的問題。<span class=\"blueP\">同樣是機器學習模型，要解決什麼問題、能解決什麼問題、能解到什麼程度、產生多少價值，都與每家公司的商業模式、流程、部門分工、資料基礎建設及情境高度相關，多元性及客製化程度遠比導入ERP（企業資源規畫）或CRM（客戶關係管理）等系統高得太多，</span>也就是說，對於企業應用來說，人工智慧系統幾乎無法做成現成的套裝軟體，只要一個簡單的導入步驟就能大功告成。</p>\r\n<p>例如，<span class=\"blueP\">同樣是瑕疵的自動檢測技術，檢測電路板瑕疵、檢測紡織品瑕疵以及檢測玻璃瑕疵的系統無法直接套裝化。甚至，若以高標準來要求的話，同樣是檢測PCB電路板瑕疵的技術，也沒有辦法光是調整參數，就能直接在不同家同業公司中使用。</span>因此，未來的五年甚至更久的時間內，很難期待會有套裝系統可以直接購入及進行簡單客製化，符合各產業、各公司、各種問題的需求。</p>\r\n<h2 class=\"writingsH2\"><strong>有人才沒資料 再好的系統也無法運作</strong></h2>\r\n<p>另一個癥結點是，人工智慧系統並沒有辦法即插即用。原因是<span class=\"blueP\">機器學習必須要有大量資料來訓練，若公司裡原本並沒有蒐集某個想要解決的問題所需的資料，或資料蒐集的時間不夠長、資料的品質不夠好，那麼不管引入再好的系統也沒有用。</span></p>\r\n<p>例如，若想要進行未來半年某產品的銷量預測，我們必須先要有該產品及競品在過去至少三年或五年以上銷售量，以及相關的客戶訂單資料和各式環境及市場因素等資料。若是沒有把這些資料準備好，人工智慧系統就是不能動，就像是光有引擎，沒有油就沒有辦法發電的道理一樣。</p>\r\n<p>國內企業面對這波人工智慧浪潮的反應，嚴格說來不算慢，只是方向必須再更精準，不能再像過去流行的大數據一樣，把資源大多投注在資料平台上。很多公司在導入後突然發現，為什麼沒有出現傳說中神奇的效果？因為，所謂的大數據平台只是蒐集、承載、處理資料的系統，少了資料分析這一步，價值不會憑空出現。<span class=\"blueP\">人工智慧不是魔術，它可以說是大數據分析的最終應用，但仍然只是一個工具。而所有的工具，都要有清楚的目的，以及能夠用得對、用得巧的人，才能產生價值。</span></p>\r\n<p>這就是我所說的，要導入人工智慧，企業首先要對這個技術有正確的認知，才知道施力點在哪裡，才知道預期的成效會在什麼地方以什麼形式出現。<span class=\"blueP\">沒有任何技術會是特效藥，可以解決任何企業的難題，包含人工智慧也是。</span></p>\r\n<p>有了正確的認知後，由誰來找到切入點及執行導入工作，也是一個大哉問。很多人以為人工智慧既然跟電腦有關，就應該是IT部門的工作，如果事情這麼簡單就好了。那麼，究竟該怎麼做才好呢？在下一堂課將會繼續深入跟各位分享，該由誰來進行人工智慧的初步導入，也就是，企業應該如何建立第一支人工智慧團隊。</p>','台灣產業AI化的問題6〉打造第一支人工智慧團隊？這麼開始！','','inherit','closed','closed','','10636-revision-v1','','','2020-01-31 17:13:40','2020-01-31 09:13:40','',10636,'https://aiacademy.tw/10636-revision-v1/',0,'revision','',0),(10640,11,'2020-01-31 17:29:44','2020-01-31 09:29:44','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業發展AI，為什麼需要建立自己的團隊？為什麼資料科學家會被《哈佛商業評論》稱為21世紀最有吸引力的工作？企業要如何讓AI團隊發揮最大能量，加速公司的成長？</p>\r\n<blockquote><p><span class=\"em\">與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。</span></p></blockquote>\r\n<p>在前幾堂課，我們談到導入人工智慧前企業應有的準備，包括要有正確的認知，要有資料基礎建設，確認導入的問題標的及KPI，接下來的關鍵步驟就在，誰來進行人工智慧的初步導入；換句話說，企業中的第一個人工智慧團隊該如何組成。</p>\r\n<p>通常<span class=\"blueP\">人工智慧團隊的核心成員有資料科學家、資料工程師及機器學習工程師三種專家。我們可以各用一句話來描述他們的特長，資料科學家擅長連結資料與商業價值，資料工程師擅長蒐集及處理資料，機器學習工程師擅長演算法，從資料裡頭榨取出最多的資訊，讓人工智慧系統的決策更精準。</span>當然也有人可以身兼多種職務，團隊成員可多可少，初期若有資源疑慮，也可以先從兩、三個成員開始，先求有，再求好。</p>\r\n<img src=\"06-1\" alt=\"\">\r\n<p></p>\r\n<p>在這三種職位中，又以資料科學家這種職稱最廣為人知，因此我最常被問到的問題是，什麼是資料科學家？資料科學家必須具備哪些能力？是不是資訊背景出身的人，才能擔任資料科學家？</p>\r\n<h2 class=\"writingsH2\"><strong>資料科學家應該具備的能力</strong></h2>\r\n<p>以定義而言，<span class=\"blueP\">資料科學家就是能夠處理、分析資料，讓資料能夠為企業產生商業價值的專業工作者。</span>在技術面上，資料科學家必須在資訊、統計、企業業務範圍等三種領域都有一定的造詣，他們不一定非要資訊背景出身，無論是資工、電機等工程背景，數學、統計、經濟等數理背景，或其他與產業專業相關的科系。只要對該產業有一定的商業知識及嗅覺，並有一定的程式及資料分析能力，都有機會成為炙手可熱的資料科學家。</p>\r\n<p>要強調的是，資料科學家的專業能力中，程式及資料分析能力當然有其門檻，但更難得的是商業敏感度，可以嗅得出商業上的潛在威脅、挑戰與機會。商業敏感度不會憑空出現，想成為一位稱職的資料科學家，不只要在資料科學精益求精，更需要常和業務前線的人在一起，不只是一起開會，最好還要一起喝茶、吃飯，藉此了解企業與客戶的互動，還有客戶的需求及痛點，回頭面對數據時，更能找出隱藏在其中的商機。</p>\r\n<p>這也能解釋為什麼，<span class=\"blueP\">我們對資料科學家的人格特質也有一定的期待，除了細心與溝通能力之外，最好還有一定的創意。</span>細心是因為資料科學家是解讀資料的人，解讀錯誤將會造成災難；溝通能力是因為資料科學家有大半的時間都在與蒐集資料的人、保管資料的人、能夠解讀資料的人、做業務決策的人以及將被流程改善影響的人做溝通，擅長溝通才能夠事半功倍。</p>\r\n<p>那為什麼資料科學家需要創意？因為有創意的人才懂得在企業流程常規中，提出一般人所不疑的疑點。資料分析不是魔術，無法直接告訴我們問題所在，必須要有人先透過觀察找出潛在的問題，才能以資料來證明問題所在，再來用機器學習改善問題。第一個步驟總是由人來提出問題，因此，<span class=\"blueP\">最高明的資料科學家必須能在「不疑處有疑」，不會把常規的企業或商業流程視為理所當然，而能夠在理所當然之中提出大膽假設，並以資料分析小心求證。</span></p>\r\n<h2 class=\"writingsH2\"><strong>企業內部建立AI團隊的必要</strong></h2>\r\n<p>談到這裡，可能有些聽眾開始懷疑：想喝牛奶真的需要養一頭牛嗎？難道我們不能夠直接導入既有的套裝軟體或者聘請顧問公司就好？在上一堂課，我們已經談過，以今天的人工智慧技術來說，並沒有即插即用的套裝軟體，通常需要大量的客製化工作。即使自行開發，系統及流程整合的工作往往也無法避免，<span class=\"blueP\">因此我們這裡所談的人工智慧團隊並不見得一定要做系統開發，而是熟悉企業業務、流程、資料、及目標，能夠確認切入點的合理性及資料可用性，能夠與內外部團隊協同合作，並擔任產品及績效管理的專業團隊。</span></p>\r\n<p>就產業AI化來說，我們不見得需要最先進的人工智慧技術，經常可以就既有的技術來解決企業本身的問題。因為要解決的問題、領域知識以及資料，都在自己家裡，因此，<span class=\"blueP\">若能培養自己的人工智慧團隊，不論接下來系統要自建或是外包、外購，才能有足夠的掌握度來確認目標及進程，並且做實質的績效管理。</span></p>\r\n<p>下一步，就是很多企業頭痛的問題了，這些專業的資料科學家、資料工程師及機器學習工程師該去哪裡尋找？</p>\r\n<h2 class=\"writingsH2\"><strong>善用人工智慧民主化趨勢</strong></h2>\r\n<p>坦白說，因為機器學習技術進展神速，只要從學校畢業超過兩年，不可能在學校中學過最先進的機器學習及深度學習技術，因此很難在市場上找到厲害且富經驗的人工智慧人才，就算要挖角也無從挖起。這個現象不只是在台灣，全球各大企業都同樣在想盡辦法尋求有經驗的人工智慧高手加入。</p>\r\n<p>幸運的是，這一波，也是人類歷史上第三波的人工智慧浪潮，伴隨著一個我們稱為「人工智慧民主化」的趨勢，其中最重要的概念是，人工智慧技術不應該只被某些跨國企業所壟斷，應該讓所有需要的人都有機會參與及使用。具體的作法包含各種機器學習開發工具及模型的開放源碼，以及各式最新核心技術的分享等等。</p>\r\n<p>因此，我的建議是，趁著這一波人工智慧民主化的趨勢，與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。台灣人工智慧學校以及為數不少的線上教學平台，都提供人工智慧的訓練課程，但要記得這一波的人工智慧技術以工程為主，理論為輔；因此，在教育訓練一定要包含大量的實作課程，才能夠訓練出有實戰能力的部隊。</p>\r\n<h2 class=\"writingsH2\"><strong>讓AI團隊完全展現能量的 3 大關鍵</strong></h2>\r\n<p>當人工智慧團隊建立起來後，企業仍然有許多資源、組織面及文化面的支持工作要進行，才能讓團隊全力展現能量。<span class=\"blueP\">最基本的第一步是，要有足夠的軟硬體來支持機器學習程式的運行。</span>全球的人工智慧發展目前走到軍備競賽的地步，若是同一個題目，同業花一小時可以訓練出一個機器學習模型，但內部團隊因為計算設備不足必須花十小時才能做到同一件事，那麼，同樣的時間內，同業可以嘗試十種不同的參數組合，我們只能嘗試一種。除非天縱英明，不然在大多數情況下，我們的演算法表現就是會比別人差一截。</p>\r\n<p><span class=\"blueP\">第二點，要讓他們能夠取得所有該取得的資料。</span>這聽起來很荒謬，但我認識不少人工智慧團隊的工作瓶頸，是無法取得自己公司裡頭的資料，可能原因很多，包含企業尚未認清資料是企業資產，而非各部門擁兵自重的資產，因此形成我們所謂的「資料孤島」或「資料穀倉」。要解決這類型的問題唯有企業主將企業資料治理視為重點策略，並且投注長期的支持。</p>\r\n<p><span class=\"blueP\">第三點，建立容許實驗的文化。</span>我們都知道高報酬的投資必然有風險，但是十分弔詭的是，在很多企業中，專案只許成功，不許失敗，人工智慧這樣尚未成熟的技術在不許犯錯的企業文化中要好好發展尤其困難。</p>\r\n<p>對人工智慧技術發展熟悉的聽眾應該都知道 Google Brain 這個團隊，在此團隊中，工程師被鼓勵進行高報酬、高風險的研究，他們的KPI不與失敗綁定，只與最終效益有關。即使某位成員的實驗老是失敗，最糟狀況就是無法加薪。但對於高階的管理者來說，若不進行高報酬也伴隨高風險的計畫並取得成功，是很難再繼續晉升的。對於資料分析及人工智慧團隊來說，他們需要一個容許嘗試錯誤、以最終產出為依歸的環境，才能嘗試不同的可能，針對不同的問題找到有效的解法。</p>\r\n<img src=\"06-2\" alt=\"\">\r\n<p>說到這裡，我們來總結今天的課程，發展人工智慧的要素有四：人才、資料，演算法及運算能力。人才與資料是重中之重，往往是決勝的關鍵。演算法因為人工智慧民主化的趨勢，全球的水平雖然有差異，但若以產業AI化，尤其是企業內部運用而言，差異不會太大；而運算能力是純粹的硬體投資，取得相對最容易。</p>\r\n<p>因此，已經打造流程自動化及資料基礎建設的企業，應該要把握這個機會及時間點，儘早在公司內部打造人工智慧團隊，開始探索人工智慧的可用之處。團隊再小也沒關係，重點是儘早將問題定義清楚，建立好資料蒐集機制，納入企業日常運作中，以開放源碼工具儘早驗證資料的可用性，以及人工智慧可能帶來的價值，才能將自己準備好，日後不論是建立正規部隊或是導入外部系統，都能讓人工智慧為企業產生最大價值。</p>\r\n<p>下一堂課，會開始與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，第一個案例是擔負台灣經濟命脈的製造業。</p>\r\n','台灣產業AI化的問題6〉打造第一支人工智慧團隊？這麼開始！','','inherit','closed','closed','','10636-revision-v1','','','2020-01-31 17:29:44','2020-01-31 09:29:44','',10636,'https://aiacademy.tw/10636-revision-v1/',0,'revision','',0),(10641,11,'2020-01-31 17:31:09','2020-01-31 09:31:09','','06-1','','inherit','closed','closed','','06-1','','','2020-01-31 17:31:09','2020-01-31 09:31:09','',10636,'https://aiacademy.tw/wp-content/uploads/2020/01/06-1.png',0,'attachment','image/png',0),(10642,11,'2020-01-31 17:31:40','2020-01-31 09:31:40','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業發展AI，為什麼需要建立自己的團隊？為什麼資料科學家會被《哈佛商業評論》稱為21世紀最有吸引力的工作？企業要如何讓AI團隊發揮最大能量，加速公司的成長？</p>\r\n<blockquote><p><span class=\"em\">與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。</span></p></blockquote>\r\n<p>在前幾堂課，我們談到導入人工智慧前企業應有的準備，包括要有正確的認知，要有資料基礎建設，確認導入的問題標的及KPI，接下來的關鍵步驟就在，誰來進行人工智慧的初步導入；換句話說，企業中的第一個人工智慧團隊該如何組成。</p>\r\n<p>通常<span class=\"blueP\">人工智慧團隊的核心成員有資料科學家、資料工程師及機器學習工程師三種專家。我們可以各用一句話來描述他們的特長，資料科學家擅長連結資料與商業價值，資料工程師擅長蒐集及處理資料，機器學習工程師擅長演算法，從資料裡頭榨取出最多的資訊，讓人工智慧系統的決策更精準。</span>當然也有人可以身兼多種職務，團隊成員可多可少，初期若有資源疑慮，也可以先從兩、三個成員開始，先求有，再求好。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-1.png\" alt=\"\" width=\"864\" height=\"487\" class=\"aligncenter size-full wp-image-10641\" />\r\n<p></p>\r\n<p>在這三種職位中，又以資料科學家這種職稱最廣為人知，因此我最常被問到的問題是，什麼是資料科學家？資料科學家必須具備哪些能力？是不是資訊背景出身的人，才能擔任資料科學家？</p>\r\n<h2 class=\"writingsH2\"><strong>資料科學家應該具備的能力</strong></h2>\r\n<p>以定義而言，<span class=\"blueP\">資料科學家就是能夠處理、分析資料，讓資料能夠為企業產生商業價值的專業工作者。</span>在技術面上，資料科學家必須在資訊、統計、企業業務範圍等三種領域都有一定的造詣，他們不一定非要資訊背景出身，無論是資工、電機等工程背景，數學、統計、經濟等數理背景，或其他與產業專業相關的科系。只要對該產業有一定的商業知識及嗅覺，並有一定的程式及資料分析能力，都有機會成為炙手可熱的資料科學家。</p>\r\n<p>要強調的是，資料科學家的專業能力中，程式及資料分析能力當然有其門檻，但更難得的是商業敏感度，可以嗅得出商業上的潛在威脅、挑戰與機會。商業敏感度不會憑空出現，想成為一位稱職的資料科學家，不只要在資料科學精益求精，更需要常和業務前線的人在一起，不只是一起開會，最好還要一起喝茶、吃飯，藉此了解企業與客戶的互動，還有客戶的需求及痛點，回頭面對數據時，更能找出隱藏在其中的商機。</p>\r\n<p>這也能解釋為什麼，<span class=\"blueP\">我們對資料科學家的人格特質也有一定的期待，除了細心與溝通能力之外，最好還有一定的創意。</span>細心是因為資料科學家是解讀資料的人，解讀錯誤將會造成災難；溝通能力是因為資料科學家有大半的時間都在與蒐集資料的人、保管資料的人、能夠解讀資料的人、做業務決策的人以及將被流程改善影響的人做溝通，擅長溝通才能夠事半功倍。</p>\r\n<p>那為什麼資料科學家需要創意？因為有創意的人才懂得在企業流程常規中，提出一般人所不疑的疑點。資料分析不是魔術，無法直接告訴我們問題所在，必須要有人先透過觀察找出潛在的問題，才能以資料來證明問題所在，再來用機器學習改善問題。第一個步驟總是由人來提出問題，因此，<span class=\"blueP\">最高明的資料科學家必須能在「不疑處有疑」，不會把常規的企業或商業流程視為理所當然，而能夠在理所當然之中提出大膽假設，並以資料分析小心求證。</span></p>\r\n<h2 class=\"writingsH2\"><strong>企業內部建立AI團隊的必要</strong></h2>\r\n<p>談到這裡，可能有些聽眾開始懷疑：想喝牛奶真的需要養一頭牛嗎？難道我們不能夠直接導入既有的套裝軟體或者聘請顧問公司就好？在上一堂課，我們已經談過，以今天的人工智慧技術來說，並沒有即插即用的套裝軟體，通常需要大量的客製化工作。即使自行開發，系統及流程整合的工作往往也無法避免，<span class=\"blueP\">因此我們這裡所談的人工智慧團隊並不見得一定要做系統開發，而是熟悉企業業務、流程、資料、及目標，能夠確認切入點的合理性及資料可用性，能夠與內外部團隊協同合作，並擔任產品及績效管理的專業團隊。</span></p>\r\n<p>就產業AI化來說，我們不見得需要最先進的人工智慧技術，經常可以就既有的技術來解決企業本身的問題。因為要解決的問題、領域知識以及資料，都在自己家裡，因此，<span class=\"blueP\">若能培養自己的人工智慧團隊，不論接下來系統要自建或是外包、外購，才能有足夠的掌握度來確認目標及進程，並且做實質的績效管理。</span></p>\r\n<p>下一步，就是很多企業頭痛的問題了，這些專業的資料科學家、資料工程師及機器學習工程師該去哪裡尋找？</p>\r\n<h2 class=\"writingsH2\"><strong>善用人工智慧民主化趨勢</strong></h2>\r\n<p>坦白說，因為機器學習技術進展神速，只要從學校畢業超過兩年，不可能在學校中學過最先進的機器學習及深度學習技術，因此很難在市場上找到厲害且富經驗的人工智慧人才，就算要挖角也無從挖起。這個現象不只是在台灣，全球各大企業都同樣在想盡辦法尋求有經驗的人工智慧高手加入。</p>\r\n<p>幸運的是，這一波，也是人類歷史上第三波的人工智慧浪潮，伴隨著一個我們稱為「人工智慧民主化」的趨勢，其中最重要的概念是，人工智慧技術不應該只被某些跨國企業所壟斷，應該讓所有需要的人都有機會參與及使用。具體的作法包含各種機器學習開發工具及模型的開放源碼，以及各式最新核心技術的分享等等。</p>\r\n<p>因此，我的建議是，趁著這一波人工智慧民主化的趨勢，與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。台灣人工智慧學校以及為數不少的線上教學平台，都提供人工智慧的訓練課程，但要記得這一波的人工智慧技術以工程為主，理論為輔；因此，在教育訓練一定要包含大量的實作課程，才能夠訓練出有實戰能力的部隊。</p>\r\n<h2 class=\"writingsH2\"><strong>讓AI團隊完全展現能量的 3 大關鍵</strong></h2>\r\n<p>當人工智慧團隊建立起來後，企業仍然有許多資源、組織面及文化面的支持工作要進行，才能讓團隊全力展現能量。<span class=\"blueP\">最基本的第一步是，要有足夠的軟硬體來支持機器學習程式的運行。</span>全球的人工智慧發展目前走到軍備競賽的地步，若是同一個題目，同業花一小時可以訓練出一個機器學習模型，但內部團隊因為計算設備不足必須花十小時才能做到同一件事，那麼，同樣的時間內，同業可以嘗試十種不同的參數組合，我們只能嘗試一種。除非天縱英明，不然在大多數情況下，我們的演算法表現就是會比別人差一截。</p>\r\n<p><span class=\"blueP\">第二點，要讓他們能夠取得所有該取得的資料。</span>這聽起來很荒謬，但我認識不少人工智慧團隊的工作瓶頸，是無法取得自己公司裡頭的資料，可能原因很多，包含企業尚未認清資料是企業資產，而非各部門擁兵自重的資產，因此形成我們所謂的「資料孤島」或「資料穀倉」。要解決這類型的問題唯有企業主將企業資料治理視為重點策略，並且投注長期的支持。</p>\r\n<p><span class=\"blueP\">第三點，建立容許實驗的文化。</span>我們都知道高報酬的投資必然有風險，但是十分弔詭的是，在很多企業中，專案只許成功，不許失敗，人工智慧這樣尚未成熟的技術在不許犯錯的企業文化中要好好發展尤其困難。</p>\r\n<p>對人工智慧技術發展熟悉的聽眾應該都知道 Google Brain 這個團隊，在此團隊中，工程師被鼓勵進行高報酬、高風險的研究，他們的KPI不與失敗綁定，只與最終效益有關。即使某位成員的實驗老是失敗，最糟狀況就是無法加薪。但對於高階的管理者來說，若不進行高報酬也伴隨高風險的計畫並取得成功，是很難再繼續晉升的。對於資料分析及人工智慧團隊來說，他們需要一個容許嘗試錯誤、以最終產出為依歸的環境，才能嘗試不同的可能，針對不同的問題找到有效的解法。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-2.png\" alt=\"\" width=\"864\" height=\"487\" class=\"aligncenter size-full wp-image-10641\" />\r\n<p></P>\r\n<p>說到這裡，我們來總結今天的課程，發展人工智慧的要素有四：人才、資料，演算法及運算能力。人才與資料是重中之重，往往是決勝的關鍵。演算法因為人工智慧民主化的趨勢，全球的水平雖然有差異，但若以產業AI化，尤其是企業內部運用而言，差異不會太大；而運算能力是純粹的硬體投資，取得相對最容易。</p>\r\n<p>因此，已經打造流程自動化及資料基礎建設的企業，應該要把握這個機會及時間點，儘早在公司內部打造人工智慧團隊，開始探索人工智慧的可用之處。團隊再小也沒關係，重點是儘早將問題定義清楚，建立好資料蒐集機制，納入企業日常運作中，以開放源碼工具儘早驗證資料的可用性，以及人工智慧可能帶來的價值，才能將自己準備好，日後不論是建立正規部隊或是導入外部系統，都能讓人工智慧為企業產生最大價值。</p>\r\n<p>下一堂課，會開始與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，第一個案例是擔負台灣經濟命脈的製造業。</p>\r\n','台灣產業AI化的問題6〉打造第一支人工智慧團隊？這麼開始！','','inherit','closed','closed','','10636-revision-v1','','','2020-01-31 17:31:40','2020-01-31 09:31:40','',10636,'https://aiacademy.tw/10636-revision-v1/',0,'revision','',0),(10643,11,'2020-01-31 17:32:02','2020-01-31 09:32:02','','06-2','','inherit','closed','closed','','06-2','','','2020-01-31 17:32:02','2020-01-31 09:32:02','',10636,'https://aiacademy.tw/wp-content/uploads/2020/01/06-2.png',0,'attachment','image/png',0),(10644,11,'2020-01-31 17:32:27','2020-01-31 09:32:27','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業發展AI，為什麼需要建立自己的團隊？為什麼資料科學家會被《哈佛商業評論》稱為21世紀最有吸引力的工作？企業要如何讓AI團隊發揮最大能量，加速公司的成長？</p>\r\n<blockquote><p><span class=\"em\">與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。</span></p></blockquote>\r\n<p>在前幾堂課，我們談到導入人工智慧前企業應有的準備，包括要有正確的認知，要有資料基礎建設，確認導入的問題標的及KPI，接下來的關鍵步驟就在，誰來進行人工智慧的初步導入；換句話說，企業中的第一個人工智慧團隊該如何組成。</p>\r\n<p>通常<span class=\"blueP\">人工智慧團隊的核心成員有資料科學家、資料工程師及機器學習工程師三種專家。我們可以各用一句話來描述他們的特長，資料科學家擅長連結資料與商業價值，資料工程師擅長蒐集及處理資料，機器學習工程師擅長演算法，從資料裡頭榨取出最多的資訊，讓人工智慧系統的決策更精準。</span>當然也有人可以身兼多種職務，團隊成員可多可少，初期若有資源疑慮，也可以先從兩、三個成員開始，先求有，再求好。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-1.png\" alt=\"\" width=\"864\" height=\"487\" class=\"aligncenter size-full wp-image-10641\" />\r\n<p></p>\r\n<p>在這三種職位中，又以資料科學家這種職稱最廣為人知，因此我最常被問到的問題是，什麼是資料科學家？資料科學家必須具備哪些能力？是不是資訊背景出身的人，才能擔任資料科學家？</p>\r\n<h2 class=\"writingsH2\"><strong>資料科學家應該具備的能力</strong></h2>\r\n<p>以定義而言，<span class=\"blueP\">資料科學家就是能夠處理、分析資料，讓資料能夠為企業產生商業價值的專業工作者。</span>在技術面上，資料科學家必須在資訊、統計、企業業務範圍等三種領域都有一定的造詣，他們不一定非要資訊背景出身，無論是資工、電機等工程背景，數學、統計、經濟等數理背景，或其他與產業專業相關的科系。只要對該產業有一定的商業知識及嗅覺，並有一定的程式及資料分析能力，都有機會成為炙手可熱的資料科學家。</p>\r\n<p>要強調的是，資料科學家的專業能力中，程式及資料分析能力當然有其門檻，但更難得的是商業敏感度，可以嗅得出商業上的潛在威脅、挑戰與機會。商業敏感度不會憑空出現，想成為一位稱職的資料科學家，不只要在資料科學精益求精，更需要常和業務前線的人在一起，不只是一起開會，最好還要一起喝茶、吃飯，藉此了解企業與客戶的互動，還有客戶的需求及痛點，回頭面對數據時，更能找出隱藏在其中的商機。</p>\r\n<p>這也能解釋為什麼，<span class=\"blueP\">我們對資料科學家的人格特質也有一定的期待，除了細心與溝通能力之外，最好還有一定的創意。</span>細心是因為資料科學家是解讀資料的人，解讀錯誤將會造成災難；溝通能力是因為資料科學家有大半的時間都在與蒐集資料的人、保管資料的人、能夠解讀資料的人、做業務決策的人以及將被流程改善影響的人做溝通，擅長溝通才能夠事半功倍。</p>\r\n<p>那為什麼資料科學家需要創意？因為有創意的人才懂得在企業流程常規中，提出一般人所不疑的疑點。資料分析不是魔術，無法直接告訴我們問題所在，必須要有人先透過觀察找出潛在的問題，才能以資料來證明問題所在，再來用機器學習改善問題。第一個步驟總是由人來提出問題，因此，<span class=\"blueP\">最高明的資料科學家必須能在「不疑處有疑」，不會把常規的企業或商業流程視為理所當然，而能夠在理所當然之中提出大膽假設，並以資料分析小心求證。</span></p>\r\n<h2 class=\"writingsH2\"><strong>企業內部建立AI團隊的必要</strong></h2>\r\n<p>談到這裡，可能有些聽眾開始懷疑：想喝牛奶真的需要養一頭牛嗎？難道我們不能夠直接導入既有的套裝軟體或者聘請顧問公司就好？在上一堂課，我們已經談過，以今天的人工智慧技術來說，並沒有即插即用的套裝軟體，通常需要大量的客製化工作。即使自行開發，系統及流程整合的工作往往也無法避免，<span class=\"blueP\">因此我們這裡所談的人工智慧團隊並不見得一定要做系統開發，而是熟悉企業業務、流程、資料、及目標，能夠確認切入點的合理性及資料可用性，能夠與內外部團隊協同合作，並擔任產品及績效管理的專業團隊。</span></p>\r\n<p>就產業AI化來說，我們不見得需要最先進的人工智慧技術，經常可以就既有的技術來解決企業本身的問題。因為要解決的問題、領域知識以及資料，都在自己家裡，因此，<span class=\"blueP\">若能培養自己的人工智慧團隊，不論接下來系統要自建或是外包、外購，才能有足夠的掌握度來確認目標及進程，並且做實質的績效管理。</span></p>\r\n<p>下一步，就是很多企業頭痛的問題了，這些專業的資料科學家、資料工程師及機器學習工程師該去哪裡尋找？</p>\r\n<h2 class=\"writingsH2\"><strong>善用人工智慧民主化趨勢</strong></h2>\r\n<p>坦白說，因為機器學習技術進展神速，只要從學校畢業超過兩年，不可能在學校中學過最先進的機器學習及深度學習技術，因此很難在市場上找到厲害且富經驗的人工智慧人才，就算要挖角也無從挖起。這個現象不只是在台灣，全球各大企業都同樣在想盡辦法尋求有經驗的人工智慧高手加入。</p>\r\n<p>幸運的是，這一波，也是人類歷史上第三波的人工智慧浪潮，伴隨著一個我們稱為「人工智慧民主化」的趨勢，其中最重要的概念是，人工智慧技術不應該只被某些跨國企業所壟斷，應該讓所有需要的人都有機會參與及使用。具體的作法包含各種機器學習開發工具及模型的開放源碼，以及各式最新核心技術的分享等等。</p>\r\n<p>因此，我的建議是，趁著這一波人工智慧民主化的趨勢，與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。台灣人工智慧學校以及為數不少的線上教學平台，都提供人工智慧的訓練課程，但要記得這一波的人工智慧技術以工程為主，理論為輔；因此，在教育訓練一定要包含大量的實作課程，才能夠訓練出有實戰能力的部隊。</p>\r\n<h2 class=\"writingsH2\"><strong>讓AI團隊完全展現能量的 3 大關鍵</strong></h2>\r\n<p>當人工智慧團隊建立起來後，企業仍然有許多資源、組織面及文化面的支持工作要進行，才能讓團隊全力展現能量。<span class=\"blueP\">最基本的第一步是，要有足夠的軟硬體來支持機器學習程式的運行。</span>全球的人工智慧發展目前走到軍備競賽的地步，若是同一個題目，同業花一小時可以訓練出一個機器學習模型，但內部團隊因為計算設備不足必須花十小時才能做到同一件事，那麼，同樣的時間內，同業可以嘗試十種不同的參數組合，我們只能嘗試一種。除非天縱英明，不然在大多數情況下，我們的演算法表現就是會比別人差一截。</p>\r\n<p><span class=\"blueP\">第二點，要讓他們能夠取得所有該取得的資料。</span>這聽起來很荒謬，但我認識不少人工智慧團隊的工作瓶頸，是無法取得自己公司裡頭的資料，可能原因很多，包含企業尚未認清資料是企業資產，而非各部門擁兵自重的資產，因此形成我們所謂的「資料孤島」或「資料穀倉」。要解決這類型的問題唯有企業主將企業資料治理視為重點策略，並且投注長期的支持。</p>\r\n<p><span class=\"blueP\">第三點，建立容許實驗的文化。</span>我們都知道高報酬的投資必然有風險，但是十分弔詭的是，在很多企業中，專案只許成功，不許失敗，人工智慧這樣尚未成熟的技術在不許犯錯的企業文化中要好好發展尤其困難。</p>\r\n<p>對人工智慧技術發展熟悉的聽眾應該都知道 Google Brain 這個團隊，在此團隊中，工程師被鼓勵進行高報酬、高風險的研究，他們的KPI不與失敗綁定，只與最終效益有關。即使某位成員的實驗老是失敗，最糟狀況就是無法加薪。但對於高階的管理者來說，若不進行高報酬也伴隨高風險的計畫並取得成功，是很難再繼續晉升的。對於資料分析及人工智慧團隊來說，他們需要一個容許嘗試錯誤、以最終產出為依歸的環境，才能嘗試不同的可能，針對不同的問題找到有效的解法。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-2.png\" alt=\"\" width=\"864\" height=\"650\" class=\"aligncenter size-full wp-image-10643\" />\r\n<p></P>\r\n<p>說到這裡，我們來總結今天的課程，發展人工智慧的要素有四：人才、資料，演算法及運算能力。人才與資料是重中之重，往往是決勝的關鍵。演算法因為人工智慧民主化的趨勢，全球的水平雖然有差異，但若以產業AI化，尤其是企業內部運用而言，差異不會太大；而運算能力是純粹的硬體投資，取得相對最容易。</p>\r\n<p>因此，已經打造流程自動化及資料基礎建設的企業，應該要把握這個機會及時間點，儘早在公司內部打造人工智慧團隊，開始探索人工智慧的可用之處。團隊再小也沒關係，重點是儘早將問題定義清楚，建立好資料蒐集機制，納入企業日常運作中，以開放源碼工具儘早驗證資料的可用性，以及人工智慧可能帶來的價值，才能將自己準備好，日後不論是建立正規部隊或是導入外部系統，都能讓人工智慧為企業產生最大價值。</p>\r\n<p>下一堂課，會開始與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，第一個案例是擔負台灣經濟命脈的製造業。</p>\r\n','台灣產業AI化的問題6〉打造第一支人工智慧團隊？這麼開始！','','inherit','closed','closed','','10636-revision-v1','','','2020-01-31 17:32:27','2020-01-31 09:32:27','',10636,'https://aiacademy.tw/10636-revision-v1/',0,'revision','',0),(10645,11,'2020-01-31 17:33:12','2020-01-31 09:33:12','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業發展 AI，為什麼需要建立自己的團隊？為什麼資料科學家會被《哈佛商業評論》稱為 21 世紀最有吸引力的工作？企業要如何讓 AI 團隊發揮最大能量，加速公司的成長？</p>\r\n<blockquote><p><span class=\"em\">與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。</span></p></blockquote>\r\n<p>在前幾堂課，我們談到導入人工智慧前企業應有的準備，包括要有正確的認知，要有資料基礎建設，確認導入的問題標的及KPI，接下來的關鍵步驟就在，誰來進行人工智慧的初步導入；換句話說，企業中的第一個人工智慧團隊該如何組成。</p>\r\n<p>通常<span class=\"blueP\">人工智慧團隊的核心成員有資料科學家、資料工程師及機器學習工程師三種專家。我們可以各用一句話來描述他們的特長，資料科學家擅長連結資料與商業價值，資料工程師擅長蒐集及處理資料，機器學習工程師擅長演算法，從資料裡頭榨取出最多的資訊，讓人工智慧系統的決策更精準。</span>當然也有人可以身兼多種職務，團隊成員可多可少，初期若有資源疑慮，也可以先從兩、三個成員開始，先求有，再求好。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-1.png\" alt=\"\" width=\"864\" height=\"487\" class=\"aligncenter size-full wp-image-10641\" />\r\n<p></p>\r\n<p>在這三種職位中，又以資料科學家這種職稱最廣為人知，因此我最常被問到的問題是，什麼是資料科學家？資料科學家必須具備哪些能力？是不是資訊背景出身的人，才能擔任資料科學家？</p>\r\n<h2 class=\"writingsH2\"><strong>資料科學家應該具備的能力</strong></h2>\r\n<p>以定義而言，<span class=\"blueP\">資料科學家就是能夠處理、分析資料，讓資料能夠為企業產生商業價值的專業工作者。</span>在技術面上，資料科學家必須在資訊、統計、企業業務範圍等三種領域都有一定的造詣，他們不一定非要資訊背景出身，無論是資工、電機等工程背景，數學、統計、經濟等數理背景，或其他與產業專業相關的科系。只要對該產業有一定的商業知識及嗅覺，並有一定的程式及資料分析能力，都有機會成為炙手可熱的資料科學家。</p>\r\n<p>要強調的是，資料科學家的專業能力中，程式及資料分析能力當然有其門檻，但更難得的是商業敏感度，可以嗅得出商業上的潛在威脅、挑戰與機會。商業敏感度不會憑空出現，想成為一位稱職的資料科學家，不只要在資料科學精益求精，更需要常和業務前線的人在一起，不只是一起開會，最好還要一起喝茶、吃飯，藉此了解企業與客戶的互動，還有客戶的需求及痛點，回頭面對數據時，更能找出隱藏在其中的商機。</p>\r\n<p>這也能解釋為什麼，<span class=\"blueP\">我們對資料科學家的人格特質也有一定的期待，除了細心與溝通能力之外，最好還有一定的創意。</span>細心是因為資料科學家是解讀資料的人，解讀錯誤將會造成災難；溝通能力是因為資料科學家有大半的時間都在與蒐集資料的人、保管資料的人、能夠解讀資料的人、做業務決策的人以及將被流程改善影響的人做溝通，擅長溝通才能夠事半功倍。</p>\r\n<p>那為什麼資料科學家需要創意？因為有創意的人才懂得在企業流程常規中，提出一般人所不疑的疑點。資料分析不是魔術，無法直接告訴我們問題所在，必須要有人先透過觀察找出潛在的問題，才能以資料來證明問題所在，再來用機器學習改善問題。第一個步驟總是由人來提出問題，因此，<span class=\"blueP\">最高明的資料科學家必須能在「不疑處有疑」，不會把常規的企業或商業流程視為理所當然，而能夠在理所當然之中提出大膽假設，並以資料分析小心求證。</span></p>\r\n<h2 class=\"writingsH2\"><strong>企業內部建立AI團隊的必要</strong></h2>\r\n<p>談到這裡，可能有些聽眾開始懷疑：想喝牛奶真的需要養一頭牛嗎？難道我們不能夠直接導入既有的套裝軟體或者聘請顧問公司就好？在上一堂課，我們已經談過，以今天的人工智慧技術來說，並沒有即插即用的套裝軟體，通常需要大量的客製化工作。即使自行開發，系統及流程整合的工作往往也無法避免，<span class=\"blueP\">因此我們這裡所談的人工智慧團隊並不見得一定要做系統開發，而是熟悉企業業務、流程、資料、及目標，能夠確認切入點的合理性及資料可用性，能夠與內外部團隊協同合作，並擔任產品及績效管理的專業團隊。</span></p>\r\n<p>就產業AI化來說，我們不見得需要最先進的人工智慧技術，經常可以就既有的技術來解決企業本身的問題。因為要解決的問題、領域知識以及資料，都在自己家裡，因此，<span class=\"blueP\">若能培養自己的人工智慧團隊，不論接下來系統要自建或是外包、外購，才能有足夠的掌握度來確認目標及進程，並且做實質的績效管理。</span></p>\r\n<p>下一步，就是很多企業頭痛的問題了，這些專業的資料科學家、資料工程師及機器學習工程師該去哪裡尋找？</p>\r\n<h2 class=\"writingsH2\"><strong>善用人工智慧民主化趨勢</strong></h2>\r\n<p>坦白說，因為機器學習技術進展神速，只要從學校畢業超過兩年，不可能在學校中學過最先進的機器學習及深度學習技術，因此很難在市場上找到厲害且富經驗的人工智慧人才，就算要挖角也無從挖起。這個現象不只是在台灣，全球各大企業都同樣在想盡辦法尋求有經驗的人工智慧高手加入。</p>\r\n<p>幸運的是，這一波，也是人類歷史上第三波的人工智慧浪潮，伴隨著一個我們稱為「人工智慧民主化」的趨勢，其中最重要的概念是，人工智慧技術不應該只被某些跨國企業所壟斷，應該讓所有需要的人都有機會參與及使用。具體的作法包含各種機器學習開發工具及模型的開放源碼，以及各式最新核心技術的分享等等。</p>\r\n<p>因此，我的建議是，趁著這一波人工智慧民主化的趨勢，與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。台灣人工智慧學校以及為數不少的線上教學平台，都提供人工智慧的訓練課程，但要記得這一波的人工智慧技術以工程為主，理論為輔；因此，在教育訓練一定要包含大量的實作課程，才能夠訓練出有實戰能力的部隊。</p>\r\n<h2 class=\"writingsH2\"><strong>讓AI團隊完全展現能量的 3 大關鍵</strong></h2>\r\n<p>當人工智慧團隊建立起來後，企業仍然有許多資源、組織面及文化面的支持工作要進行，才能讓團隊全力展現能量。<span class=\"blueP\">最基本的第一步是，要有足夠的軟硬體來支持機器學習程式的運行。</span>全球的人工智慧發展目前走到軍備競賽的地步，若是同一個題目，同業花一小時可以訓練出一個機器學習模型，但內部團隊因為計算設備不足必須花十小時才能做到同一件事，那麼，同樣的時間內，同業可以嘗試十種不同的參數組合，我們只能嘗試一種。除非天縱英明，不然在大多數情況下，我們的演算法表現就是會比別人差一截。</p>\r\n<p><span class=\"blueP\">第二點，要讓他們能夠取得所有該取得的資料。</span>這聽起來很荒謬，但我認識不少人工智慧團隊的工作瓶頸，是無法取得自己公司裡頭的資料，可能原因很多，包含企業尚未認清資料是企業資產，而非各部門擁兵自重的資產，因此形成我們所謂的「資料孤島」或「資料穀倉」。要解決這類型的問題唯有企業主將企業資料治理視為重點策略，並且投注長期的支持。</p>\r\n<p><span class=\"blueP\">第三點，建立容許實驗的文化。</span>我們都知道高報酬的投資必然有風險，但是十分弔詭的是，在很多企業中，專案只許成功，不許失敗，人工智慧這樣尚未成熟的技術在不許犯錯的企業文化中要好好發展尤其困難。</p>\r\n<p>對人工智慧技術發展熟悉的聽眾應該都知道 Google Brain 這個團隊，在此團隊中，工程師被鼓勵進行高報酬、高風險的研究，他們的KPI不與失敗綁定，只與最終效益有關。即使某位成員的實驗老是失敗，最糟狀況就是無法加薪。但對於高階的管理者來說，若不進行高報酬也伴隨高風險的計畫並取得成功，是很難再繼續晉升的。對於資料分析及人工智慧團隊來說，他們需要一個容許嘗試錯誤、以最終產出為依歸的環境，才能嘗試不同的可能，針對不同的問題找到有效的解法。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-2.png\" alt=\"\" width=\"864\" height=\"650\" class=\"aligncenter size-full wp-image-10643\" />\r\n<p></P>\r\n<p>說到這裡，我們來總結今天的課程，發展人工智慧的要素有四：人才、資料，演算法及運算能力。人才與資料是重中之重，往往是決勝的關鍵。演算法因為人工智慧民主化的趨勢，全球的水平雖然有差異，但若以產業AI化，尤其是企業內部運用而言，差異不會太大；而運算能力是純粹的硬體投資，取得相對最容易。</p>\r\n<p>因此，已經打造流程自動化及資料基礎建設的企業，應該要把握這個機會及時間點，儘早在公司內部打造人工智慧團隊，開始探索人工智慧的可用之處。團隊再小也沒關係，重點是儘早將問題定義清楚，建立好資料蒐集機制，納入企業日常運作中，以開放源碼工具儘早驗證資料的可用性，以及人工智慧可能帶來的價值，才能將自己準備好，日後不論是建立正規部隊或是導入外部系統，都能讓人工智慧為企業產生最大價值。</p>\r\n<p>下一堂課，會開始與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，第一個案例是擔負台灣經濟命脈的製造業。</p>\r\n','台灣產業AI化的問題6〉打造第一支人工智慧團隊？這麼開始！','','inherit','closed','closed','','10636-revision-v1','','','2020-01-31 17:33:12','2020-01-31 09:33:12','',10636,'https://aiacademy.tw/10636-revision-v1/',0,'revision','',0),(10646,11,'2020-01-31 17:34:16','2020-01-31 09:34:16','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業發展 AI，為什麼需要建立自己的團隊？為什麼資料科學家會被《哈佛商業評論》稱為 21 世紀最有吸引力的工作？企業要如何讓 AI 團隊發揮最大能量，加速公司的成長？</p>\r\n<blockquote><p><span class=\"em\">與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。</span></p></blockquote>\r\n<p>在前幾堂課，我們談到導入人工智慧前企業應有的準備，包括要有正確的認知，要有資料基礎建設，確認導入的問題標的及 KPI，接下來的關鍵步驟就在，誰來進行人工智慧的初步導入；換句話說，企業中的第一個人工智慧團隊該如何組成。</p>\r\n<p>通常<span class=\"blueP\">人工智慧團隊的核心成員有資料科學家、資料工程師及機器學習工程師三種專家。我們可以各用一句話來描述他們的特長，資料科學家擅長連結資料與商業價值，資料工程師擅長蒐集及處理資料，機器學習工程師擅長演算法，從資料裡頭榨取出最多的資訊，讓人工智慧系統的決策更精準。</span>當然也有人可以身兼多種職務，團隊成員可多可少，初期若有資源疑慮，也可以先從兩、三個成員開始，先求有，再求好。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-1.png\" alt=\"\" width=\"864\" height=\"487\" class=\"aligncenter size-full wp-image-10641\" />\r\n<p></p>\r\n<p>在這三種職位中，又以資料科學家這種職稱最廣為人知，因此我最常被問到的問題是，什麼是資料科學家？資料科學家必須具備哪些能力？是不是資訊背景出身的人，才能擔任資料科學家？</p>\r\n<h2 class=\"writingsH2\"><strong>資料科學家應該具備的能力</strong></h2>\r\n<p>以定義而言，<span class=\"blueP\">資料科學家就是能夠處理、分析資料，讓資料能夠為企業產生商業價值的專業工作者。</span>在技術面上，資料科學家必須在資訊、統計、企業業務範圍等三種領域都有一定的造詣，他們不一定非要資訊背景出身，無論是資工、電機等工程背景，數學、統計、經濟等數理背景，或其他與產業專業相關的科系。只要對該產業有一定的商業知識及嗅覺，並有一定的程式及資料分析能力，都有機會成為炙手可熱的資料科學家。</p>\r\n<p>要強調的是，資料科學家的專業能力中，程式及資料分析能力當然有其門檻，但更難得的是商業敏感度，可以嗅得出商業上的潛在威脅、挑戰與機會。商業敏感度不會憑空出現，想成為一位稱職的資料科學家，不只要在資料科學精益求精，更需要常和業務前線的人在一起，不只是一起開會，最好還要一起喝茶、吃飯，藉此了解企業與客戶的互動，還有客戶的需求及痛點，回頭面對數據時，更能找出隱藏在其中的商機。</p>\r\n<p>這也能解釋為什麼，<span class=\"blueP\">我們對資料科學家的人格特質也有一定的期待，除了細心與溝通能力之外，最好還有一定的創意。</span>細心是因為資料科學家是解讀資料的人，解讀錯誤將會造成災難；溝通能力是因為資料科學家有大半的時間都在與蒐集資料的人、保管資料的人、能夠解讀資料的人、做業務決策的人以及將被流程改善影響的人做溝通，擅長溝通才能夠事半功倍。</p>\r\n<p>那為什麼資料科學家需要創意？因為有創意的人才懂得在企業流程常規中，提出一般人所不疑的疑點。資料分析不是魔術，無法直接告訴我們問題所在，必須要有人先透過觀察找出潛在的問題，才能以資料來證明問題所在，再來用機器學習改善問題。第一個步驟總是由人來提出問題，因此，<span class=\"blueP\">最高明的資料科學家必須能在「不疑處有疑」，不會把常規的企業或商業流程視為理所當然，而能夠在理所當然之中提出大膽假設，並以資料分析小心求證。</span></p>\r\n<h2 class=\"writingsH2\"><strong>企業內部建立 AI 團隊的必要</strong></h2>\r\n<p>談到這裡，可能有些聽眾開始懷疑：想喝牛奶真的需要養一頭牛嗎？難道我們不能夠直接導入既有的套裝軟體或者聘請顧問公司就好？在上一堂課，我們已經談過，以今天的人工智慧技術來說，並沒有即插即用的套裝軟體，通常需要大量的客製化工作。即使自行開發，系統及流程整合的工作往往也無法避免，<span class=\"blueP\">因此我們這裡所談的人工智慧團隊並不見得一定要做系統開發，而是熟悉企業業務、流程、資料、及目標，能夠確認切入點的合理性及資料可用性，能夠與內外部團隊協同合作，並擔任產品及績效管理的專業團隊。</span></p>\r\n<p>就產業 AI 化來說，我們不見得需要最先進的人工智慧技術，經常可以就既有的技術來解決企業本身的問題。因為要解決的問題、領域知識以及資料，都在自己家裡，因此，<span class=\"blueP\">若能培養自己的人工智慧團隊，不論接下來系統要自建或是外包、外購，才能有足夠的掌握度來確認目標及進程，並且做實質的績效管理。</span></p>\r\n<p>下一步，就是很多企業頭痛的問題了，這些專業的資料科學家、資料工程師及機器學習工程師該去哪裡尋找？</p>\r\n<h2 class=\"writingsH2\"><strong>善用人工智慧民主化趨勢</strong></h2>\r\n<p>坦白說，因為機器學習技術進展神速，只要從學校畢業超過兩年，不可能在學校中學過最先進的機器學習及深度學習技術，因此很難在市場上找到厲害且富經驗的人工智慧人才，就算要挖角也無從挖起。這個現象不只是在台灣，全球各大企業都同樣在想盡辦法尋求有經驗的人工智慧高手加入。</p>\r\n<p>幸運的是，這一波，也是人類歷史上第三波的人工智慧浪潮，伴隨著一個我們稱為「人工智慧民主化」的趨勢，其中最重要的概念是，人工智慧技術不應該只被某些跨國企業所壟斷，應該讓所有需要的人都有機會參與及使用。具體的作法包含各種機器學習開發工具及模型的開放源碼，以及各式最新核心技術的分享等等。</p>\r\n<p>因此，我的建議是，趁著這一波人工智慧民主化的趨勢，與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。台灣人工智慧學校以及為數不少的線上教學平台，都提供人工智慧的訓練課程，但要記得這一波的人工智慧技術以工程為主，理論為輔；因此，在教育訓練一定要包含大量的實作課程，才能夠訓練出有實戰能力的部隊。</p>\r\n<h2 class=\"writingsH2\"><strong>讓AI團隊完全展現能量的 3 大關鍵</strong></h2>\r\n<p>當人工智慧團隊建立起來後，企業仍然有許多資源、組織面及文化面的支持工作要進行，才能讓團隊全力展現能量。<span class=\"blueP\">最基本的第一步是，要有足夠的軟硬體來支持機器學習程式的運行。</span>全球的人工智慧發展目前走到軍備競賽的地步，若是同一個題目，同業花一小時可以訓練出一個機器學習模型，但內部團隊因為計算設備不足必須花十小時才能做到同一件事，那麼，同樣的時間內，同業可以嘗試十種不同的參數組合，我們只能嘗試一種。除非天縱英明，不然在大多數情況下，我們的演算法表現就是會比別人差一截。</p>\r\n<p><span class=\"blueP\">第二點，要讓他們能夠取得所有該取得的資料。</span>這聽起來很荒謬，但我認識不少人工智慧團隊的工作瓶頸，是無法取得自己公司裡頭的資料，可能原因很多，包含企業尚未認清資料是企業資產，而非各部門擁兵自重的資產，因此形成我們所謂的「資料孤島」或「資料穀倉」。要解決這類型的問題唯有企業主將企業資料治理視為重點策略，並且投注長期的支持。</p>\r\n<p><span class=\"blueP\">第三點，建立容許實驗的文化。</span>我們都知道高報酬的投資必然有風險，但是十分弔詭的是，在很多企業中，專案只許成功，不許失敗，人工智慧這樣尚未成熟的技術在不許犯錯的企業文化中要好好發展尤其困難。</p>\r\n<p>對人工智慧技術發展熟悉的聽眾應該都知道 Google Brain 這個團隊，在此團隊中，工程師被鼓勵進行高報酬、高風險的研究，他們的KPI不與失敗綁定，只與最終效益有關。即使某位成員的實驗老是失敗，最糟狀況就是無法加薪。但對於高階的管理者來說，若不進行高報酬也伴隨高風險的計畫並取得成功，是很難再繼續晉升的。對於資料分析及人工智慧團隊來說，他們需要一個容許嘗試錯誤、以最終產出為依歸的環境，才能嘗試不同的可能，針對不同的問題找到有效的解法。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-2.png\" alt=\"\" width=\"864\" height=\"650\" class=\"aligncenter size-full wp-image-10643\" />\r\n<p></P>\r\n<p>說到這裡，我們來總結今天的課程，發展人工智慧的要素有四：人才、資料，演算法及運算能力。人才與資料是重中之重，往往是決勝的關鍵。演算法因為人工智慧民主化的趨勢，全球的水平雖然有差異，但若以產業AI化，尤其是企業內部運用而言，差異不會太大；而運算能力是純粹的硬體投資，取得相對最容易。</p>\r\n<p>因此，已經打造流程自動化及資料基礎建設的企業，應該要把握這個機會及時間點，儘早在公司內部打造人工智慧團隊，開始探索人工智慧的可用之處。團隊再小也沒關係，重點是儘早將問題定義清楚，建立好資料蒐集機制，納入企業日常運作中，以開放源碼工具儘早驗證資料的可用性，以及人工智慧可能帶來的價值，才能將自己準備好，日後不論是建立正規部隊或是導入外部系統，都能讓人工智慧為企業產生最大價值。</p>\r\n<p>下一堂課，會開始與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，第一個案例是擔負台灣經濟命脈的製造業。</p>\r\n','台灣產業AI化的問題6〉打造第一支人工智慧團隊？這麼開始！','','inherit','closed','closed','','10636-revision-v1','','','2020-01-31 17:34:16','2020-01-31 09:34:16','',10636,'https://aiacademy.tw/10636-revision-v1/',0,'revision','',0),(10647,11,'2020-01-31 17:34:45','2020-01-31 09:34:45','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業發展 AI，為什麼需要建立自己的團隊？為什麼資料科學家會被《哈佛商業評論》稱為 21 世紀最有吸引力的工作？企業要如何讓 AI 團隊發揮最大能量，加速公司的成長？</p>\r\n<blockquote><p><span class=\"em\">與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。</span></p></blockquote>\r\n<p>在前幾堂課，我們談到導入人工智慧前企業應有的準備，包括要有正確的認知，要有資料基礎建設，確認導入的問題標的及 KPI，接下來的關鍵步驟就在，誰來進行人工智慧的初步導入；換句話說，企業中的第一個人工智慧團隊該如何組成。</p>\r\n<p>通常<span class=\"blueP\">人工智慧團隊的核心成員有資料科學家、資料工程師及機器學習工程師三種專家。我們可以各用一句話來描述他們的特長，資料科學家擅長連結資料與商業價值，資料工程師擅長蒐集及處理資料，機器學習工程師擅長演算法，從資料裡頭榨取出最多的資訊，讓人工智慧系統的決策更精準。</span>當然也有人可以身兼多種職務，團隊成員可多可少，初期若有資源疑慮，也可以先從兩、三個成員開始，先求有，再求好。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-1.png\" alt=\"\" width=\"864\" height=\"487\" class=\"aligncenter size-full wp-image-10641\" />\r\n<p></p>\r\n<p>在這三種職位中，又以資料科學家這種職稱最廣為人知，因此我最常被問到的問題是，什麼是資料科學家？資料科學家必須具備哪些能力？是不是資訊背景出身的人，才能擔任資料科學家？</p>\r\n<h2 class=\"writingsH2\"><strong>資料科學家應該具備的能力</strong></h2>\r\n<p>以定義而言，<span class=\"blueP\">資料科學家就是能夠處理、分析資料，讓資料能夠為企業產生商業價值的專業工作者。</span>在技術面上，資料科學家必須在資訊、統計、企業業務範圍等三種領域都有一定的造詣，他們不一定非要資訊背景出身，無論是資工、電機等工程背景，數學、統計、經濟等數理背景，或其他與產業專業相關的科系。只要對該產業有一定的商業知識及嗅覺，並有一定的程式及資料分析能力，都有機會成為炙手可熱的資料科學家。</p>\r\n<p>要強調的是，資料科學家的專業能力中，程式及資料分析能力當然有其門檻，但更難得的是商業敏感度，可以嗅得出商業上的潛在威脅、挑戰與機會。商業敏感度不會憑空出現，想成為一位稱職的資料科學家，不只要在資料科學精益求精，更需要常和業務前線的人在一起，不只是一起開會，最好還要一起喝茶、吃飯，藉此了解企業與客戶的互動，還有客戶的需求及痛點，回頭面對數據時，更能找出隱藏在其中的商機。</p>\r\n<p>這也能解釋為什麼，<span class=\"blueP\">我們對資料科學家的人格特質也有一定的期待，除了細心與溝通能力之外，最好還有一定的創意。</span>細心是因為資料科學家是解讀資料的人，解讀錯誤將會造成災難；溝通能力是因為資料科學家有大半的時間都在與蒐集資料的人、保管資料的人、能夠解讀資料的人、做業務決策的人以及將被流程改善影響的人做溝通，擅長溝通才能夠事半功倍。</p>\r\n<p>那為什麼資料科學家需要創意？因為有創意的人才懂得在企業流程常規中，提出一般人所不疑的疑點。資料分析不是魔術，無法直接告訴我們問題所在，必須要有人先透過觀察找出潛在的問題，才能以資料來證明問題所在，再來用機器學習改善問題。第一個步驟總是由人來提出問題，因此，<span class=\"blueP\">最高明的資料科學家必須能在「不疑處有疑」，不會把常規的企業或商業流程視為理所當然，而能夠在理所當然之中提出大膽假設，並以資料分析小心求證。</span></p>\r\n<h2 class=\"writingsH2\"><strong>企業內部建立 AI 團隊的必要</strong></h2>\r\n<p>談到這裡，可能有些聽眾開始懷疑：想喝牛奶真的需要養一頭牛嗎？難道我們不能夠直接導入既有的套裝軟體或者聘請顧問公司就好？在上一堂課，我們已經談過，以今天的人工智慧技術來說，並沒有即插即用的套裝軟體，通常需要大量的客製化工作。即使自行開發，系統及流程整合的工作往往也無法避免，<span class=\"blueP\">因此我們這裡所談的人工智慧團隊並不見得一定要做系統開發，而是熟悉企業業務、流程、資料、及目標，能夠確認切入點的合理性及資料可用性，能夠與內外部團隊協同合作，並擔任產品及績效管理的專業團隊。</span></p>\r\n<p>就產業 AI 化來說，我們不見得需要最先進的人工智慧技術，經常可以就既有的技術來解決企業本身的問題。因為要解決的問題、領域知識以及資料，都在自己家裡，因此，<span class=\"blueP\">若能培養自己的人工智慧團隊，不論接下來系統要自建或是外包、外購，才能有足夠的掌握度來確認目標及進程，並且做實質的績效管理。</span></p>\r\n<p>下一步，就是很多企業頭痛的問題了，這些專業的資料科學家、資料工程師及機器學習工程師該去哪裡尋找？</p>\r\n<h2 class=\"writingsH2\"><strong>善用人工智慧民主化趨勢</strong></h2>\r\n<p>坦白說，因為機器學習技術進展神速，只要從學校畢業超過兩年，不可能在學校中學過最先進的機器學習及深度學習技術，因此很難在市場上找到厲害且富經驗的人工智慧人才，就算要挖角也無從挖起。這個現象不只是在台灣，全球各大企業都同樣在想盡辦法尋求有經驗的人工智慧高手加入。</p>\r\n<p>幸運的是，這一波，也是人類歷史上第三波的人工智慧浪潮，伴隨著一個我們稱為「人工智慧民主化」的趨勢，其中最重要的概念是，人工智慧技術不應該只被某些跨國企業所壟斷，應該讓所有需要的人都有機會參與及使用。具體的作法包含各種機器學習開發工具及模型的開放源碼，以及各式最新核心技術的分享等等。</p>\r\n<p>因此，我的建議是，趁著這一波人工智慧民主化的趨勢，與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。台灣人工智慧學校以及為數不少的線上教學平台，都提供人工智慧的訓練課程，但要記得這一波的人工智慧技術以工程為主，理論為輔；因此，在教育訓練一定要包含大量的實作課程，才能夠訓練出有實戰能力的部隊。</p>\r\n<h2 class=\"writingsH2\"><strong>讓AI團隊完全展現能量的 3 大關鍵</strong></h2>\r\n<p>當人工智慧團隊建立起來後，企業仍然有許多資源、組織面及文化面的支持工作要進行，才能讓團隊全力展現能量。<span class=\"blueP\">最基本的第一步是，要有足夠的軟硬體來支持機器學習程式的運行。</span>全球的人工智慧發展目前走到軍備競賽的地步，若是同一個題目，同業花一小時可以訓練出一個機器學習模型，但內部團隊因為計算設備不足必須花十小時才能做到同一件事，那麼，同樣的時間內，同業可以嘗試十種不同的參數組合，我們只能嘗試一種。除非天縱英明，不然在大多數情況下，我們的演算法表現就是會比別人差一截。</p>\r\n<p><span class=\"blueP\">第二點，要讓他們能夠取得所有該取得的資料。</span>這聽起來很荒謬，但我認識不少人工智慧團隊的工作瓶頸，是無法取得自己公司裡頭的資料，可能原因很多，包含企業尚未認清資料是企業資產，而非各部門擁兵自重的資產，因此形成我們所謂的「資料孤島」或「資料穀倉」。要解決這類型的問題唯有企業主將企業資料治理視為重點策略，並且投注長期的支持。</p>\r\n<p><span class=\"blueP\">第三點，建立容許實驗的文化。</span>我們都知道高報酬的投資必然有風險，但是十分弔詭的是，在很多企業中，專案只許成功，不許失敗，人工智慧這樣尚未成熟的技術在不許犯錯的企業文化中要好好發展尤其困難。</p>\r\n<p>對人工智慧技術發展熟悉的聽眾應該都知道 Google Brain 這個團隊，在此團隊中，工程師被鼓勵進行高報酬、高風險的研究，他們的KPI不與失敗綁定，只與最終效益有關。即使某位成員的實驗老是失敗，最糟狀況就是無法加薪。但對於高階的管理者來說，若不進行高報酬也伴隨高風險的計畫並取得成功，是很難再繼續晉升的。對於資料分析及人工智慧團隊來說，他們需要一個容許嘗試錯誤、以最終產出為依歸的環境，才能嘗試不同的可能，針對不同的問題找到有效的解法。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-2.png\" alt=\"\" width=\"864\" height=\"650\" class=\"aligncenter size-full wp-image-10643\" />\r\n<p></P>\r\n<p>說到這裡，我們來總結今天的課程，發展人工智慧的要素有四：人才、資料，演算法及運算能力。人才與資料是重中之重，往往是決勝的關鍵。演算法因為人工智慧民主化的趨勢，全球的水平雖然有差異，但若以產業AI化，尤其是企業內部運用而言，差異不會太大；而運算能力是純粹的硬體投資，取得相對最容易。</p>\r\n<p>因此，已經打造流程自動化及資料基礎建設的企業，應該要把握這個機會及時間點，儘早在公司內部打造人工智慧團隊，開始探索人工智慧的可用之處。團隊再小也沒關係，重點是儘早將問題定義清楚，建立好資料蒐集機制，納入企業日常運作中，以開放源碼工具儘早驗證資料的可用性，以及人工智慧可能帶來的價值，才能將自己準備好，日後不論是建立正規部隊或是導入外部系統，都能讓人工智慧為企業產生最大價值。</p>\r\n<p>下一堂課，會開始與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，第一個案例是擔負台灣經濟命脈的製造業。</p>\r\n','台灣產業AI化的問題6〉打造第一支人工智慧團隊？這麼開始！','','inherit','closed','closed','','10636-revision-v1','','','2020-01-31 17:34:45','2020-01-31 09:34:45','',10636,'https://aiacademy.tw/10636-revision-v1/',0,'revision','',0),(10648,11,'2020-02-01 10:09:36','2020-02-01 02:09:36','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>製造業長期以來是台灣的強項，擅長在一定成本的前提下提升產品的質量和可靠性，有深厚的產業Know-How，並有完整的供應鏈支持。</p>\r\n<p>如何藉由人工智慧的導入，讓原本的核心競爭優勢快速升級？在這堂課有完整說明。</p>\r\n<blockquote><p><span class=\"em\">依我們與合作伙伴的經驗，越是複雜的生產流程，人工智慧可發揮的空間越大</span></p></blockquote>\r\n<p>先前課程中曾經談到，企業要導入人工智慧必須要先對人工智慧技術有清楚、正確的認知，並要還清技術債，包括流程自動化及資料基礎建設，並一步步地釐清想要解決的問題、蒐集正確的、足夠的資料，以及培養有能力解讀資料、挖掘價值的人工智慧團隊。</p>\r\n<p>從這堂課開始，我們以實例來解說產業 AI 化的切入點，也就是人工智慧適合拿來解決什麼樣的產業問題。</p>\r\n<h2 class=\"writingsH2\"><strong>製造業是台灣強項 導入 AI 可快速升級</strong></h2>\r\n<p>問題必定與業務有關，因此我們今天就從擔負台灣經濟命脈的製造業開始，包括電子製造業、石化業、紡織業、工具機業、食品加工業等，這些產業該如何發展人工智慧來降低流程的不確定性及成本，並且能提升產品的最終品質與價值？</p>\r\n<p>製造業長期以來是台灣的強項，我們擅長精益求精、堅持不懈地在一定成本的前提下提升產品的質量和可靠性，累積深厚的產業Know-How，並有完整的供應鏈支持。因此，我相信在人工智慧高速成長階段的此刻，只要不落於人後，願意投入人工智慧，給予同仁合適的人工智慧訓練，讓原本的核心競爭優勢快速升級，並不是難事。這點我們一定要對自己有信心。 </p>\r\n<h2 class=\"writingsH2\"><strong>製造業共同面對的四種挑戰</strong></h2>\r\n<p>我們團隊在2017年曾經深入製造業現場，訪談及整理產業需求，<span class=\"blueP\">發現人工智慧可以有效解決製造業所面臨的四種共通挑戰，分別是瑕疵檢測、自動流程控制、預測性維護，以及原料組合最佳化。</span></p>\r\n<p>第一種共通挑戰是瑕疵檢測。我們拜訪了多家製造業，非常驚訝地看到每一家公司都聘請不少員工，從幾十人到幾百人，用眼睛來檢測生產過程中的半成品跟成品中有沒有瑕疵，不管是金屬表面的瑕疵，或是玻璃、印刷電路板、電子產品、或是牛仔布的瑕疵。</p>\r\n<p>在多數產業中，這些瑕疵檢測工作雖然都有AOI（Automatic Optical Inspection） 設備來輔助進行，但這類型系統多半都採用傳統的人為規則來檢查，診斷不夠精準，誤報頻傳，仍需人員在後端再次篩選檢驗。</p>\r\n<h2 class=\"writingsH2\"><strong>深度學習系統檢測速度提升 48 倍</strong></h2>\r\n<p>但人工檢測也沒有辦法提供百分之百準確的結果，根據我們的觀察，<span class=\"blueP\">人工目測檢視的瑕疵漏網率（leakage rate）通常在 5% 以上，甚至高達20%，</span>原因來自於瑕疵並沒有客觀標準，以及眼花、疲勞等因素。其次，由於<span class=\"blueP\">人工檢測速度較慢，許多待檢測的半成品或成品都須先暫留在某處，待目視檢測後才可以移往下一個製程，成為生產效率的瓶頸。</span></p>\r\n<p>根據我們團隊與超過五家企業合作的成果證明，以機器學習為主的第三波人工智慧技術，十分適合解決瑕疵檢測的問題。相較於人工目測檢視，深度學習系統不僅準確率更高且檢測速度更快。</p>\r\n<p><span class=\"blueP\">在某家製造業的實例中，人員目測的漏網率約5%，人工智慧漏網率降低為0.01%；另一方面，人員目測速度每天約為30萬張影像，但僅使用一台10萬元左右的電腦，此數字可以提升至每日1,440萬張，高達48倍的加速。</span>在其他製造業的合作中，我們也都得到類似的結果，證明今天的人工智慧技術可以做到比人類更穩定且更有效率的瑕疵檢測。</p>\r\n<h2 class=\"writingsH2\"><strong>自動流程控制：流程越複雜，人工智慧發揮空間越大</strong></h2>\r\n<p>第二種共通挑戰是機器參數的調控及最佳化，或稱為自動流程控制。在生產過程中，產品品質、良率及生產速率會受到許多相關的參數影響，如馬達轉速、輪軸速度、電流、電壓以及環境變數如風速、濕度及溫度等等，而在生產流程中，這些需要監控與調控的參數可能多達上百甚至上千個。</p>\r\n<p class=\"blueP\">由於維度過高，當生產條件有任何改變而需要調校參數時，很難憑著經驗來做最佳化。目前第一線實務多仰賴老師傅們的經驗，或是透過不斷的試誤來調整，除了要花費許多時間及資源，重點是我們永遠不知道我們目前的製程，距離最佳參數組合還有多遠。\r\n 處理高維度資訊並不是人類的專長，我們只能靠直覺、歸納與推論，但這正好是機器學習擅長的領域，我們可以用機器學習來學習設備參數、環境、生產條件及目標之間的關聯性，每當設備、環境、生產條件或目標有改變時，就可以透過模型來找出最佳參數，大幅縮短因試誤而浪費的時間及生產成本。\r\n</p>\r\n<p><span class=\"blueP\">依我們與合作伙伴的經驗，越是複雜的生產流程，人工智慧可發揮的空間越大。</span>例如，在某個化工製程中，我們曾經觀察到在某段時間裡，在製程工程師控制參數的調校之下，產品良率只有六成；但透過機器學習來學習參數的調校方法，可以在適當的時間提示製程工程師將某些參數調整為適當的數值，這樣做的話，最高可以將良率大幅提升到98%，增加幅度超過五成。</p>\r\n<h2 class=\"writingsH2\"><strong>預測性維護：預測機件或耗材的健康狀態及壽命</strong></h2>\r\n<p>第三種共同挑戰是，生產設備隨時都有發生故障的可能。有些設備的失敗成本很高，若在運轉狀態中損壞，將導致線上所有原料及半成品的消耗，造成良率降低；同時維修可能曠日廢時，造成產出率降低。此外，若生產流程中所使用的耗材成本較高，例如精密切割機的刀片，定期更換雖然能確保產品品質不受影響，但耗材費用將居高不下；相反地，若等到產品品質下降後再更換耗材，就會造成良率的降低。</p>\r\n<p class=\"blueP\">如何預測什麼時候機器會出錯？該提前進廠保養？以及預測耗材什麼時候更換最有利，才能以最低生產成本維持良率？這就是預測性維護的功用。</p>\r\n<p><span class=\"blueP\">預測性維護通常牽涉到訊號處理，例如要預測馬達是否需要維修，通常可以透過馬達的電壓、轉速、震動及聲音來判別；當然若要判斷整部機台是否需要維修，可用的訊號可更多了。</span>機器學習十分擅長進行高維度的多媒體訊號處理，善用它來預測機件或耗材的健康狀態及壽命，將能幫助我們更精準地管理生產現場，避免意外故障所造成的損失。</p>\r\n<h2 class=\"writingsH2\"><strong>原料組合的最佳化：維持生產成本且能提升品質</strong></h2>\r\n<p>第四種共通挑戰是原料組合的最佳化。絕大多數的產品皆由多種原料經加工過程產出，而每一種原料都可以來自不同供應商，有不同等級及價格，甚至每個批次在品質及特性上都有些微的差異。在此情況下，我們就有空間可以在各種原料、供應商、等級及成本的排列組合中，找出最能提升最終成品品質，同時維持生產成本及效率的處方。</p>\r\n<p>例如<span class=\"blueP\">對電子組裝產業來說，一張印刷電路板上需放置幾百個電子元件，每個電子元件都有不同的供應商、等級及成本，如何在所有可能的排列組合中找到最佳方案，正是人工智慧可以發揮之處。</span></p>\r\n<p>此外，有些產業，例如化工業及染整業，原料之間的比例才是大學問，需要找到完美的組合比例，才能產出高品質的成品。以染整業為例，客戶的要求是在特定布料上染出指定的顏色，且具有指定程度的固色性及演色性，目前的作法通常以模擬軟體來計算第一次的染料配方，再由經驗豐富的老師傅來修正比例。以現況來說，只要牽涉到新的布料及顏色組合，就得經歷平均至少3到7天的打色嘗試，才能夠達到客戶的允收範圍。</p>\r\n<p>根據我們與染整業者合作的經驗，以機器學習為基本的人工智慧技術，確實可以建出模型來描述布料、目標顏色以及染料濃度之間的關係，提供更準確快速的方法來決定染料配方。以第一次的打色而言，現況是用軟體模擬加上師傅經驗調整，成功率約為七成，而我們提出的方法，成功率可以達到九成五，有十分顯著的差異。</p>\r\n<h2 class=\"writingsH2\"><strong>製造業的應用空間不僅只於生產流程</strong></h2>\r\n<p>我們今天談了製造業常見的的四種共通挑戰：瑕疵檢測、自動流程控制、預測性維護，以及原料組合最佳化。<span class=\"blueP\">請千萬不要誤會這就是人工智慧在製造業能做的應用，事實上，這只是個開始；若能夠善用人工智慧，不只可以在生產流程上做優化，在其他業務面向，還有太多的空間可以發揮。</span></p>\r\n<p>同樣的，這堂課我們以製造業來做為案例，也千萬不要以為製造業是特例，才能看到許多人工智慧的成功案例。2018是很重要的一年，人工智慧已經滲透每一個產業，不論你身處在哪裡，若你還沒有感覺到人工智慧的無所不在，相信我，非常有可能只是你還沒有察覺到改變已經發生。</p>\r\n<p>接下來會繼續與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，將以零售業與金融業做為下堂課的案例。</p>\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n','The Issue of Taiwan\'s Industrial AI Series(7):How does the manufacturing industry adopt AI to solve the pain points?','','publish','closed','open','','solve-pain-points','','','2021-06-07 17:53:44','2021-06-07 09:53:44','',0,'https://aiacademy.tw/?p=10648',144,'post','',0),(10649,11,'2020-02-01 10:10:50','2020-02-01 02:10:50','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>企業發展 AI，為什麼需要建立自己的團隊？為什麼資料科學家會被《哈佛商業評論》稱為 21 世紀最有吸引力的工作？企業要如何讓 AI 團隊發揮最大能量，加速公司的成長？</p>\r\n<blockquote><p><span class=\"em\">與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。</span></p></blockquote>\r\n<p>在前幾堂課，我們談到導入人工智慧前企業應有的準備，包括要有正確的認知，要有資料基礎建設，確認導入的問題標的及 KPI，接下來的關鍵步驟就在，誰來進行人工智慧的初步導入；換句話說，企業中的第一個人工智慧團隊該如何組成。</p>\r\n<p>通常<span class=\"blueP\">人工智慧團隊的核心成員有資料科學家、資料工程師及機器學習工程師三種專家。我們可以各用一句話來描述他們的特長，資料科學家擅長連結資料與商業價值，資料工程師擅長蒐集及處理資料，機器學習工程師擅長演算法，從資料裡頭榨取出最多的資訊，讓人工智慧系統的決策更精準。</span>當然也有人可以身兼多種職務，團隊成員可多可少，初期若有資源疑慮，也可以先從兩、三個成員開始，先求有，再求好。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-1.png\" alt=\"\" width=\"864\" height=\"487\" class=\"aligncenter size-full wp-image-10641\" />\r\n<p></p>\r\n<p>在這三種職位中，又以資料科學家這種職稱最廣為人知，因此我最常被問到的問題是，什麼是資料科學家？資料科學家必須具備哪些能力？是不是資訊背景出身的人，才能擔任資料科學家？</p>\r\n<h2 class=\"writingsH2\"><strong>資料科學家應該具備的能力</strong></h2>\r\n<p>以定義而言，<span class=\"blueP\">資料科學家就是能夠處理、分析資料，讓資料能夠為企業產生商業價值的專業工作者。</span>在技術面上，資料科學家必須在資訊、統計、企業業務範圍等三種領域都有一定的造詣，他們不一定非要資訊背景出身，無論是資工、電機等工程背景，數學、統計、經濟等數理背景，或其他與產業專業相關的科系。只要對該產業有一定的商業知識及嗅覺，並有一定的程式及資料分析能力，都有機會成為炙手可熱的資料科學家。</p>\r\n<p>要強調的是，資料科學家的專業能力中，程式及資料分析能力當然有其門檻，但更難得的是商業敏感度，可以嗅得出商業上的潛在威脅、挑戰與機會。商業敏感度不會憑空出現，想成為一位稱職的資料科學家，不只要在資料科學精益求精，更需要常和業務前線的人在一起，不只是一起開會，最好還要一起喝茶、吃飯，藉此了解企業與客戶的互動，還有客戶的需求及痛點，回頭面對數據時，更能找出隱藏在其中的商機。</p>\r\n<p>這也能解釋為什麼，<span class=\"blueP\">我們對資料科學家的人格特質也有一定的期待，除了細心與溝通能力之外，最好還有一定的創意。</span>細心是因為資料科學家是解讀資料的人，解讀錯誤將會造成災難；溝通能力是因為資料科學家有大半的時間都在與蒐集資料的人、保管資料的人、能夠解讀資料的人、做業務決策的人以及將被流程改善影響的人做溝通，擅長溝通才能夠事半功倍。</p>\r\n<p>那為什麼資料科學家需要創意？因為有創意的人才懂得在企業流程常規中，提出一般人所不疑的疑點。資料分析不是魔術，無法直接告訴我們問題所在，必須要有人先透過觀察找出潛在的問題，才能以資料來證明問題所在，再來用機器學習改善問題。第一個步驟總是由人來提出問題，因此，<span class=\"blueP\">最高明的資料科學家必須能在「不疑處有疑」，不會把常規的企業或商業流程視為理所當然，而能夠在理所當然之中提出大膽假設，並以資料分析小心求證。</span></p>\r\n<h2 class=\"writingsH2\"><strong>企業內部建立 AI 團隊的必要</strong></h2>\r\n<p>談到這裡，可能有些聽眾開始懷疑：想喝牛奶真的需要養一頭牛嗎？難道我們不能夠直接導入既有的套裝軟體或者聘請顧問公司就好？在上一堂課，我們已經談過，以今天的人工智慧技術來說，並沒有即插即用的套裝軟體，通常需要大量的客製化工作。即使自行開發，系統及流程整合的工作往往也無法避免，<span class=\"blueP\">因此我們這裡所談的人工智慧團隊並不見得一定要做系統開發，而是熟悉企業業務、流程、資料、及目標，能夠確認切入點的合理性及資料可用性，能夠與內外部團隊協同合作，並擔任產品及績效管理的專業團隊。</span></p>\r\n<p>就產業 AI 化來說，我們不見得需要最先進的人工智慧技術，經常可以就既有的技術來解決企業本身的問題。因為要解決的問題、領域知識以及資料，都在自己家裡，因此，<span class=\"blueP\">若能培養自己的人工智慧團隊，不論接下來系統要自建或是外包、外購，才能有足夠的掌握度來確認目標及進程，並且做實質的績效管理。</span></p>\r\n<p>下一步，就是很多企業頭痛的問題了，這些專業的資料科學家、資料工程師及機器學習工程師該去哪裡尋找？</p>\r\n<h2 class=\"writingsH2\"><strong>善用人工智慧民主化趨勢</strong></h2>\r\n<p>坦白說，因為機器學習技術進展神速，只要從學校畢業超過兩年，不可能在學校中學過最先進的機器學習及深度學習技術，因此很難在市場上找到厲害且富經驗的人工智慧人才，就算要挖角也無從挖起。這個現象不只是在台灣，全球各大企業都同樣在想盡辦法尋求有經驗的人工智慧高手加入。</p>\r\n<p>幸運的是，這一波，也是人類歷史上第三波的人工智慧浪潮，伴隨著一個我們稱為「人工智慧民主化」的趨勢，其中最重要的概念是，人工智慧技術不應該只被某些跨國企業所壟斷，應該讓所有需要的人都有機會參與及使用。具體的作法包含各種機器學習開發工具及模型的開放源碼，以及各式最新核心技術的分享等等。</p>\r\n<p>因此，我的建議是，趁著這一波人工智慧民主化的趨勢，與其在人力市場上痴痴等待高手出現，最有效的策略是，挑選內部員工來做教育訓練，適時地搭配來自外部的輔助，讓他們成為「雙軌人才」，在原本的專長領域之外，外加人工智慧，由他們來組成企業專屬的人工智慧團隊。台灣人工智慧學校以及為數不少的線上教學平台，都提供人工智慧的訓練課程，但要記得這一波的人工智慧技術以工程為主，理論為輔；因此，在教育訓練一定要包含大量的實作課程，才能夠訓練出有實戰能力的部隊。</p>\r\n<h2 class=\"writingsH2\"><strong>讓AI團隊完全展現能量的 3 大關鍵</strong></h2>\r\n<p>當人工智慧團隊建立起來後，企業仍然有許多資源、組織面及文化面的支持工作要進行，才能讓團隊全力展現能量。<span class=\"blueP\">最基本的第一步是，要有足夠的軟硬體來支持機器學習程式的運行。</span>全球的人工智慧發展目前走到軍備競賽的地步，若是同一個題目，同業花一小時可以訓練出一個機器學習模型，但內部團隊因為計算設備不足必須花十小時才能做到同一件事，那麼，同樣的時間內，同業可以嘗試十種不同的參數組合，我們只能嘗試一種。除非天縱英明，不然在大多數情況下，我們的演算法表現就是會比別人差一截。</p>\r\n<p><span class=\"blueP\">第二點，要讓他們能夠取得所有該取得的資料。</span>這聽起來很荒謬，但我認識不少人工智慧團隊的工作瓶頸，是無法取得自己公司裡頭的資料，可能原因很多，包含企業尚未認清資料是企業資產，而非各部門擁兵自重的資產，因此形成我們所謂的「資料孤島」或「資料穀倉」。要解決這類型的問題唯有企業主將企業資料治理視為重點策略，並且投注長期的支持。</p>\r\n<p><span class=\"blueP\">第三點，建立容許實驗的文化。</span>我們都知道高報酬的投資必然有風險，但是十分弔詭的是，在很多企業中，專案只許成功，不許失敗，人工智慧這樣尚未成熟的技術在不許犯錯的企業文化中要好好發展尤其困難。</p>\r\n<p>對人工智慧技術發展熟悉的聽眾應該都知道 Google Brain 這個團隊，在此團隊中，工程師被鼓勵進行高報酬、高風險的研究，他們的KPI不與失敗綁定，只與最終效益有關。即使某位成員的實驗老是失敗，最糟狀況就是無法加薪。但對於高階的管理者來說，若不進行高報酬也伴隨高風險的計畫並取得成功，是很難再繼續晉升的。對於資料分析及人工智慧團隊來說，他們需要一個容許嘗試錯誤、以最終產出為依歸的環境，才能嘗試不同的可能，針對不同的問題找到有效的解法。</p>\r\n<img src=\"/wp-content/uploads/2020/01/06-2.png\" alt=\"\" width=\"864\" height=\"650\" class=\"aligncenter size-full wp-image-10643\" />\r\n<p></P>\r\n<p>說到這裡，我們來總結今天的課程，發展人工智慧的要素有四：人才、資料，演算法及運算能力。人才與資料是重中之重，往往是決勝的關鍵。演算法因為人工智慧民主化的趨勢，全球的水平雖然有差異，但若以產業AI化，尤其是企業內部運用而言，差異不會太大；而運算能力是純粹的硬體投資，取得相對最容易。</p>\r\n<p>因此，已經打造流程自動化及資料基礎建設的企業，應該要把握這個機會及時間點，儘早在公司內部打造人工智慧團隊，開始探索人工智慧的可用之處。團隊再小也沒關係，重點是儘早將問題定義清楚，建立好資料蒐集機制，納入企業日常運作中，以開放源碼工具儘早驗證資料的可用性，以及人工智慧可能帶來的價值，才能將自己準備好，日後不論是建立正規部隊或是導入外部系統，都能讓人工智慧為企業產生最大價值。</p>\r\n<p>下一堂課，會開始與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，第一個案例是擔負台灣經濟命脈的製造業。</p>\r\n','台灣產業AI化的問題7〉製造業如何導入AI、解決痛點？','','inherit','closed','closed','','10648-revision-v1','','','2020-02-01 10:10:50','2020-02-01 02:10:50','',10648,'https://aiacademy.tw/10648-revision-v1/',0,'revision','',0),(10652,11,'2020-02-01 10:24:34','2020-02-01 02:24:34','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>製造業長期以來是台灣的強項，擅長在一定成本的前提下提升產品的質量和可靠性，有深厚的產業Know-How，並有完整的供應鏈支持。</p>\r\n<p>如何藉由人工智慧的導入，讓原本的核心競爭優勢快速升級？在這堂課有完整說明。</p>\r\n<blockquote><p><span class=\"em\">依我們與合作伙伴的經驗，越是複雜的生產流程，人工智慧可發揮的空間越大</span></p></blockquote>\r\n<p>先前課程中曾經談到，企業要導入人工智慧必須要先對人工智慧技術有清楚、正確的認知，並要還清技術債，包括流程自動化及資料基礎建設，並一步步地釐清想要解決的問題、蒐集正確的、足夠的資料，以及培養有能力解讀資料、挖掘價值的人工智慧團隊。</p>\r\n<p>從這堂課開始，我們以實例來解說產業 AI 化的切入點，也就是人工智慧適合拿來解決什麼樣的產業問題。</p>\r\n<h2 class=\"writingsH2\"><strong>製造業是台灣強項 導入 AI 可快速升級</strong></h2>\r\n<p>問題必定與業務有關，因此我們今天就從擔負台灣經濟命脈的製造業開始，包括電子製造業、石化業、紡織業、工具機業、食品加工業等，這些產業該如何發展人工智慧來降低流程的不確定性及成本，並且能提升產品的最終品質與價值？</p>\r\n<p>製造業長期以來是台灣的強項，我們擅長精益求精、堅持不懈地在一定成本的前提下提升產品的質量和可靠性，累積深厚的產業Know-How，並有完整的供應鏈支持。因此，我相信在人工智慧高速成長階段的此刻，只要不落於人後，願意投入人工智慧，給予同仁合適的人工智慧訓練，讓原本的核心競爭優勢快速升級，並不是難事。這點我們一定要對自己有信心。 </p>\r\n<h2 class=\"writingsH2\"><strong>製造業共同面對的四種挑戰</strong></h2>\r\n<p>我們團隊在2017年曾經深入製造業現場，訪談及整理產業需求，<span class=\"blueP\">發現人工智慧可以有效解決製造業所面臨的四種共通挑戰，分別是瑕疵檢測、自動流程控制、預測性維護，以及原料組合最佳化。</span></p>\r\n<p>第一種共通挑戰是瑕疵檢測。我們拜訪了多家製造業，非常驚訝地看到每一家公司都聘請不少員工，從幾十人到幾百人，用眼睛來檢測生產過程中的半成品跟成品中有沒有瑕疵，不管是金屬表面的瑕疵，或是玻璃、印刷電路板、電子產品、或是牛仔布的瑕疵。</p>\r\n<p>在多數產業中，這些瑕疵檢測工作雖然都有AOI（Automatic Optical Inspection） 設備來輔助進行，但這類型系統多半都採用傳統的人為規則來檢查，診斷不夠精準，誤報頻傳，仍需人員在後端再次篩選檢驗。</p>\r\n<h2 class=\"writingsH2\"><strong>深度學習系統檢測速度提升 48 倍</strong></h2>\r\n<p>但人工檢測也沒有辦法提供百分之百準確的結果，根據我們的觀察，<span class=\"blueP\">人工目測檢視的瑕疵漏網率（leakage rate）通常在 5% 以上，甚至高達20%，</span>原因來自於瑕疵並沒有客觀標準，以及眼花、疲勞等因素。其次，由於<span class=\"blueP\">人工檢測速度較慢，許多待檢測的半成品或成品都須先暫留在某處，待目視檢測後才可以移往下一個製程，成為生產效率的瓶頸。</span></p>\r\n<p>根據我們團隊與超過五家企業合作的成果證明，以機器學習為主的第三波人工智慧技術，十分適合解決瑕疵檢測的問題。相較於人工目測檢視，深度學習系統不僅準確率更高且檢測速度更快。</p>\r\n<p><span class=\"blueP\">在某家製造業的實例中，人員目測的漏網率約5%，人工智慧漏網率降低為0.01%；另一方面，人員目測速度每天約為30萬張影像，但僅使用一台10萬元左右的電腦，此數字可以提升至每日1,440萬張，高達48倍的加速。</span>在其他製造業的合作中，我們也都得到類似的結果，證明今天的人工智慧技術可以做到比人類更穩定且更有效率的瑕疵檢測。</p>\r\n<h2 class=\"writingsH2\"><strong>自動流程控制：流程越複雜，人工智慧發揮空間越大</strong></h2>\r\n<p>第二種共通挑戰是機器參數的調控及最佳化，或稱為自動流程控制。在生產過程中，產品品質、良率及生產速率會受到許多相關的參數影響，如馬達轉速、輪軸速度、電流、電壓以及環境變數如風速、濕度及溫度等等，而在生產流程中，這些需要監控與調控的參數可能多達上百甚至上千個。</p>\r\n<p class=\"blueP\">由於維度過高，當生產條件有任何改變而需要調校參數時，很難憑著經驗來做最佳化。目前第一線實務多仰賴老師傅們的經驗，或是透過不斷的試誤來調整，除了要花費許多時間及資源，重點是我們永遠不知道我們目前的製程，距離最佳參數組合還有多遠。\r\n 處理高維度資訊並不是人類的專長，我們只能靠直覺、歸納與推論，但這正好是機器學習擅長的領域，我們可以用機器學習來學習設備參數、環境、生產條件及目標之間的關聯性，每當設備、環境、生產條件或目標有改變時，就可以透過模型來找出最佳參數，大幅縮短因試誤而浪費的時間及生產成本。\r\n</p>\r\n<p><span class=\"blueP\">依我們與合作伙伴的經驗，越是複雜的生產流程，人工智慧可發揮的空間越大。</span>例如，在某個化工製程中，我們曾經觀察到在某段時間裡，在製程工程師控制參數的調校之下，產品良率只有六成；但透過機器學習來學習參數的調校方法，可以在適當的時間提示製程工程師將某些參數調整為適當的數值，這樣做的話，最高可以將良率大幅提升到98%，增加幅度超過五成。</p>\r\n<h2 class=\"writingsH2\"><strong>預測性維護：預測機件或耗材的健康狀態及壽命</strong></h2>\r\n<p>第三種共同挑戰是，生產設備隨時都有發生故障的可能。有些設備的失敗成本很高，若在運轉狀態中損壞，將導致線上所有原料及半成品的消耗，造成良率降低；同時維修可能曠日廢時，造成產出率降低。此外，若生產流程中所使用的耗材成本較高，例如精密切割機的刀片，定期更換雖然能確保產品品質不受影響，但耗材費用將居高不下；相反地，若等到產品品質下降後再更換耗材，就會造成良率的降低。</p>\r\n<p class=\"blueP\">如何預測什麼時候機器會出錯？該提前進廠保養？以及預測耗材什麼時候更換最有利，才能以最低生產成本維持良率？這就是預測性維護的功用。</p>\r\n<p><span class=\"blueP\">預測性維護通常牽涉到訊號處理，例如要預測馬達是否需要維修，通常可以透過馬達的電壓、轉速、震動及聲音來判別；當然若要判斷整部機台是否需要維修，可用的訊號可更多了。</span>機器學習十分擅長進行高維度的多媒體訊號處理，善用它來預測機件或耗材的健康狀態及壽命，將能幫助我們更精準地管理生產現場，避免意外故障所造成的損失。</p>\r\n<h2 class=\"writingsH2\"><strong>原料組合的最佳化：維持生產成本且能提升品質</strong></h2>\r\n<p>第四種共通挑戰是原料組合的最佳化。絕大多數的產品皆由多種原料經加工過程產出，而每一種原料都可以來自不同供應商，有不同等級及價格，甚至每個批次在品質及特性上都有些微的差異。在此情況下，我們就有空間可以在各種原料、供應商、等級及成本的排列組合中，找出最能提升最終成品品質，同時維持生產成本及效率的處方。</p>\r\n<p>例如<span class=\"blueP\">對電子組裝產業來說，一張印刷電路板上需放置幾百個電子元件，每個電子元件都有不同的供應商、等級及成本，如何在所有可能的排列組合中找到最佳方案，正是人工智慧可以發揮之處。</span></p>\r\n<p>此外，有些產業，例如化工業及染整業，原料之間的比例才是大學問，需要找到完美的組合比例，才能產出高品質的成品。以染整業為例，客戶的要求是在特定布料上染出指定的顏色，且具有指定程度的固色性及演色性，目前的作法通常以模擬軟體來計算第一次的染料配方，再由經驗豐富的老師傅來修正比例。以現況來說，只要牽涉到新的布料及顏色組合，就得經歷平均至少3到7天的打色嘗試，才能夠達到客戶的允收範圍。</p>\r\n<p>根據我們與染整業者合作的經驗，以機器學習為基本的人工智慧技術，確實可以建出模型來描述布料、目標顏色以及染料濃度之間的關係，提供更準確快速的方法來決定染料配方。以第一次的打色而言，現況是用軟體模擬加上師傅經驗調整，成功率約為七成，而我們提出的方法，成功率可以達到九成五，有十分顯著的差異。</p>\r\n<h2 class=\"writingsH2\"><strong>製造業的應用空間不僅只於生產流程</strong></h2>\r\n<p>我們今天談了製造業常見的的四種共通挑戰：瑕疵檢測、自動流程控制、預測性維護，以及原料組合最佳化。<span class=\"blueP\">請千萬不要誤會這就是人工智慧在製造業能做的應用，事實上，這只是個開始；若能夠善用人工智慧，不只可以在生產流程上做優化，在其他業務面向，還有太多的空間可以發揮。</span></p>\r\n<p>同樣的，這堂課我們以製造業來做為案例，也千萬不要以為製造業是特例，才能看到許多人工智慧的成功案例。2018是很重要的一年，人工智慧已經滲透每一個產業，不論你身處在哪裡，若你還沒有感覺到人工智慧的無所不在，相信我，非常有可能只是你還沒有察覺到改變已經發生。</p>\r\n<p>接下來會繼續與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，將以零售業與金融業做為下堂課的案例。</p>\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n','台灣產業AI化的問題7〉製造業如何導入AI、解決痛點？','','inherit','closed','closed','','10648-revision-v1','','','2020-02-01 10:24:34','2020-02-01 02:24:34','',10648,'https://aiacademy.tw/10648-revision-v1/',0,'revision','',0),(10653,11,'2020-02-01 10:25:14','2020-02-01 02:25:14','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>製造業長期以來是台灣的強項，擅長在一定成本的前提下提升產品的質量和可靠性，有深厚的產業Know-How，並有完整的供應鏈支持。</p>\r\n<p>如何藉由人工智慧的導入，讓原本的核心競爭優勢快速升級？在這堂課有完整說明。</p>\r\n<blockquote><p><span class=\"em\">依我們與合作伙伴的經驗，越是複雜的生產流程，人工智慧可發揮的空間越大</span></p></blockquote>\r\n<p>先前課程中曾經談到，企業要導入人工智慧必須要先對人工智慧技術有清楚、正確的認知，並要還清技術債，包括流程自動化及資料基礎建設，並一步步地釐清想要解決的問題、蒐集正確的、足夠的資料，以及培養有能力解讀資料、挖掘價值的人工智慧團隊。</p>\r\n<p>從這堂課開始，我們以實例來解說產業 AI 化的切入點，也就是人工智慧適合拿來解決什麼樣的產業問題。</p>\r\n<h2 class=\"writingsH2\"><strong>製造業是台灣強項 導入 AI 可快速升級</strong></h2>\r\n<p>問題必定與業務有關，因此我們今天就從擔負台灣經濟命脈的製造業開始，包括電子製造業、石化業、紡織業、工具機業、食品加工業等，這些產業該如何發展人工智慧來降低流程的不確定性及成本，並且能提升產品的最終品質與價值？</p>\r\n<p>製造業長期以來是台灣的強項，我們擅長精益求精、堅持不懈地在一定成本的前提下提升產品的質量和可靠性，累積深厚的產業Know-How，並有完整的供應鏈支持。因此，我相信在人工智慧高速成長階段的此刻，只要不落於人後，願意投入人工智慧，給予同仁合適的人工智慧訓練，讓原本的核心競爭優勢快速升級，並不是難事。這點我們一定要對自己有信心。 </p>\r\n<h2 class=\"writingsH2\"><strong>製造業共同面對的四種挑戰</strong></h2>\r\n<p>我們團隊在2017年曾經深入製造業現場，訪談及整理產業需求，<span class=\"blueP\">發現人工智慧可以有效解決製造業所面臨的四種共通挑戰，分別是瑕疵檢測、自動流程控制、預測性維護，以及原料組合最佳化。</span></p>\r\n<p>第一種共通挑戰是瑕疵檢測。我們拜訪了多家製造業，非常驚訝地看到每一家公司都聘請不少員工，從幾十人到幾百人，用眼睛來檢測生產過程中的半成品跟成品中有沒有瑕疵，不管是金屬表面的瑕疵，或是玻璃、印刷電路板、電子產品、或是牛仔布的瑕疵。</p>\r\n<p>在多數產業中，這些瑕疵檢測工作雖然都有AOI（Automatic Optical Inspection） 設備來輔助進行，但這類型系統多半都採用傳統的人為規則來檢查，診斷不夠精準，誤報頻傳，仍需人員在後端再次篩選檢驗。</p>\r\n<h2 class=\"writingsH2\"><strong>深度學習系統檢測速度提升 48 倍</strong></h2>\r\n<p>但人工檢測也沒有辦法提供百分之百準確的結果，根據我們的觀察，<span class=\"blueP\">人工目測檢視的瑕疵漏網率（leakage rate）通常在 5% 以上，甚至高達20%，</span>原因來自於瑕疵並沒有客觀標準，以及眼花、疲勞等因素。其次，由於<span class=\"blueP\">人工檢測速度較慢，許多待檢測的半成品或成品都須先暫留在某處，待目視檢測後才可以移往下一個製程，成為生產效率的瓶頸。</span></p>\r\n<p>根據我們團隊與超過五家企業合作的成果證明，以機器學習為主的第三波人工智慧技術，十分適合解決瑕疵檢測的問題。相較於人工目測檢視，深度學習系統不僅準確率更高且檢測速度更快。</p>\r\n<p><span class=\"blueP\">在某家製造業的實例中，人員目測的漏網率約5%，人工智慧漏網率降低為0.01%；另一方面，人員目測速度每天約為30萬張影像，但僅使用一台10萬元左右的電腦，此數字可以提升至每日1,440萬張，高達48倍的加速。</span>在其他製造業的合作中，我們也都得到類似的結果，證明今天的人工智慧技術可以做到比人類更穩定且更有效率的瑕疵檢測。</p>\r\n<h2 class=\"writingsH2\"><strong>自動流程控制：流程越複雜，人工智慧發揮空間越大</strong></h2>\r\n<p>第二種共通挑戰是機器參數的調控及最佳化，或稱為自動流程控制。在生產過程中，產品品質、良率及生產速率會受到許多相關的參數影響，如馬達轉速、輪軸速度、電流、電壓以及環境變數如風速、濕度及溫度等等，而在生產流程中，這些需要監控與調控的參數可能多達上百甚至上千個。</p>\r\n<p class=\"blueP\">由於維度過高，當生產條件有任何改變而需要調校參數時，很難憑著經驗來做最佳化。目前第一線實務多仰賴老師傅們的經驗，或是透過不斷的試誤來調整，除了要花費許多時間及資源，重點是我們永遠不知道我們目前的製程，距離最佳參數組合還有多遠。\r\n 處理高維度資訊並不是人類的專長，我們只能靠直覺、歸納與推論，但這正好是機器學習擅長的領域，我們可以用機器學習來學習設備參數、環境、生產條件及目標之間的關聯性，每當設備、環境、生產條件或目標有改變時，就可以透過模型來找出最佳參數，大幅縮短因試誤而浪費的時間及生產成本。\r\n</p>\r\n<p><span class=\"blueP\">依我們與合作伙伴的經驗，越是複雜的生產流程，人工智慧可發揮的空間越大。</span>例如，在某個化工製程中，我們曾經觀察到在某段時間裡，在製程工程師控制參數的調校之下，產品良率只有六成；但透過機器學習來學習參數的調校方法，可以在適當的時間提示製程工程師將某些參數調整為適當的數值，這樣做的話，最高可以將良率大幅提升到98%，增加幅度超過五成。</p>\r\n<h2 class=\"writingsH2\"><strong>預測性維護：預測機件或耗材的健康狀態及壽命</strong></h2>\r\n<p>第三種共同挑戰是，生產設備隨時都有發生故障的可能。有些設備的失敗成本很高，若在運轉狀態中損壞，將導致線上所有原料及半成品的消耗，造成良率降低；同時維修可能曠日廢時，造成產出率降低。此外，若生產流程中所使用的耗材成本較高，例如精密切割機的刀片，定期更換雖然能確保產品品質不受影響，但耗材費用將居高不下；相反地，若等到產品品質下降後再更換耗材，就會造成良率的降低。</p>\r\n<p class=\"blueP\">如何預測什麼時候機器會出錯？該提前進廠保養？以及預測耗材什麼時候更換最有利，才能以最低生產成本維持良率？這就是預測性維護的功用。</p>\r\n<p><span class=\"blueP\">預測性維護通常牽涉到訊號處理，例如要預測馬達是否需要維修，通常可以透過馬達的電壓、轉速、震動及聲音來判別；當然若要判斷整部機台是否需要維修，可用的訊號可更多了。</span>機器學習十分擅長進行高維度的多媒體訊號處理，善用它來預測機件或耗材的健康狀態及壽命，將能幫助我們更精準地管理生產現場，避免意外故障所造成的損失。</p>\r\n<h2 class=\"writingsH2\"><strong>原料組合的最佳化：維持生產成本且能提升品質</strong></h2>\r\n<p>第四種共通挑戰是原料組合的最佳化。絕大多數的產品皆由多種原料經加工過程產出，而每一種原料都可以來自不同供應商，有不同等級及價格，甚至每個批次在品質及特性上都有些微的差異。在此情況下，我們就有空間可以在各種原料、供應商、等級及成本的排列組合中，找出最能提升最終成品品質，同時維持生產成本及效率的處方。</p>\r\n<p>例如<span class=\"blueP\">對電子組裝產業來說，一張印刷電路板上需放置幾百個電子元件，每個電子元件都有不同的供應商、等級及成本，如何在所有可能的排列組合中找到最佳方案，正是人工智慧可以發揮之處。</span></p>\r\n<p>此外，有些產業，例如化工業及染整業，原料之間的比例才是大學問，需要找到完美的組合比例，才能產出高品質的成品。以染整業為例，客戶的要求是在特定布料上染出指定的顏色，且具有指定程度的固色性及演色性，目前的作法通常以模擬軟體來計算第一次的染料配方，再由經驗豐富的老師傅來修正比例。以現況來說，只要牽涉到新的布料及顏色組合，就得經歷平均至少3到7天的打色嘗試，才能夠達到客戶的允收範圍。</p>\r\n<p>根據我們與染整業者合作的經驗，以機器學習為基本的人工智慧技術，確實可以建出模型來描述布料、目標顏色以及染料濃度之間的關係，提供更準確快速的方法來決定染料配方。以第一次的打色而言，現況是用軟體模擬加上師傅經驗調整，成功率約為七成，而我們提出的方法，成功率可以達到九成五，有十分顯著的差異。</p>\r\n<h2 class=\"writingsH2\"><strong>製造業的應用空間不僅只於生產流程</strong></h2>\r\n<p>我們今天談了製造業常見的的四種共通挑戰：瑕疵檢測、自動流程控制、預測性維護，以及原料組合最佳化。<span class=\"blueP\">請千萬不要誤會這就是人工智慧在製造業能做的應用，事實上，這只是個開始；若能夠善用人工智慧，不只可以在生產流程上做優化，在其他業務面向，還有太多的空間可以發揮。</span></p>\r\n<p>同樣的，這堂課我們以製造業來做為案例，也千萬不要以為製造業是特例，才能看到許多人工智慧的成功案例。2018是很重要的一年，人工智慧已經滲透每一個產業，不論你身處在哪裡，若你還沒有感覺到人工智慧的無所不在，相信我，非常有可能只是你還沒有察覺到改變已經發生。</p>\r\n<p>接下來會繼續與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，將以零售業與金融業做為下堂課的案例。</p>\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n','台灣產業AI化的問題7〉製造業如何導入AI、解決痛點？','','inherit','closed','closed','','10648-revision-v1','','','2020-02-01 10:25:14','2020-02-01 02:25:14','',10648,'https://aiacademy.tw/10648-revision-v1/',0,'revision','',0),(10654,11,'2020-02-01 10:26:31','2020-02-01 02:26:31','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>零售業與金融業一直以來特別注重資訊流的管理，也是台灣產業大數據分析的先行者，按理說導入人工智慧的門檻較低，成功率也可能較高。但事實真的是這樣嗎？</p>\r\n<blockquote><p><span class=\"em\">人工智慧服務並不只是跟風，而能夠真正提供高品質的服務，個中的差別，就在於每家企業對於業務的規劃，對於資料基礎建設的投入，以及人工智慧團隊的技術成熟度。</span></p></blockquote>\r\n<p>上一堂課我們從製造業的四種常見的共通挑戰開始，說明人工智慧可以用來解決什麼樣的問題，這堂課要繼續分享人工智慧在零售業與金融業的應用。</p>\r\n<p>為什麼<span class=\"blueP\">選擇零售業與金融業來做案例？因為這兩個產業的核心業務就是在處理資訊流，包括物流、人流及金流，也因此它們特別重視資訊管理，基本上都會把各式資訊管理系統導入齊全，例如倉儲管理、物流管理、企業資源規畫ERP、客戶關係管理CRM、資料倉儲、商業智慧等等，它們是大數據技術的先行導入者，也通常有蒐集資料以輔助決策的文化。</span>由於人工智慧需要有資料才能驅動，也因此，這兩個產業要導入人工智慧相對上技術與管理門檻較低，速度會比較快。</p>\r\n<p>但同時也要留心，有時候，<span class=\"blueP\">先行者也會有劣勢，主因在於對大數據分析的誤解。</span>前面我們談過，資料分析可分為四個層次，由淺入深依序為描述、解釋、預測及最佳化。描述性分析幫助評估現況及瞭解問題，解釋性分析提供問題的初步診斷，而預測及最佳化提供改善和解決問題的工具。</p>\r\n<p>國內的零售業與金融業通常早早就導入商業智慧平台，以圖表來輔助決策的進行，但因視覺呈現的限制，再複雜的問題，也只能以二維、三維的形式片段地解讀資料。因此，若是停留在 BI，也就是商業智慧的層次，而沒有繼續往 AI 前進，那麼大數據分析的潛力可說還沒有發揮三成。</p>\r\n<h2 class=\"writingsH2\"><strong>真正的戰場在於業務核心決策問題</strong></h2>\r\n<p>在開始談應用之前，還是要再強調一次，<span class=\"blueP\">人工智慧及機器學習不是魔術，也不是這兩年才發明的全新技術，它的確在某些特定問題上達到前所未有的成就，例如人臉辨識及人物、行為辨識等，這些是十年前我們很難想像可以落地的應用。另一方面，有許多我們利用傳統方法沒有獲得好解答的老問題，例如怎麼發送行銷文宣，也可以透過機器學習得到更高明的解法。</span></p>\r\n<p>所以，不要以為導入人工智慧，就是在做無人商店、無人分行、刷臉支付這類新型應用，其實<span class=\"blueP\">人工智慧的戰場更在於業務核心流程裡，各種與情境相依的決策，這些決策能否成功地智能化及最佳化，才是決定產業AI化是否成功、企業競爭力是否提升的關鍵。</span>因此，這堂課先不談生物辨識技術所帶來的無人商店、刷臉支付等顯而易見的新型應用，而是專注在核心業務流程的決策問題。</p>\r\n<p>例如，若要進行零售業的店鋪選址及金融業的ATM或分行選址，常見的做法是蒐集人流、車流、金流、天氣、房價、人均所得、再加上現有商店的營業績效等資料後，疊畫在地圖上，以肉眼比較，在何處設點效益最高，這是業內常見的作法。</p>\r\n<p>但我們必須知道，<span class=\"blueP\">只要是在超過三個維度的問題上要找出最佳解，機器學習基本上就會做得比人類還好，</span>可以預測在某處設點的營業額，甚至精確到各個商品類別的營業額預測，絕對有機會比目前以大數據進行人工選址準確許多。</p>\r\n<h2 class=\"writingsH2\"><strong>零售店動線及擺設靠 AI 做到最佳化</strong></h2>\r\n<p>至於<span class=\"blueP\">零售店點內的動線及商品擺設，通常依店內空間及業界慣例來設計，例如食物跟非食物各據一方，生鮮食品最靠牆邊等等，但這不一定是最佳選擇。</span>例如，有些區域是顧客必經之地，包括門口及結帳櫃台前的區塊，多依店長的經驗來決定擺放策略，通常是熱門、長銷、最新、高折扣、高毛利或主打商品等。雖然有些店長會做些實驗來比較，但若沒有嚴謹的實驗設計及機器學習技術的輔助，只能驗證假設是否正確以及累積經驗直覺，無法做到真正的最佳化。</p>\r\n<p>對於擁有大量店點的零售業者，可以利用店鋪間原本就存在的差異性，同時考量店點位置，顧客的消費能力、習慣和偏好，來建立描述動線設計及商品擺設策略與銷量關係的機器學習模型。這樣的模型必然是高維度模型，並不是簡單地跑跑統計分析就能找出答案。預測與最佳化層次的資料分析，最顯著的特徵是成效可以量化。</p>\r\n<p>因此，機器學習模型可以幫助我們預測，若把結帳櫃台前由擺放 A 商品改為 B 商品，可以使營業額上升 5%；或是先讓顧客看到 C 商品再逛到 D 商品，此動線的調整可讓營業額上升 1.2% 等，統合這些預測結果，可以幫助我們找到整體最佳的店點設計。<span class=\"blueP\">要能夠利用模型來進行精確的預測及最佳規劃，才表示我們正由BI商業智慧走向 AI 人工智慧。</span></p>\r\n<h2 class=\"writingsH2\"><strong>推薦系統與個人化文宣的應用</strong></h2>\r\n<p>零售業與金融業的共通日常決策問題之中，最常被關注的應該是廣告文宣的發送。針對某份文宣，篩選出哪些客戶可能較感興趣，畢竟發送文宣是有成本的，同時也避免讓收件者反感而退訂。<span class=\"blueP\">篩選客戶的演算法稱為推薦系統，目前國內的主流做法仍然是基於直覺與經驗的推薦系統，但基於機器學習的推薦系統已在許多情境上證明有更精準的成效。</span></p>\r\n<p><span class=\"blueP\">在推薦系統之外，如何做好個人化文宣也是門學問。個人化文宣指的是，內容並不是人工設計而是透過演算法，根據顧客的屬性及購買行為來進行全自動的客製化。</span>例如，孕婦收到的零售業文宣，會是依她的消費能力及喜好而量身推薦的孕期商品；在她的小孩出生後，所收到的文宣就會由產婦及幼兒照護所需的商品組成。同樣的，富二代、白領階級及學生收到的金融業文宣，也能依他們的資產規模及投資理念的不同，而量身推薦合適的信用卡及理財商品。每份文宣全自動依機器學習演算法來製造，百萬份文宣內容可能沒有兩份是完全相同的。\r\n</p>\r\n<p>當然，<span class=\"blueP\">個人化文宣將造成流程上的巨大改變，傳統上，文宣是行銷及美術企劃的心血結晶，如果變成個人化內容，則是由企劃將文宣的骨幹做好，美術企劃提供素材，而完整內容由資料科學家以演算法來自動製成，這樣的改變會影響到部門編制與作業流程，當然有一定的挑戰存在。也因此，可以預期這類型的流程改善若沒有高瞻遠矚的主管支持，要導入它可能比導入無人商店或分行還困難。</span></p>\r\n<h2 class=\"writingsH2\"><strong>金融業兩大技術創新：AI 與區塊鏈</strong></h2>\r\n<p>接下來，我們來談談金融業。Fintech 金融科技正在浪頭上，有許多商業模式的創新，在數位支付，P2P 金融行為，群眾募資，監理科技等不同面向；但若靜下心來看，可以發現技術上的創新基本上只有兩種，一種是大家正在努力找出殺手級應用的區塊鏈技術，另一種就是人工智慧。</p>\r\n<p><span class=\"blueP\">在金融業中，人工智慧的應用可以大略分為四個面向：風險、行銷、服務及作業流程。</span>風險面向就是對未來風險盡可能的精準預測，這裡說的風險，主要是信用風險、市場風險及作業風險，放在保險業的情境裡就是保險精算、放在銀行業的情境裡就是預測帳戶的盜用甚至買賣，以及信用卡盜刷等。這些與金融業歷史一樣悠久的經典問題，在人工智慧的時代中，因為機器學習技術的進步，也發展出更加個人化且精準的解決方案。</p>\r\n<p>在行銷及服務面向，剛剛提到的廣告文宣的發送及個人化文宣設計就是一例。同時，也可以將機器學習應用在商品及服務的改良。例如網頁及手機 App 介面的改良、信用卡的優惠設計、保單的參數組合、行銷活動的設計，甚至到分行的抽號機制及座椅安排，都有許多發揮的空間。</p>\r\n<p>舉個具體的例子，電話客服中心通常會將來電者區分為 VIP 及一般用戶，VIP 有特殊專員處理，而一般用戶的客服專員就會隨機指派。<span class=\"blueP\">一個更好的做法是，根據來電者的性別、年紀、性格、擁有商品以及最近的交易，預測這通電話的來意，以演算法自動指派最合適的客服專員給來電者。</span>若只是修改帳單地址，讓新手客服來接聽即可，若是問題較複雜的客戶，就自動安排經驗老道的資深客服來處理。</p>\r\n<p>你可能會問，客戶的性別、年紀不是問題，性格怎麼會知道呢？<span class=\"blueP\">事實上運用機器學習技術，可以分析兩人之間的對話，包含用字遣詞、對話模式及語氣，可以某種程度推論出對話者的人格特質，包含情緒穩定度、容易妥協的傾向及負責任的程度等等。</span></p>\r\n<p>再進一步，以文字或語音客服機器人來提供理財顧問或保單規劃的服務，也很快會發生，大幅延伸金融業的客戶服務範圍。隨著各式人機互動的人工智慧技術提供者的出現，這類服務很快將普及化。只是，<span class=\"blueP\">無論是與人互動的文字及語音介面，或是產品推薦，或是理財規劃，要讓消費者覺得他所用的人工智慧服務並不只是跟風，而能夠真正提供高品質的服務，個中的差別，就在於每家企業對於業務的規劃，對於資料基礎建設的投入，以及人工智慧團隊的技術成熟度。</span></p>\r\n<h2 class=\"writingsH2\"><strong>人工智慧導入的應用需要持續改善</strong></h2>\r\n<p>我期待透過這兩堂課所談的製造業、零售業及金融業案例，能讓大家了解人工智慧的產業應用，並且能夠藉此想像人工智慧在其他產業的應用形式，畢竟人工智慧是個工具，我們無法在這裡窮舉所有的應用可能。</p>\r\n<p>同時，我希望大家可以感受到，<span class=\"blueP\">人工智慧的導入不是 0 與 1，而是 0 分到 100 分，所以千萬不要覺得某個產品或流程有人工智慧的成分，就認定公司的產業 AI 化工作已經達標。它跟二十年前談 e 化一樣，隨著業務的發展及流程的演進，e 化的程度永遠不會是百分之百，永遠有新的流程要改善，以及對應的 e 化工作要進行。</span>同樣的，人工智慧的導入不論涵蓋廣度及技術深度，在各種業務的應用永遠不會有完成的一天，只是我們必須依可用資源及報酬率做個聰明的投資權衡。\r\n</p>','The Issue of Taiwan\'s Industrial AI Series(8):What are the advantages and disadvantages of adopting AI into the retail and financial industries?','','publish','closed','open','','ai-in-retailfinance','','','2021-06-07 17:53:28','2021-06-07 09:53:28','',0,'https://aiacademy.tw/?p=10654',143,'post','',0),(10655,11,'2020-02-01 10:27:46','2020-02-01 02:27:46','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>製造業長期以來是台灣的強項，擅長在一定成本的前提下提升產品的質量和可靠性，有深厚的產業Know-How，並有完整的供應鏈支持。</p>\r\n<p>如何藉由人工智慧的導入，讓原本的核心競爭優勢快速升級？在這堂課有完整說明。</p>\r\n<blockquote><p><span class=\"em\">依我們與合作伙伴的經驗，越是複雜的生產流程，人工智慧可發揮的空間越大</span></p></blockquote>\r\n<p>先前課程中曾經談到，企業要導入人工智慧必須要先對人工智慧技術有清楚、正確的認知，並要還清技術債，包括流程自動化及資料基礎建設，並一步步地釐清想要解決的問題、蒐集正確的、足夠的資料，以及培養有能力解讀資料、挖掘價值的人工智慧團隊。</p>\r\n<p>從這堂課開始，我們以實例來解說產業 AI 化的切入點，也就是人工智慧適合拿來解決什麼樣的產業問題。</p>\r\n<h2 class=\"writingsH2\"><strong>製造業是台灣強項 導入 AI 可快速升級</strong></h2>\r\n<p>問題必定與業務有關，因此我們今天就從擔負台灣經濟命脈的製造業開始，包括電子製造業、石化業、紡織業、工具機業、食品加工業等，這些產業該如何發展人工智慧來降低流程的不確定性及成本，並且能提升產品的最終品質與價值？</p>\r\n<p>製造業長期以來是台灣的強項，我們擅長精益求精、堅持不懈地在一定成本的前提下提升產品的質量和可靠性，累積深厚的產業Know-How，並有完整的供應鏈支持。因此，我相信在人工智慧高速成長階段的此刻，只要不落於人後，願意投入人工智慧，給予同仁合適的人工智慧訓練，讓原本的核心競爭優勢快速升級，並不是難事。這點我們一定要對自己有信心。 </p>\r\n<h2 class=\"writingsH2\"><strong>製造業共同面對的四種挑戰</strong></h2>\r\n<p>我們團隊在2017年曾經深入製造業現場，訪談及整理產業需求，<span class=\"blueP\">發現人工智慧可以有效解決製造業所面臨的四種共通挑戰，分別是瑕疵檢測、自動流程控制、預測性維護，以及原料組合最佳化。</span></p>\r\n<p>第一種共通挑戰是瑕疵檢測。我們拜訪了多家製造業，非常驚訝地看到每一家公司都聘請不少員工，從幾十人到幾百人，用眼睛來檢測生產過程中的半成品跟成品中有沒有瑕疵，不管是金屬表面的瑕疵，或是玻璃、印刷電路板、電子產品、或是牛仔布的瑕疵。</p>\r\n<p>在多數產業中，這些瑕疵檢測工作雖然都有AOI（Automatic Optical Inspection） 設備來輔助進行，但這類型系統多半都採用傳統的人為規則來檢查，診斷不夠精準，誤報頻傳，仍需人員在後端再次篩選檢驗。</p>\r\n<h2 class=\"writingsH2\"><strong>深度學習系統檢測速度提升 48 倍</strong></h2>\r\n<p>但人工檢測也沒有辦法提供百分之百準確的結果，根據我們的觀察，<span class=\"blueP\">人工目測檢視的瑕疵漏網率（leakage rate）通常在 5% 以上，甚至高達20%，</span>原因來自於瑕疵並沒有客觀標準，以及眼花、疲勞等因素。其次，由於<span class=\"blueP\">人工檢測速度較慢，許多待檢測的半成品或成品都須先暫留在某處，待目視檢測後才可以移往下一個製程，成為生產效率的瓶頸。</span></p>\r\n<p>根據我們團隊與超過五家企業合作的成果證明，以機器學習為主的第三波人工智慧技術，十分適合解決瑕疵檢測的問題。相較於人工目測檢視，深度學習系統不僅準確率更高且檢測速度更快。</p>\r\n<p><span class=\"blueP\">在某家製造業的實例中，人員目測的漏網率約5%，人工智慧漏網率降低為0.01%；另一方面，人員目測速度每天約為30萬張影像，但僅使用一台10萬元左右的電腦，此數字可以提升至每日1,440萬張，高達48倍的加速。</span>在其他製造業的合作中，我們也都得到類似的結果，證明今天的人工智慧技術可以做到比人類更穩定且更有效率的瑕疵檢測。</p>\r\n<h2 class=\"writingsH2\"><strong>自動流程控制：流程越複雜，人工智慧發揮空間越大</strong></h2>\r\n<p>第二種共通挑戰是機器參數的調控及最佳化，或稱為自動流程控制。在生產過程中，產品品質、良率及生產速率會受到許多相關的參數影響，如馬達轉速、輪軸速度、電流、電壓以及環境變數如風速、濕度及溫度等等，而在生產流程中，這些需要監控與調控的參數可能多達上百甚至上千個。</p>\r\n<p class=\"blueP\">由於維度過高，當生產條件有任何改變而需要調校參數時，很難憑著經驗來做最佳化。目前第一線實務多仰賴老師傅們的經驗，或是透過不斷的試誤來調整，除了要花費許多時間及資源，重點是我們永遠不知道我們目前的製程，距離最佳參數組合還有多遠。\r\n 處理高維度資訊並不是人類的專長，我們只能靠直覺、歸納與推論，但這正好是機器學習擅長的領域，我們可以用機器學習來學習設備參數、環境、生產條件及目標之間的關聯性，每當設備、環境、生產條件或目標有改變時，就可以透過模型來找出最佳參數，大幅縮短因試誤而浪費的時間及生產成本。\r\n</p>\r\n<p><span class=\"blueP\">依我們與合作伙伴的經驗，越是複雜的生產流程，人工智慧可發揮的空間越大。</span>例如，在某個化工製程中，我們曾經觀察到在某段時間裡，在製程工程師控制參數的調校之下，產品良率只有六成；但透過機器學習來學習參數的調校方法，可以在適當的時間提示製程工程師將某些參數調整為適當的數值，這樣做的話，最高可以將良率大幅提升到98%，增加幅度超過五成。</p>\r\n<h2 class=\"writingsH2\"><strong>預測性維護：預測機件或耗材的健康狀態及壽命</strong></h2>\r\n<p>第三種共同挑戰是，生產設備隨時都有發生故障的可能。有些設備的失敗成本很高，若在運轉狀態中損壞，將導致線上所有原料及半成品的消耗，造成良率降低；同時維修可能曠日廢時，造成產出率降低。此外，若生產流程中所使用的耗材成本較高，例如精密切割機的刀片，定期更換雖然能確保產品品質不受影響，但耗材費用將居高不下；相反地，若等到產品品質下降後再更換耗材，就會造成良率的降低。</p>\r\n<p class=\"blueP\">如何預測什麼時候機器會出錯？該提前進廠保養？以及預測耗材什麼時候更換最有利，才能以最低生產成本維持良率？這就是預測性維護的功用。</p>\r\n<p><span class=\"blueP\">預測性維護通常牽涉到訊號處理，例如要預測馬達是否需要維修，通常可以透過馬達的電壓、轉速、震動及聲音來判別；當然若要判斷整部機台是否需要維修，可用的訊號可更多了。</span>機器學習十分擅長進行高維度的多媒體訊號處理，善用它來預測機件或耗材的健康狀態及壽命，將能幫助我們更精準地管理生產現場，避免意外故障所造成的損失。</p>\r\n<h2 class=\"writingsH2\"><strong>原料組合的最佳化：維持生產成本且能提升品質</strong></h2>\r\n<p>第四種共通挑戰是原料組合的最佳化。絕大多數的產品皆由多種原料經加工過程產出，而每一種原料都可以來自不同供應商，有不同等級及價格，甚至每個批次在品質及特性上都有些微的差異。在此情況下，我們就有空間可以在各種原料、供應商、等級及成本的排列組合中，找出最能提升最終成品品質，同時維持生產成本及效率的處方。</p>\r\n<p>例如<span class=\"blueP\">對電子組裝產業來說，一張印刷電路板上需放置幾百個電子元件，每個電子元件都有不同的供應商、等級及成本，如何在所有可能的排列組合中找到最佳方案，正是人工智慧可以發揮之處。</span></p>\r\n<p>此外，有些產業，例如化工業及染整業，原料之間的比例才是大學問，需要找到完美的組合比例，才能產出高品質的成品。以染整業為例，客戶的要求是在特定布料上染出指定的顏色，且具有指定程度的固色性及演色性，目前的作法通常以模擬軟體來計算第一次的染料配方，再由經驗豐富的老師傅來修正比例。以現況來說，只要牽涉到新的布料及顏色組合，就得經歷平均至少3到7天的打色嘗試，才能夠達到客戶的允收範圍。</p>\r\n<p>根據我們與染整業者合作的經驗，以機器學習為基本的人工智慧技術，確實可以建出模型來描述布料、目標顏色以及染料濃度之間的關係，提供更準確快速的方法來決定染料配方。以第一次的打色而言，現況是用軟體模擬加上師傅經驗調整，成功率約為七成，而我們提出的方法，成功率可以達到九成五，有十分顯著的差異。</p>\r\n<h2 class=\"writingsH2\"><strong>製造業的應用空間不僅只於生產流程</strong></h2>\r\n<p>我們今天談了製造業常見的的四種共通挑戰：瑕疵檢測、自動流程控制、預測性維護，以及原料組合最佳化。<span class=\"blueP\">請千萬不要誤會這就是人工智慧在製造業能做的應用，事實上，這只是個開始；若能夠善用人工智慧，不只可以在生產流程上做優化，在其他業務面向，還有太多的空間可以發揮。</span></p>\r\n<p>同樣的，這堂課我們以製造業來做為案例，也千萬不要以為製造業是特例，才能看到許多人工智慧的成功案例。2018是很重要的一年，人工智慧已經滲透每一個產業，不論你身處在哪裡，若你還沒有感覺到人工智慧的無所不在，相信我，非常有可能只是你還沒有察覺到改變已經發生。</p>\r\n<p>接下來會繼續與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，將以零售業與金融業做為下堂課的案例。</p>\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n','台灣產業AI化的問題8〉零售業、金融業導入AI的優勢與劣勢','','inherit','closed','closed','','10654-revision-v1','','','2020-02-01 10:27:46','2020-02-01 02:27:46','',10654,'https://aiacademy.tw/10654-revision-v1/',0,'revision','',0),(10658,11,'2020-02-01 10:47:10','2020-02-01 02:47:10','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>零售業與金融業一直以來特別注重資訊流的管理，也是台灣產業大數據分析的先行者，按理說導入人工智慧的門檻較低，成功率也可能較高。但事實真的是這樣嗎？</p>\r\n<blockquote><p><span class=\"em\">人工智慧服務並不只是跟風，而能夠真正提供高品質的服務，個中的差別，就在於每家企業對於業務的規劃，對於資料基礎建設的投入，以及人工智慧團隊的技術成熟度。</span></p></blockquote>\r\n<p>上一堂課我們從製造業的四種常見的共通挑戰開始，說明人工智慧可以用來解決什麼樣的問題，這堂課要繼續分享人工智慧在零售業與金融業的應用。</p>\r\n<p>為什麼<span class=\"blueP\">選擇零售業與金融業來做案例？因為這兩個產業的核心業務就是在處理資訊流，包括物流、人流及金流，也因此它們特別重視資訊管理，基本上都會把各式資訊管理系統導入齊全，例如倉儲管理、物流管理、企業資源規畫ERP、客戶關係管理CRM、資料倉儲、商業智慧等等，它們是大數據技術的先行導入者，也通常有蒐集資料以輔助決策的文化。</span>由於人工智慧需要有資料才能驅動，也因此，這兩個產業要導入人工智慧相對上技術與管理門檻較低，速度會比較快。</p>\r\n<p>但同時也要留心，有時候，<span class=\"blueP\">先行者也會有劣勢，主因在於對大數據分析的誤解。</span>前面我們談過，資料分析可分為四個層次，由淺入深依序為描述、解釋、預測及最佳化。描述性分析幫助評估現況及瞭解問題，解釋性分析提供問題的初步診斷，而預測及最佳化提供改善和解決問題的工具。</p>\r\n<p>國內的零售業與金融業通常早早就導入商業智慧平台，以圖表來輔助決策的進行，但因視覺呈現的限制，再複雜的問題，也只能以二維、三維的形式片段地解讀資料。因此，若是停留在 BI，也就是商業智慧的層次，而沒有繼續往 AI 前進，那麼大數據分析的潛力可說還沒有發揮三成。</p>\r\n<h2 class=\"writingsH2\"><strong>真正的戰場在於業務核心決策問題</strong></h2>\r\n<p>在開始談應用之前，還是要再強調一次，<span class=\"blueP\">人工智慧及機器學習不是魔術，也不是這兩年才發明的全新技術，它的確在某些特定問題上達到前所未有的成就，例如人臉辨識及人物、行為辨識等，這些是十年前我們很難想像可以落地的應用。另一方面，有許多我們利用傳統方法沒有獲得好解答的老問題，例如怎麼發送行銷文宣，也可以透過機器學習得到更高明的解法。</span></p>\r\n<p>所以，不要以為導入人工智慧，就是在做無人商店、無人分行、刷臉支付這類新型應用，其實<span class=\"blueP\">人工智慧的戰場更在於業務核心流程裡，各種與情境相依的決策，這些決策能否成功地智能化及最佳化，才是決定產業AI化是否成功、企業競爭力是否提升的關鍵。</span>因此，這堂課先不談生物辨識技術所帶來的無人商店、刷臉支付等顯而易見的新型應用，而是專注在核心業務流程的決策問題。</p>\r\n<p>例如，若要進行零售業的店鋪選址及金融業的ATM或分行選址，常見的做法是蒐集人流、車流、金流、天氣、房價、人均所得、再加上現有商店的營業績效等資料後，疊畫在地圖上，以肉眼比較，在何處設點效益最高，這是業內常見的作法。</p>\r\n<p>但我們必須知道，<span class=\"blueP\">只要是在超過三個維度的問題上要找出最佳解，機器學習基本上就會做得比人類還好，</span>可以預測在某處設點的營業額，甚至精確到各個商品類別的營業額預測，絕對有機會比目前以大數據進行人工選址準確許多。</p>\r\n<h2 class=\"writingsH2\"><strong>零售店動線及擺設靠 AI 做到最佳化</strong></h2>\r\n<p>至於<span class=\"blueP\">零售店點內的動線及商品擺設，通常依店內空間及業界慣例來設計，例如食物跟非食物各據一方，生鮮食品最靠牆邊等等，但這不一定是最佳選擇。</span>例如，有些區域是顧客必經之地，包括門口及結帳櫃台前的區塊，多依店長的經驗來決定擺放策略，通常是熱門、長銷、最新、高折扣、高毛利或主打商品等。雖然有些店長會做些實驗來比較，但若沒有嚴謹的實驗設計及機器學習技術的輔助，只能驗證假設是否正確以及累積經驗直覺，無法做到真正的最佳化。</p>\r\n<p>對於擁有大量店點的零售業者，可以利用店鋪間原本就存在的差異性，同時考量店點位置，顧客的消費能力、習慣和偏好，來建立描述動線設計及商品擺設策略與銷量關係的機器學習模型。這樣的模型必然是高維度模型，並不是簡單地跑跑統計分析就能找出答案。預測與最佳化層次的資料分析，最顯著的特徵是成效可以量化。</p>\r\n<p>因此，機器學習模型可以幫助我們預測，若把結帳櫃台前由擺放 A 商品改為 B 商品，可以使營業額上升 5%；或是先讓顧客看到 C 商品再逛到 D 商品，此動線的調整可讓營業額上升 1.2% 等，統合這些預測結果，可以幫助我們找到整體最佳的店點設計。<span class=\"blueP\">要能夠利用模型來進行精確的預測及最佳規劃，才表示我們正由BI商業智慧走向 AI 人工智慧。</span></p>\r\n<h2 class=\"writingsH2\"><strong>推薦系統與個人化文宣的應用</strong></h2>\r\n<p>零售業與金融業的共通日常決策問題之中，最常被關注的應該是廣告文宣的發送。針對某份文宣，篩選出哪些客戶可能較感興趣，畢竟發送文宣是有成本的，同時也避免讓收件者反感而退訂。<span class=\"blueP\">篩選客戶的演算法稱為推薦系統，目前國內的主流做法仍然是基於直覺與經驗的推薦系統，但基於機器學習的推薦系統已在許多情境上證明有更精準的成效。</span></p>\r\n<p><span class=\"blueP\">在推薦系統之外，如何做好個人化文宣也是門學問。個人化文宣指的是，內容並不是人工設計而是透過演算法，根據顧客的屬性及購買行為來進行全自動的客製化。</span>例如，孕婦收到的零售業文宣，會是依她的消費能力及喜好而量身推薦的孕期商品；在她的小孩出生後，所收到的文宣就會由產婦及幼兒照護所需的商品組成。同樣的，富二代、白領階級及學生收到的金融業文宣，也能依他們的資產規模及投資理念的不同，而量身推薦合適的信用卡及理財商品。每份文宣全自動依機器學習演算法來製造，百萬份文宣內容可能沒有兩份是完全相同的。\r\n</p>\r\n<p>當然，<span class=\"blueP\">個人化文宣將造成流程上的巨大改變，傳統上，文宣是行銷及美術企劃的心血結晶，如果變成個人化內容，則是由企劃將文宣的骨幹做好，美術企劃提供素材，而完整內容由資料科學家以演算法來自動製成，這樣的改變會影響到部門編制與作業流程，當然有一定的挑戰存在。也因此，可以預期這類型的流程改善若沒有高瞻遠矚的主管支持，要導入它可能比導入無人商店或分行還困難。</span></p>\r\n<h2 class=\"writingsH2\"><strong>金融業兩大技術創新：AI 與區塊鏈</strong></h2>\r\n<p>接下來，我們來談談金融業。Fintech 金融科技正在浪頭上，有許多商業模式的創新，在數位支付，P2P 金融行為，群眾募資，監理科技等不同面向；但若靜下心來看，可以發現技術上的創新基本上只有兩種，一種是大家正在努力找出殺手級應用的區塊鏈技術，另一種就是人工智慧。</p>\r\n<p><span class=\"blueP\">在金融業中，人工智慧的應用可以大略分為四個面向：風險、行銷、服務及作業流程。</span>風險面向就是對未來風險盡可能的精準預測，這裡說的風險，主要是信用風險、市場風險及作業風險，放在保險業的情境裡就是保險精算、放在銀行業的情境裡就是預測帳戶的盜用甚至買賣，以及信用卡盜刷等。這些與金融業歷史一樣悠久的經典問題，在人工智慧的時代中，因為機器學習技術的進步，也發展出更加個人化且精準的解決方案。</p>\r\n<p>在行銷及服務面向，剛剛提到的廣告文宣的發送及個人化文宣設計就是一例。同時，也可以將機器學習應用在商品及服務的改良。例如網頁及手機App介面的改良、信用卡的優惠設計、保單的參數組合、行銷活動的設計，甚至到分行的抽號機制及座椅安排，都有許多發揮的空間。</p>\r\n<p>舉個具體的例子，電話客服中心通常會將來電者區分為VIP及一般用戶，VIP有特殊專員處理，而一般用戶的客服專員就會隨機指派。<span class=\"blueP\">一個更好的做法是，根據來電者的性別、年紀、性格、擁有商品以及最近的交易，預測這通電話的來意，以演算法自動指派最合適的客服專員給來電者。</span>若只是修改帳單地址，讓新手客服來接聽即可，若是問題較複雜的客戶，就自動安排經驗老道的資深客服來處理。</p>\r\n<p>你可能會問，客戶的性別、年紀不是問題，性格怎麼會知道呢？<span class=\"blueP\">事實上運用機器學習技術，可以分析兩人之間的對話，包含用字遣詞、對話模式及語氣，可以某種程度推論出對話者的人格特質，包含情緒穩定度、容易妥協的傾向及負責任的程度等等。</span></p>\r\n<p>再進一步，以文字或語音客服機器人來提供理財顧問或保單規劃的服務，也很快會發生，大幅延伸金融業的客戶服務範圍。隨著各式人機互動的人工智慧技術提供者的出現，這類服務很快將普及化。只是，<span class=\"blueP\">無論是與人互動的文字及語音介面，或是產品推薦，或是理財規劃，要讓消費者覺得他所用的人工智慧服務並不只是跟風，而能夠真正提供高品質的服務，個中的差別，就在於每家企業對於業務的規劃，對於資料基礎建設的投入，以及人工智慧團隊的技術成熟度。</span></p>\r\n<h2 class=\"writingsH2\"><strong>人工智慧導入的應用需要持續改善</strong></h2>\r\n<p>我期待透過這兩堂課所談的製造業、零售業及金融業案例，能讓大家了解人工智慧的產業應用，並且能夠藉此想像人工智慧在其他產業的應用形式，畢竟人工智慧是個工具，我們無法在這裡窮舉所有的應用可能。</p>\r\n<p>同時，我希望大家可以感受到，<span class=\"blueP\">人工智慧的導入不是 0 與 1，而是 0 分到 100 分，所以千萬不要覺得某個產品或流程有人工智慧的成分，就認定公司的產業 AI 化工作已經達標。它跟二十年前談 e 化一樣，隨著業務的發展及流程的演進，e 化的程度永遠不會是百分之百，永遠有新的流程要改善，以及對應的 e 化工作要進行。</span>同樣的，人工智慧的導入不論涵蓋廣度及技術深度，在各種業務的應用永遠不會有完成的一天，只是我們必須依可用資源及報酬率做個聰明的投資權衡。\r\n</p>','台灣產業AI化的問題8〉零售業、金融業導入AI的優勢與劣勢','','inherit','closed','closed','','10654-revision-v1','','','2020-02-01 10:47:10','2020-02-01 02:47:10','',10654,'https://aiacademy.tw/10654-revision-v1/',0,'revision','',0),(10659,11,'2020-02-01 10:48:24','2020-02-01 02:48:24','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>零售業與金融業一直以來特別注重資訊流的管理，也是台灣產業大數據分析的先行者，按理說導入人工智慧的門檻較低，成功率也可能較高。但事實真的是這樣嗎？</p>\r\n<blockquote><p><span class=\"em\">人工智慧服務並不只是跟風，而能夠真正提供高品質的服務，個中的差別，就在於每家企業對於業務的規劃，對於資料基礎建設的投入，以及人工智慧團隊的技術成熟度。</span></p></blockquote>\r\n<p>上一堂課我們從製造業的四種常見的共通挑戰開始，說明人工智慧可以用來解決什麼樣的問題，這堂課要繼續分享人工智慧在零售業與金融業的應用。</p>\r\n<p>為什麼<span class=\"blueP\">選擇零售業與金融業來做案例？因為這兩個產業的核心業務就是在處理資訊流，包括物流、人流及金流，也因此它們特別重視資訊管理，基本上都會把各式資訊管理系統導入齊全，例如倉儲管理、物流管理、企業資源規畫ERP、客戶關係管理CRM、資料倉儲、商業智慧等等，它們是大數據技術的先行導入者，也通常有蒐集資料以輔助決策的文化。</span>由於人工智慧需要有資料才能驅動，也因此，這兩個產業要導入人工智慧相對上技術與管理門檻較低，速度會比較快。</p>\r\n<p>但同時也要留心，有時候，<span class=\"blueP\">先行者也會有劣勢，主因在於對大數據分析的誤解。</span>前面我們談過，資料分析可分為四個層次，由淺入深依序為描述、解釋、預測及最佳化。描述性分析幫助評估現況及瞭解問題，解釋性分析提供問題的初步診斷，而預測及最佳化提供改善和解決問題的工具。</p>\r\n<p>國內的零售業與金融業通常早早就導入商業智慧平台，以圖表來輔助決策的進行，但因視覺呈現的限制，再複雜的問題，也只能以二維、三維的形式片段地解讀資料。因此，若是停留在 BI，也就是商業智慧的層次，而沒有繼續往 AI 前進，那麼大數據分析的潛力可說還沒有發揮三成。</p>\r\n<h2 class=\"writingsH2\"><strong>真正的戰場在於業務核心決策問題</strong></h2>\r\n<p>在開始談應用之前，還是要再強調一次，<span class=\"blueP\">人工智慧及機器學習不是魔術，也不是這兩年才發明的全新技術，它的確在某些特定問題上達到前所未有的成就，例如人臉辨識及人物、行為辨識等，這些是十年前我們很難想像可以落地的應用。另一方面，有許多我們利用傳統方法沒有獲得好解答的老問題，例如怎麼發送行銷文宣，也可以透過機器學習得到更高明的解法。</span></p>\r\n<p>所以，不要以為導入人工智慧，就是在做無人商店、無人分行、刷臉支付這類新型應用，其實<span class=\"blueP\">人工智慧的戰場更在於業務核心流程裡，各種與情境相依的決策，這些決策能否成功地智能化及最佳化，才是決定產業AI化是否成功、企業競爭力是否提升的關鍵。</span>因此，這堂課先不談生物辨識技術所帶來的無人商店、刷臉支付等顯而易見的新型應用，而是專注在核心業務流程的決策問題。</p>\r\n<p>例如，若要進行零售業的店鋪選址及金融業的ATM或分行選址，常見的做法是蒐集人流、車流、金流、天氣、房價、人均所得、再加上現有商店的營業績效等資料後，疊畫在地圖上，以肉眼比較，在何處設點效益最高，這是業內常見的作法。</p>\r\n<p>但我們必須知道，<span class=\"blueP\">只要是在超過三個維度的問題上要找出最佳解，機器學習基本上就會做得比人類還好，</span>可以預測在某處設點的營業額，甚至精確到各個商品類別的營業額預測，絕對有機會比目前以大數據進行人工選址準確許多。</p>\r\n<h2 class=\"writingsH2\"><strong>零售店動線及擺設靠 AI 做到最佳化</strong></h2>\r\n<p>至於<span class=\"blueP\">零售店點內的動線及商品擺設，通常依店內空間及業界慣例來設計，例如食物跟非食物各據一方，生鮮食品最靠牆邊等等，但這不一定是最佳選擇。</span>例如，有些區域是顧客必經之地，包括門口及結帳櫃台前的區塊，多依店長的經驗來決定擺放策略，通常是熱門、長銷、最新、高折扣、高毛利或主打商品等。雖然有些店長會做些實驗來比較，但若沒有嚴謹的實驗設計及機器學習技術的輔助，只能驗證假設是否正確以及累積經驗直覺，無法做到真正的最佳化。</p>\r\n<p>對於擁有大量店點的零售業者，可以利用店鋪間原本就存在的差異性，同時考量店點位置，顧客的消費能力、習慣和偏好，來建立描述動線設計及商品擺設策略與銷量關係的機器學習模型。這樣的模型必然是高維度模型，並不是簡單地跑跑統計分析就能找出答案。預測與最佳化層次的資料分析，最顯著的特徵是成效可以量化。</p>\r\n<p>因此，機器學習模型可以幫助我們預測，若把結帳櫃台前由擺放 A 商品改為 B 商品，可以使營業額上升 5%；或是先讓顧客看到 C 商品再逛到 D 商品，此動線的調整可讓營業額上升 1.2% 等，統合這些預測結果，可以幫助我們找到整體最佳的店點設計。<span class=\"blueP\">要能夠利用模型來進行精確的預測及最佳規劃，才表示我們正由BI商業智慧走向 AI 人工智慧。</span></p>\r\n<h2 class=\"writingsH2\"><strong>推薦系統與個人化文宣的應用</strong></h2>\r\n<p>零售業與金融業的共通日常決策問題之中，最常被關注的應該是廣告文宣的發送。針對某份文宣，篩選出哪些客戶可能較感興趣，畢竟發送文宣是有成本的，同時也避免讓收件者反感而退訂。<span class=\"blueP\">篩選客戶的演算法稱為推薦系統，目前國內的主流做法仍然是基於直覺與經驗的推薦系統，但基於機器學習的推薦系統已在許多情境上證明有更精準的成效。</span></p>\r\n<p><span class=\"blueP\">在推薦系統之外，如何做好個人化文宣也是門學問。個人化文宣指的是，內容並不是人工設計而是透過演算法，根據顧客的屬性及購買行為來進行全自動的客製化。</span>例如，孕婦收到的零售業文宣，會是依她的消費能力及喜好而量身推薦的孕期商品；在她的小孩出生後，所收到的文宣就會由產婦及幼兒照護所需的商品組成。同樣的，富二代、白領階級及學生收到的金融業文宣，也能依他們的資產規模及投資理念的不同，而量身推薦合適的信用卡及理財商品。每份文宣全自動依機器學習演算法來製造，百萬份文宣內容可能沒有兩份是完全相同的。\r\n</p>\r\n<p>當然，<span class=\"blueP\">個人化文宣將造成流程上的巨大改變，傳統上，文宣是行銷及美術企劃的心血結晶，如果變成個人化內容，則是由企劃將文宣的骨幹做好，美術企劃提供素材，而完整內容由資料科學家以演算法來自動製成，這樣的改變會影響到部門編制與作業流程，當然有一定的挑戰存在。也因此，可以預期這類型的流程改善若沒有高瞻遠矚的主管支持，要導入它可能比導入無人商店或分行還困難。</span></p>\r\n<h2 class=\"writingsH2\"><strong>金融業兩大技術創新：AI 與區塊鏈</strong></h2>\r\n<p>接下來，我們來談談金融業。Fintech 金融科技正在浪頭上，有許多商業模式的創新，在數位支付，P2P 金融行為，群眾募資，監理科技等不同面向；但若靜下心來看，可以發現技術上的創新基本上只有兩種，一種是大家正在努力找出殺手級應用的區塊鏈技術，另一種就是人工智慧。</p>\r\n<p><span class=\"blueP\">在金融業中，人工智慧的應用可以大略分為四個面向：風險、行銷、服務及作業流程。</span>風險面向就是對未來風險盡可能的精準預測，這裡說的風險，主要是信用風險、市場風險及作業風險，放在保險業的情境裡就是保險精算、放在銀行業的情境裡就是預測帳戶的盜用甚至買賣，以及信用卡盜刷等。這些與金融業歷史一樣悠久的經典問題，在人工智慧的時代中，因為機器學習技術的進步，也發展出更加個人化且精準的解決方案。</p>\r\n<p>在行銷及服務面向，剛剛提到的廣告文宣的發送及個人化文宣設計就是一例。同時，也可以將機器學習應用在商品及服務的改良。例如網頁及手機 App 介面的改良、信用卡的優惠設計、保單的參數組合、行銷活動的設計，甚至到分行的抽號機制及座椅安排，都有許多發揮的空間。</p>\r\n<p>舉個具體的例子，電話客服中心通常會將來電者區分為 VIP 及一般用戶，VIP 有特殊專員處理，而一般用戶的客服專員就會隨機指派。<span class=\"blueP\">一個更好的做法是，根據來電者的性別、年紀、性格、擁有商品以及最近的交易，預測這通電話的來意，以演算法自動指派最合適的客服專員給來電者。</span>若只是修改帳單地址，讓新手客服來接聽即可，若是問題較複雜的客戶，就自動安排經驗老道的資深客服來處理。</p>\r\n<p>你可能會問，客戶的性別、年紀不是問題，性格怎麼會知道呢？<span class=\"blueP\">事實上運用機器學習技術，可以分析兩人之間的對話，包含用字遣詞、對話模式及語氣，可以某種程度推論出對話者的人格特質，包含情緒穩定度、容易妥協的傾向及負責任的程度等等。</span></p>\r\n<p>再進一步，以文字或語音客服機器人來提供理財顧問或保單規劃的服務，也很快會發生，大幅延伸金融業的客戶服務範圍。隨著各式人機互動的人工智慧技術提供者的出現，這類服務很快將普及化。只是，<span class=\"blueP\">無論是與人互動的文字及語音介面，或是產品推薦，或是理財規劃，要讓消費者覺得他所用的人工智慧服務並不只是跟風，而能夠真正提供高品質的服務，個中的差別，就在於每家企業對於業務的規劃，對於資料基礎建設的投入，以及人工智慧團隊的技術成熟度。</span></p>\r\n<h2 class=\"writingsH2\"><strong>人工智慧導入的應用需要持續改善</strong></h2>\r\n<p>我期待透過這兩堂課所談的製造業、零售業及金融業案例，能讓大家了解人工智慧的產業應用，並且能夠藉此想像人工智慧在其他產業的應用形式，畢竟人工智慧是個工具，我們無法在這裡窮舉所有的應用可能。</p>\r\n<p>同時，我希望大家可以感受到，<span class=\"blueP\">人工智慧的導入不是 0 與 1，而是 0 分到 100 分，所以千萬不要覺得某個產品或流程有人工智慧的成分，就認定公司的產業 AI 化工作已經達標。它跟二十年前談 e 化一樣，隨著業務的發展及流程的演進，e 化的程度永遠不會是百分之百，永遠有新的流程要改善，以及對應的 e 化工作要進行。</span>同樣的，人工智慧的導入不論涵蓋廣度及技術深度，在各種業務的應用永遠不會有完成的一天，只是我們必須依可用資源及報酬率做個聰明的投資權衡。\r\n</p>','台灣產業AI化的問題8〉零售業、金融業導入AI的優勢與劣勢','','inherit','closed','closed','','10654-revision-v1','','','2020-02-01 10:48:24','2020-02-01 02:48:24','',10654,'https://aiacademy.tw/10654-revision-v1/',0,'revision','',0),(10660,11,'2020-02-01 10:51:11','2020-02-01 02:51:11','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>談到人工智慧，大概最流行的話題就是「有哪些工作會被取代」。在本課中從工作的本質出發，詳細分析什麼樣的工作容易被取代，又有哪些工作不可能由人工智慧代勞，最重要的是，應該如何正確看待人工智慧未來對我們工作產生的影響。</p>\r\n<blockquote><p><span class=\"em\">創造跟決策中間有些灰色地帶，很容易混淆，有些工作看起來似乎是創造，其實只是一連串決策的組合。</span></p></blockquote>\r\n<p>經常有人問我，進入人工智慧時代之後，是不是一定要當軟體工程師才有前途？如果不是工程背景的人，是不是註定要被淘汰？今天的課程就跟大家分享，如果你不是工程出身，也不會寫程式，面對來勢洶洶的人工智慧浪潮，應該如何規劃自己的職涯，維持職場競爭力。</p>\r\n<h2 class=\"writingsH2\"><strong>不同工作性質 AI 扮演角色大不相同</strong></h2>\r\n<p>首先，請大家先拋開經常聽說的各種恐嚇，說什麼人工智慧會很快取代人類大部分的工作，甚至統治人類。我們應該回過頭來，先分析自己工作的主要成分是什麼，或許可以<span class=\"blueP\">大致分成四類，分別是行政管理(management)、溝通 (communication)、決策 (decision)，以及創造 (creation)。</span></p>\r\n<h2 class=\"writingsH2\"><strong>行政管理：由 AI 代勞可節省大量時間</strong></h2>\r\n<p>我們先從行政管理談起，例如資料整理、工作報表、考勤紀錄、薪資發放、績效考核等，這些工作有些部分未來可以交由人工智慧來執行。</p>\r\n<p>根據《哈佛商業評論》針對 14 個國家的 1,770 位經理人進行問卷調查，發現目前各層級的經理人都投入大量時間在行政管理工作上，像是協調員工的工作日程及報告撰寫。事實上，《哈佛商業評論》估計，企業若把這些工作轉交給人工智慧處理，至少能夠幫主管節省一半的行政管理時間。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>溝通：視內容複雜程度而定</strong></h2>\r\n<p>第二種類型的工作為「溝通」，舉凡推銷、談判、公關、遊說、報告、接受申辦、查詢、客服等工作。照目前的人工智慧技術發展來看，大部分需要人與人直接溝通的工作不會被人工智慧取代。但有較固定形式的問答，例如餐廳訂位、購票、預約及客服，甚至電話行銷的「意願判斷」階段，的確有可能會慢慢由人工智慧來分擔。</p>\r\n<p>有趣的是，感覺類似的餐廳訂位跟機場接送預約，其實大不同。餐廳訂位只需要時間、人數、兒童餐具、包廂等資訊；機場接送則需要知道時間、人數、飛機航班、航廈、接送點、行李件數、兒童座椅、有沒有指定車款等問題，而且很多問題是去程回程都不一樣。<span class=\"blueP\">這兩種客服工作需要確認的資訊不同，對人工智慧系統來說，複雜度就有很大差別。</span></p>\r\n<p>同樣也從事客服工作，圖書館員的工作更複雜，被詢問的問題更是千奇百怪，從借還書、找書、書籍推薦、找論文、如何播放影片、資料庫查詢、書籍遺失等各種疑難雜症，類似這樣的工作，比較難被人工智慧取代。  </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>決策：資料質量夠  AI可比人類更準確快速</strong></h2>\r\n<p>第三類型的工作在於「決策」，包括創投、併購、選商、行銷、人員招募、陌生開發、客戶回訪、審核、基金操盤、商品開發、活動舉辦、定價，決定要不要買、要不要投資、要不要賣、賣多少錢，都屬於這類工作內容。而這也是大部分白領工作者的工作重點，稍後我會再跟各位深入討論。</p>\r\n<p>要特別提出的是，雖然今天的人工智慧仍是「弱人工智慧」，無法真正具有思考及學習能力，但已有太多實例可以證明，只要有足夠質量的資料，在各式商業情境中，讓人工智慧進行決策，可以比最有經驗的從業人員決策更為準確及快速。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造：很難被人工智慧取代</strong></h2>\r\n<p>第四類型的工作是「創造」，指的是無中生有的工作，像是寫程式、設計圖表、平面設計、寫作、企劃以及藝術創作等。<span class=\"blueP\">人工智慧或許可以幫忙整理、找資料或者提供線索，但短時間內沒有取代人類的可能，也就是說，創造的工作很難被人工智慧取代。</span></p>\r\n<p><span class=\"blueP\">綜合分析這四種類型的工作，創造跟決策中間有些灰色地帶，很容易混淆；有些工作看起來似乎是創造，其實只是一連串決策的組合。</span>例如在既有的文章與圖片中挑選，重組為新的作品，像是數位內容策展、產品組合、不同行銷訴求的廣告文案等，這類型的工作，<span class=\"blueP\">看似創造，但是以「決策」為核心，只要有大量的資料及可量化的績效，不久的將來，也很可能由人工智慧來代勞。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造可能只是一連串小決策的組合</strong></h2>\r\n<p class=\"blueP\">例如，阿里巴巴集團旗下的廣告交易平台「阿里媽媽」在 2018 年 6 月推出「AI 智能文案」系統，從淘寶、天貓的上億條標題文案中篩選出數百萬條，再經過自然語言處理，可以自動快速生成文案。無論是只需要幾個字的短標題，還是60字左右的商品描述，都能自動生成，根據他們宣稱，此系統能夠在1秒內產生2萬個短標題。</p>\r\n<p>這個系統甚至還能指定文案的風格，像是功能型、特價型、寫實型、逗趣型、古詩詞型等等。行銷人員不必再絞盡腦汁想標題文案，只要選擇自己覺得滿意的那組方案，就可以快速地完成工作。</p>\r\n<p>相信大家可以注意到，行銷文案寫作原本常被認為是「創造」性的工作，但其實只是一連串小決策的集合，而且是非常適合由人工智慧來處理的決策類型。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>滿足這三個條件就適合由 AI 進行決策</strong></h2>\r\n<p>什麼樣的決策適合由人工智慧來進行？有幾個檢查的規則。我們通常把可能影響決策的因素稱為 X，X 包含的變數可多可少，從兩三個到成千上萬個變數都可以；同時把決策變數稱為 Y，例如一個信貸申請案件有沒有被核可，或是一個行銷文案帶來多少業務收入都是決策變數。如果某個決策問題滿足以下三個條件，就很適合由人工智慧來執行：</p>\r\n<p class=\"blueP\">&nbsp1. 決策變數 Y 與可能影響決策的因素 X 有足夠的關聯性。</p>\r\n<p class=\"blueP\">&nbsp2. 成對的決策變數 Y 與可能影響決策的因素 X 有足夠多的樣本。</p>\r\n<p class=\"blueP\">&nbsp3. X 及 Y 的資料品質夠好，兩者之間的關聯性有足夠的一致性：也就是若 X1 及 X2 很像，那他們分別所對應的 Y1 及 Y2 應該也會很接近。</p>\r\n<p>從這三個條件來看，不難理解為什麼阿里媽媽的AI智能文案系統能夠快速產出方便好用的文案。按照同樣的標準，也可以盤點出適合人工智慧的決策工作至少還包含：行銷優惠方案、該去拜訪哪個客戶、預估產品交期、預測產品銷量以提前預備原料、貸款該不該核可，個人化的廣告文宣設計，甚至零售店點的展店決策等，都很適合以人工智慧來做半自動或全自動的決策輔助。 </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>這些事情目前仍必須由人類做決策</strong></h2>\r\n<p>當然，也有許多決策不適合由人工智慧來進行。<span class=\"blueP\">例如併購，因為一家公司的產品、員工、製造、研發及銷售能量很難量化，連資料都無法成形，因此人工智慧派不上用場；同樣的理由，創投與選商也不適合由人工智慧來做決策。另外像新市場的開發及新商品的定價，通常也有難以量化及樣本太少的問題，還是只能由人類來做決策。</span></p>\r\n<p class=\"blueP\">一個簡單的判斷方法，若你覺得自己的日常決策工作背後有些原則，可以完整寫出來或說出來，而且例外狀況不多，那通常就是人工智慧可替代的決策。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同工作將成為常態</strong></h2>\r\n<p>那麼，人工智慧會立刻取代我們的工作嗎？別擔心，即使你的工作是以人工智慧可替代的決策為主，未來可能會慢慢有人工智慧的參與，從提供決策輔助開始，逐漸轉變為人類與人工智慧分工合作。也就是說，<span class=\"blueP\">常規性的工作由人工智慧來進行，而人類負責處理特例以及持續改善人工智慧的效能。這樣一來，整體工作的品質及效率都能夠獲得提升。</span></p>\r\n<p>同時，日後企業的績效評估應該要審視人機協同工作的整體表現，而不是只看人工決策的部分，<span class=\"blueP\">因此職場工作者是否具備與人工智慧協同合作的能力會成為關鍵，企業裡的人力資源單位也要對此有所認知，預先做好準備。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同範例：美國 Stitch Fix 用人工智慧賣衣服</strong></h2>\r\n<p>2017 年在美國上市的 Stitch Fix 就是一個相當有趣的人機協作範例。這家公司做的是賣衣服的生意，表面上看起來平平無奇，但背後卻有堅強的人工智慧團隊，靠著資料及演算法在五年內打造出 14 億美元的市值，在美國目前擁有兩百萬活躍用戶。</p>\r\n<p>Stitch 的營運模式相當簡單，加入會員時先繳交 20 美元，就能定期收到裝著五件衣服的包裹，這是 Stitch 依個別用戶身材及偏好做個人化推薦的成果，用戶可以留下自己喜歡的品項，退回其他的，如果都不滿意也可以全數退回，但必須支付 20 美元的運費。</p>\r\n<p>這種營運模式非常大膽，因為如果用戶連續幾次對寄來的衣服都不滿意，很快就會流失。那為什麼 Stitch 有辦法獲得消費者的持續支持？因為有<span class=\"blueP\">強大的人工智慧團隊，針對會員在註冊時填寫的詳細問卷，與每次接受及拒絕的品項記錄，找出每個用戶的穿著品味及偏好，藉由機器學習不斷優化寄送的衣服，以符合每個用戶的需求，降低退貨率。</span></p>\r\n<p>但這樣還不夠，購衣及穿衣並不完全是科學可以掌握的行為，總有些人工智慧無法理解的考慮，得由專家與人工智慧協同合作。例如某些用戶老是退貨，或是特殊情境的需求，例如參加畢業舞會、第一次約會，或是參加重要的面試等。因此，Stitch 還有三百多位時尚造型師提供線上諮詢，幫助用戶找出最合適的商品，以滿足在不同情境下的需求體驗，同時增進人工智慧推薦系統的守備範圍，讓系統可以在未來將這些特殊的需求及情境列入考慮。</p>\r\n<p>從這個例子來看，<span class=\"blueP\">與人工智慧協同合作最簡單的績效評估方式是：有沒有讓工作效率更快？是不是讓決策更準？</span>具體的合作方式可能有很多種，例如由人來準備好高品質的資料，協助建立更好的人工智慧模型；或是以人工智慧來做常規的決策，由人來進行例外處理；或是以人工智慧來找出人類決策之間的不一致，幫助人類日後做更好的決策等。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人工智慧是工具，也是白領工作者的得力助手</strong></h2>\r\n<p>再回到人工智慧對於工作的取代性這個問題，若<span class=\"blueP\">你的工作以創造，或是人工智慧無法替代的溝通及決策為主，在可預見的未來，你的工作仍然很安全；而且，人工智慧將成為你的得力助手，</span>它們可以給予各種提示與線索，做決策上的輔助，讓你的工作表現更快更好，或是提供的服務更貼心。</p>\r\n<p>另一方面，<span class=\"blueP\">若你的工作內容大部分可由人工智慧替代，不妨考慮逐漸往創造、策略、溝通或管理的功能移動，讓自己從可能被人工智慧取代，提升為讓人工智慧為自己工作的人才。</span></p>\r\n<p>總結來說，對於非工程背景、不會寫程式的白領工作者而言，能不能善用人工智慧、與人工智慧協同合作，會是影響白領工作者未來職場競爭力的關鍵。</p>\r\n<p>這系列課程就是希望提升所有聽眾對於人工智慧的認識，要知道人工智慧是什麼、破除以訛傳訛的迷思、了解人工智慧的能與不能，再加上對於職場工作的分析，就可以知道，人工智慧只是個工具。甚至，不妨把它當成是複雜版本的Excel，它不會取代我們，更不會統治我們，只要用得好，將成為我們在職場上的得力助手。</p>','The Issue of Taiwan\'s Industrial AI Series(9):Will talents with non-engineering backgrounds be eliminated by the AI era?','','publish','closed','open','','will-it-be-eliminated-by-the-ai-era','','','2021-06-07 17:53:14','2021-06-07 09:53:14','',0,'https://aiacademy.tw/?p=10660',142,'post','',0),(10661,11,'2020-02-01 10:53:15','2020-02-01 02:53:15','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>製造業長期以來是台灣的強項，擅長在一定成本的前提下提升產品的質量和可靠性，有深厚的產業Know-How，並有完整的供應鏈支持。</p>\r\n<p>如何藉由人工智慧的導入，讓原本的核心競爭優勢快速升級？在這堂課有完整說明。</p>\r\n<blockquote><p><span class=\"em\">依我們與合作伙伴的經驗，越是複雜的生產流程，人工智慧可發揮的空間越大</span></p></blockquote>\r\n<p>先前課程中曾經談到，企業要導入人工智慧必須要先對人工智慧技術有清楚、正確的認知，並要還清技術債，包括流程自動化及資料基礎建設，並一步步地釐清想要解決的問題、蒐集正確的、足夠的資料，以及培養有能力解讀資料、挖掘價值的人工智慧團隊。</p>\r\n<p>從這堂課開始，我們以實例來解說產業 AI 化的切入點，也就是人工智慧適合拿來解決什麼樣的產業問題。</p>\r\n<h2 class=\"writingsH2\"><strong>製造業是台灣強項 導入 AI 可快速升級</strong></h2>\r\n<p>問題必定與業務有關，因此我們今天就從擔負台灣經濟命脈的製造業開始，包括電子製造業、石化業、紡織業、工具機業、食品加工業等，這些產業該如何發展人工智慧來降低流程的不確定性及成本，並且能提升產品的最終品質與價值？</p>\r\n<p>製造業長期以來是台灣的強項，我們擅長精益求精、堅持不懈地在一定成本的前提下提升產品的質量和可靠性，累積深厚的產業Know-How，並有完整的供應鏈支持。因此，我相信在人工智慧高速成長階段的此刻，只要不落於人後，願意投入人工智慧，給予同仁合適的人工智慧訓練，讓原本的核心競爭優勢快速升級，並不是難事。這點我們一定要對自己有信心。 </p>\r\n<h2 class=\"writingsH2\"><strong>製造業共同面對的四種挑戰</strong></h2>\r\n<p>我們團隊在2017年曾經深入製造業現場，訪談及整理產業需求，<span class=\"blueP\">發現人工智慧可以有效解決製造業所面臨的四種共通挑戰，分別是瑕疵檢測、自動流程控制、預測性維護，以及原料組合最佳化。</span></p>\r\n<p>第一種共通挑戰是瑕疵檢測。我們拜訪了多家製造業，非常驚訝地看到每一家公司都聘請不少員工，從幾十人到幾百人，用眼睛來檢測生產過程中的半成品跟成品中有沒有瑕疵，不管是金屬表面的瑕疵，或是玻璃、印刷電路板、電子產品、或是牛仔布的瑕疵。</p>\r\n<p>在多數產業中，這些瑕疵檢測工作雖然都有AOI（Automatic Optical Inspection） 設備來輔助進行，但這類型系統多半都採用傳統的人為規則來檢查，診斷不夠精準，誤報頻傳，仍需人員在後端再次篩選檢驗。</p>\r\n<h2 class=\"writingsH2\"><strong>深度學習系統檢測速度提升 48 倍</strong></h2>\r\n<p>但人工檢測也沒有辦法提供百分之百準確的結果，根據我們的觀察，<span class=\"blueP\">人工目測檢視的瑕疵漏網率（leakage rate）通常在 5% 以上，甚至高達20%，</span>原因來自於瑕疵並沒有客觀標準，以及眼花、疲勞等因素。其次，由於<span class=\"blueP\">人工檢測速度較慢，許多待檢測的半成品或成品都須先暫留在某處，待目視檢測後才可以移往下一個製程，成為生產效率的瓶頸。</span></p>\r\n<p>根據我們團隊與超過五家企業合作的成果證明，以機器學習為主的第三波人工智慧技術，十分適合解決瑕疵檢測的問題。相較於人工目測檢視，深度學習系統不僅準確率更高且檢測速度更快。</p>\r\n<p><span class=\"blueP\">在某家製造業的實例中，人員目測的漏網率約5%，人工智慧漏網率降低為0.01%；另一方面，人員目測速度每天約為30萬張影像，但僅使用一台10萬元左右的電腦，此數字可以提升至每日1,440萬張，高達48倍的加速。</span>在其他製造業的合作中，我們也都得到類似的結果，證明今天的人工智慧技術可以做到比人類更穩定且更有效率的瑕疵檢測。</p>\r\n<h2 class=\"writingsH2\"><strong>自動流程控制：流程越複雜，人工智慧發揮空間越大</strong></h2>\r\n<p>第二種共通挑戰是機器參數的調控及最佳化，或稱為自動流程控制。在生產過程中，產品品質、良率及生產速率會受到許多相關的參數影響，如馬達轉速、輪軸速度、電流、電壓以及環境變數如風速、濕度及溫度等等，而在生產流程中，這些需要監控與調控的參數可能多達上百甚至上千個。</p>\r\n<p class=\"blueP\">由於維度過高，當生產條件有任何改變而需要調校參數時，很難憑著經驗來做最佳化。目前第一線實務多仰賴老師傅們的經驗，或是透過不斷的試誤來調整，除了要花費許多時間及資源，重點是我們永遠不知道我們目前的製程，距離最佳參數組合還有多遠。\r\n 處理高維度資訊並不是人類的專長，我們只能靠直覺、歸納與推論，但這正好是機器學習擅長的領域，我們可以用機器學習來學習設備參數、環境、生產條件及目標之間的關聯性，每當設備、環境、生產條件或目標有改變時，就可以透過模型來找出最佳參數，大幅縮短因試誤而浪費的時間及生產成本。\r\n</p>\r\n<p><span class=\"blueP\">依我們與合作伙伴的經驗，越是複雜的生產流程，人工智慧可發揮的空間越大。</span>例如，在某個化工製程中，我們曾經觀察到在某段時間裡，在製程工程師控制參數的調校之下，產品良率只有六成；但透過機器學習來學習參數的調校方法，可以在適當的時間提示製程工程師將某些參數調整為適當的數值，這樣做的話，最高可以將良率大幅提升到98%，增加幅度超過五成。</p>\r\n<h2 class=\"writingsH2\"><strong>預測性維護：預測機件或耗材的健康狀態及壽命</strong></h2>\r\n<p>第三種共同挑戰是，生產設備隨時都有發生故障的可能。有些設備的失敗成本很高，若在運轉狀態中損壞，將導致線上所有原料及半成品的消耗，造成良率降低；同時維修可能曠日廢時，造成產出率降低。此外，若生產流程中所使用的耗材成本較高，例如精密切割機的刀片，定期更換雖然能確保產品品質不受影響，但耗材費用將居高不下；相反地，若等到產品品質下降後再更換耗材，就會造成良率的降低。</p>\r\n<p class=\"blueP\">如何預測什麼時候機器會出錯？該提前進廠保養？以及預測耗材什麼時候更換最有利，才能以最低生產成本維持良率？這就是預測性維護的功用。</p>\r\n<p><span class=\"blueP\">預測性維護通常牽涉到訊號處理，例如要預測馬達是否需要維修，通常可以透過馬達的電壓、轉速、震動及聲音來判別；當然若要判斷整部機台是否需要維修，可用的訊號可更多了。</span>機器學習十分擅長進行高維度的多媒體訊號處理，善用它來預測機件或耗材的健康狀態及壽命，將能幫助我們更精準地管理生產現場，避免意外故障所造成的損失。</p>\r\n<h2 class=\"writingsH2\"><strong>原料組合的最佳化：維持生產成本且能提升品質</strong></h2>\r\n<p>第四種共通挑戰是原料組合的最佳化。絕大多數的產品皆由多種原料經加工過程產出，而每一種原料都可以來自不同供應商，有不同等級及價格，甚至每個批次在品質及特性上都有些微的差異。在此情況下，我們就有空間可以在各種原料、供應商、等級及成本的排列組合中，找出最能提升最終成品品質，同時維持生產成本及效率的處方。</p>\r\n<p>例如<span class=\"blueP\">對電子組裝產業來說，一張印刷電路板上需放置幾百個電子元件，每個電子元件都有不同的供應商、等級及成本，如何在所有可能的排列組合中找到最佳方案，正是人工智慧可以發揮之處。</span></p>\r\n<p>此外，有些產業，例如化工業及染整業，原料之間的比例才是大學問，需要找到完美的組合比例，才能產出高品質的成品。以染整業為例，客戶的要求是在特定布料上染出指定的顏色，且具有指定程度的固色性及演色性，目前的作法通常以模擬軟體來計算第一次的染料配方，再由經驗豐富的老師傅來修正比例。以現況來說，只要牽涉到新的布料及顏色組合，就得經歷平均至少3到7天的打色嘗試，才能夠達到客戶的允收範圍。</p>\r\n<p>根據我們與染整業者合作的經驗，以機器學習為基本的人工智慧技術，確實可以建出模型來描述布料、目標顏色以及染料濃度之間的關係，提供更準確快速的方法來決定染料配方。以第一次的打色而言，現況是用軟體模擬加上師傅經驗調整，成功率約為七成，而我們提出的方法，成功率可以達到九成五，有十分顯著的差異。</p>\r\n<h2 class=\"writingsH2\"><strong>製造業的應用空間不僅只於生產流程</strong></h2>\r\n<p>我們今天談了製造業常見的的四種共通挑戰：瑕疵檢測、自動流程控制、預測性維護，以及原料組合最佳化。<span class=\"blueP\">請千萬不要誤會這就是人工智慧在製造業能做的應用，事實上，這只是個開始；若能夠善用人工智慧，不只可以在生產流程上做優化，在其他業務面向，還有太多的空間可以發揮。</span></p>\r\n<p>同樣的，這堂課我們以製造業來做為案例，也千萬不要以為製造業是特例，才能看到許多人工智慧的成功案例。2018是很重要的一年，人工智慧已經滲透每一個產業，不論你身處在哪裡，若你還沒有感覺到人工智慧的無所不在，相信我，非常有可能只是你還沒有察覺到改變已經發生。</p>\r\n<p>接下來會繼續與大家分享不同產業如何應用人工智慧來改善企業流程及提升競爭力，將以零售業與金融業做為下堂課的案例。</p>\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n','台灣產業AI化的問題9〉非工程背景人才，就要被AI時代淘汰嗎？','','inherit','closed','closed','','10660-revision-v1','','','2020-02-01 10:53:15','2020-02-01 02:53:15','',10660,'https://aiacademy.tw/10660-revision-v1/',0,'revision','',0),(10664,11,'2020-02-01 11:14:18','2020-02-01 03:14:18','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>談到人工智慧，大概最流行的話題就是「有哪些工作會被取代」。在本課中從工作的本質出發，詳細分析什麼樣的工作容易被取代，又有哪些工作不可能由人工智慧代勞，最重要的是，應該如何正確看待人工智慧未來對我們工作產生的影響。</p>\r\n<blockquote><p><span class=\"em\">創造跟決策中間有些灰色地帶，很容易混淆，有些工作看起來似乎是創造，其實只是一連串決策的組合。</span></p></blockquote>\r\n<p>經常有人問我，進入人工智慧時代之後，是不是一定要當軟體工程師才有前途？如果不是工程背景的人，是不是註定要被淘汰？今天的課程就跟大家分享，如果你不是工程出身，也不會寫程式，面對來勢洶洶的人工智慧浪潮，應該如何規劃自己的職涯，維持職場競爭力。</p>\r\n<h2 class=\"writingsH2\"><strong>不同工作性質 AI 扮演角色大不相同</strong></h2>\r\n<p>首先，請大家先拋開經常聽說的各種恐嚇，說什麼人工智慧會很快取代人類大部分的工作，甚至統治人類。我們應該回過頭來，先分析自己工作的主要成分是什麼，或許可以<span class=\"blueP\">大致分成四類，分別是行政管理(management)、溝通 (communication)、決策 (decision)，以及創造 (creation)。</span></p>\r\n<h2 class=\"writingsH2\"><strong>行政管理：由 AI 代勞可節省大量時間</strong></h2>\r\n<p>我們先從行政管理談起，例如資料整理、工作報表、考勤紀錄、薪資發放、績效考核等，這些工作有些部分未來可以交由人工智慧來執行。</p>\r\n<p>根據《哈佛商業評論》針對 14 個國家的 1,770 位經理人進行問卷調查，發現目前各層級的經理人都投入大量時間在行政管理工作上，像是協調員工的工作日程及報告撰寫。事實上，《哈佛商業評論》估計，企業若把這些工作轉交給人工智慧處理，至少能夠幫主管節省一半的行政管理時間。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>溝通：視內容複雜程度而定</strong></h2>\r\n<p>第二種類型的工作為「溝通」，舉凡推銷、談判、公關、遊說、報告、接受申辦、查詢、客服等工作。照目前的人工智慧技術發展來看，大部分需要人與人直接溝通的工作不會被人工智慧取代。但有較固定形式的問答，例如餐廳訂位、購票、預約及客服，甚至電話行銷的「意願判斷」階段，的確有可能會慢慢由人工智慧來分擔。</p>\r\n<p>有趣的是，感覺類似的餐廳訂位跟機場接送預約，其實大不同。餐廳訂位只需要時間、人數、兒童餐具、包廂等資訊；機場接送則需要知道時間、人數、飛機航班、航廈、接送點、行李件數、兒童座椅、有沒有指定車款等問題，而且很多問題是去程回程都不一樣。<span class=\"blueP\">這兩種客服工作需要確認的資訊不同，對人工智慧系統來說，複雜度就有很大差別。</span></p>\r\n<p>同樣也從事客服工作，圖書館員的工作更複雜，被詢問的問題更是千奇百怪，從借還書、找書、書籍推薦、找論文、如何播放影片、資料庫查詢、書籍遺失等各種疑難雜症，類似這樣的工作，比較難被人工智慧取代。  </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>決策：資料質量夠  AI可比人類更準確快速</strong></h2>\r\n<p>第三類型的工作在於「決策」，包括創投、併購、選商、行銷、人員招募、陌生開發、客戶回訪、審核、基金操盤、商品開發、活動舉辦、定價，決定要不要買、要不要投資、要不要賣、賣多少錢，都屬於這類工作內容。而這也是大部分白領工作者的工作重點，稍後我會再跟各位深入討論。</p>\r\n<p>要特別提出的是，雖然今天的人工智慧仍是「弱人工智慧」，無法真正具有思考及學習能力，但已有太多實例可以證明，只要有足夠質量的資料，在各式商業情境中，讓人工智慧進行決策，可以比最有經驗的從業人員決策更為準確及快速。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造：很難被人工智慧取代</strong></h2>\r\n<p>第四類型的工作是「創造」，指的是無中生有的工作，像是寫程式、設計圖表、平面設計、寫作、企劃以及藝術創作等。<span class=\"blueP\">人工智慧或許可以幫忙整理、找資料或者提供線索，但短時間內沒有取代人類的可能，也就是說，創造的工作很難被人工智慧取代。</span></p>\r\n<p><span class=\"blueP\">綜合分析這四種類型的工作，創造跟決策中間有些灰色地帶，很容易混淆；有些工作看起來似乎是創造，其實只是一連串決策的組合。</span>例如在既有的文章與圖片中挑選，重組為新的作品，像是數位內容策展、產品組合、不同行銷訴求的廣告文案等，這類型的工作，<span class=\"blueP\">看似創造，但是以「決策」為核心，只要有大量的資料及可量化的績效，不久的將來，也很可能由人工智慧來代勞。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造可能只是一連串小決策的組合</strong></h2>\r\n<p class=\"blueP\">例如，阿里巴巴集團旗下的廣告交易平台「阿里媽媽」在2018年6月推出「AI智能文案」系統，從淘寶、天貓的上億條標題文案中篩選出數百萬條，再經過自然語言處理，可以自動快速生成文案。無論是只需要幾個字的短標題，還是60字左右的商品描述，都能自動生成，根據他們宣稱，此系統能夠在1秒內產生2萬個短標題。</p>\r\n<p>這個系統甚至還能指定文案的風格，像是功能型、特價型、寫實型、逗趣型、古詩詞型等等。行銷人員不必再絞盡腦汁想標題文案，只要選擇自己覺得滿意的那組方案，就可以快速地完成工作。</p>\r\n<p>相信大家可以注意到，行銷文案寫作原本常被認為是「創造」性的工作，但其實只是一連串小決策的集合，而且是非常適合由人工智慧來處理的決策類型。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>滿足這三個條件就適合由 AI 進行決策</strong></h2>\r\n<p>什麼樣的決策適合由人工智慧來進行？有幾個檢查的規則。我們通常把可能影響決策的因素稱為X，X包含的變數可多可少，從兩三個到成千上萬個變數都可以；同時把決策變數稱為Y，例如一個信貸申請案件有沒有被核可，或是一個行銷文案帶來多少業務收入都是決策變數。如果某個決策問題滿足以下三個條件，就很適合由人工智慧來執行：</p>\r\n<p class=\"blueP\">\r\n1.決策變數Y 與可能影響決策的因素X 有足夠的關聯性。<br>\r\n2.成對的決策變數Y 與可能影響決策的因素X 有足夠多的樣本。<br>\r\n3.X及Y的資料品質夠好，兩者之間的關聯性有足夠的一致性：也就是若X1及X2很像，那他們分別所對應的Y1及 Y2應該也會很接近。<br>\r\n</p>\r\n<p>從這三個條件來看，不難理解為什麼阿里媽媽的AI智能文案系統能夠快速產出方便好用的文案。按照同樣的標準，也可以盤點出適合人工智慧的決策工作至少還包含：行銷優惠方案、該去拜訪哪個客戶、預估產品交期、預測產品銷量以提前預備原料、貸款該不該核可，個人化的廣告文宣設計，甚至零售店點的展店決策等，都很適合以人工智慧來做半自動或全自動的決策輔助。 </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>這些事情目前仍必須由人類做決策</strong></h2>\r\n<p>當然，也有許多決策不適合由人工智慧來進行。<span class=\"blueP\">例如併購，因為一家公司的產品、員工、製造、研發及銷售能量很難量化，連資料都無法成形，因此人工智慧派不上用場；同樣的理由，創投與選商也不適合由人工智慧來做決策。另外像新市場的開發及新商品的定價，通常也有難以量化及樣本太少的問題，還是只能由人類來做決策。</span></p>\r\n<p class=\"blueP\">一個簡單的判斷方法，若你覺得自己的日常決策工作背後有些原則，可以完整寫出來或說出來，而且例外狀況不多，那通常就是人工智慧可替代的決策。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同工作將成為常態</strong></h2>\r\n<p>那麼，人工智慧會立刻取代我們的工作嗎？別擔心，即使你的工作是以人工智慧可替代的決策為主，未來可能會慢慢有人工智慧的參與，從提供決策輔助開始，逐漸轉變為人類與人工智慧分工合作。也就是說，<span class=\"blueP\">常規性的工作由人工智慧來進行，而人類負責處理特例以及持續改善人工智慧的效能。這樣一來，整體工作的品質及效率都能夠獲得提升。</span></p>\r\n<p>同時，日後企業的績效評估應該要審視人機協同工作的整體表現，而不是只看人工決策的部分，<span class=\"blueP\">因此職場工作者是否具備與人工智慧協同合作的能力會成為關鍵，企業裡的人力資源單位也要對此有所認知，預先做好準備。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同範例：美國 Stitch Fix 用人工智慧賣衣服</strong></h2>\r\n<p>2017 年在美國上市的 Stitch Fix 就是一個相當有趣的人機協作範例。這家公司做的是賣衣服的生意，表面上看起來平平無奇，但背後卻有堅強的人工智慧團隊，靠著資料及演算法在五年內打造出 14 億美元的市值，在美國目前擁有兩百萬活躍用戶。</p>\r\n<p>Stitch 的營運模式相當簡單，加入會員時先繳交 20 美元，就能定期收到裝著五件衣服的包裹，這是 Stitch 依個別用戶身材及偏好做個人化推薦的成果，用戶可以留下自己喜歡的品項，退回其他的，如果都不滿意也可以全數退回，但必須支付 20 美元的運費。</p>\r\n<p>這種營運模式非常大膽，因為如果用戶連續幾次對寄來的衣服都不滿意，很快就會流失。那為什麼 Stitch 有辦法獲得消費者的持續支持？因為有<span class=\"blueP\">強大的人工智慧團隊，針對會員在註冊時填寫的詳細問卷，與每次接受及拒絕的品項記錄，找出每個用戶的穿著品味及偏好，藉由機器學習不斷優化寄送的衣服，以符合每個用戶的需求，降低退貨率。</span></p>\r\n<p>但這樣還不夠，購衣及穿衣並不完全是科學可以掌握的行為，總有些人工智慧無法理解的考慮，得由專家與人工智慧協同合作。例如某些用戶老是退貨，或是特殊情境的需求，例如參加畢業舞會、第一次約會，或是參加重要的面試等。因此，Stitch 還有三百多位時尚造型師提供線上諮詢，幫助用戶找出最合適的商品，以滿足在不同情境下的需求體驗，同時增進人工智慧推薦系統的守備範圍，讓系統可以在未來將這些特殊的需求及情境列入考慮。</p>\r\n<p>從這個例子來看，<span class=\"blueP\">與人工智慧協同合作最簡單的績效評估方式是：有沒有讓工作效率更快？是不是讓決策更準？</span>具體的合作方式可能有很多種，例如由人來準備好高品質的資料，協助建立更好的人工智慧模型；或是以人工智慧來做常規的決策，由人來進行例外處理；或是以人工智慧來找出人類決策之間的不一致，幫助人類日後做更好的決策等。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人工智慧是工具，也是白領工作者的得力助手</strong></h2>\r\n<p>再回到人工智慧對於工作的取代性這個問題，若<span class=\"blueP\">你的工作以創造，或是人工智慧無法替代的溝通及決策為主，在可預見的未來，你的工作仍然很安全；而且，人工智慧將成為你的得力助手，</span>它們可以給予各種提示與線索，做決策上的輔助，讓你的工作表現更快更好，或是提供的服務更貼心。</p>\r\n<p>另一方面，<span class=\"blueP\">若你的工作內容大部分可由人工智慧替代，不妨考慮逐漸往創造、策略、溝通或管理的功能移動，讓自己從可能被人工智慧取代，提升為讓人工智慧為自己工作的人才。</span></p>\r\n<p>總結來說，對於非工程背景、不會寫程式的白領工作者而言，能不能善用人工智慧、與人工智慧協同合作，會是影響白領工作者未來職場競爭力的關鍵。</p>\r\n<p>這系列課程就是希望提升所有聽眾對於人工智慧的認識，要知道人工智慧是什麼、破除以訛傳訛的迷思、了解人工智慧的能與不能，再加上對於職場工作的分析，就可以知道，人工智慧只是個工具。甚至，不妨把它當成是複雜版本的Excel，它不會取代我們，更不會統治我們，只要用得好，將成為我們在職場上的得力助手。</p>','台灣產業AI化的問題9〉非工程背景人才，就要被AI時代淘汰嗎？','','inherit','closed','closed','','10660-revision-v1','','','2020-02-01 11:14:18','2020-02-01 03:14:18','',10660,'https://aiacademy.tw/10660-revision-v1/',0,'revision','',0),(10665,11,'2020-02-01 11:16:46','2020-02-01 03:16:46','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>談到人工智慧，大概最流行的話題就是「有哪些工作會被取代」。在本課中從工作的本質出發，詳細分析什麼樣的工作容易被取代，又有哪些工作不可能由人工智慧代勞，最重要的是，應該如何正確看待人工智慧未來對我們工作產生的影響。</p>\r\n<blockquote><p><span class=\"em\">創造跟決策中間有些灰色地帶，很容易混淆，有些工作看起來似乎是創造，其實只是一連串決策的組合。</span></p></blockquote>\r\n<p>經常有人問我，進入人工智慧時代之後，是不是一定要當軟體工程師才有前途？如果不是工程背景的人，是不是註定要被淘汰？今天的課程就跟大家分享，如果你不是工程出身，也不會寫程式，面對來勢洶洶的人工智慧浪潮，應該如何規劃自己的職涯，維持職場競爭力。</p>\r\n<h2 class=\"writingsH2\"><strong>不同工作性質 AI 扮演角色大不相同</strong></h2>\r\n<p>首先，請大家先拋開經常聽說的各種恐嚇，說什麼人工智慧會很快取代人類大部分的工作，甚至統治人類。我們應該回過頭來，先分析自己工作的主要成分是什麼，或許可以<span class=\"blueP\">大致分成四類，分別是行政管理(management)、溝通 (communication)、決策 (decision)，以及創造 (creation)。</span></p>\r\n<h2 class=\"writingsH2\"><strong>行政管理：由 AI 代勞可節省大量時間</strong></h2>\r\n<p>我們先從行政管理談起，例如資料整理、工作報表、考勤紀錄、薪資發放、績效考核等，這些工作有些部分未來可以交由人工智慧來執行。</p>\r\n<p>根據《哈佛商業評論》針對 14 個國家的 1,770 位經理人進行問卷調查，發現目前各層級的經理人都投入大量時間在行政管理工作上，像是協調員工的工作日程及報告撰寫。事實上，《哈佛商業評論》估計，企業若把這些工作轉交給人工智慧處理，至少能夠幫主管節省一半的行政管理時間。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>溝通：視內容複雜程度而定</strong></h2>\r\n<p>第二種類型的工作為「溝通」，舉凡推銷、談判、公關、遊說、報告、接受申辦、查詢、客服等工作。照目前的人工智慧技術發展來看，大部分需要人與人直接溝通的工作不會被人工智慧取代。但有較固定形式的問答，例如餐廳訂位、購票、預約及客服，甚至電話行銷的「意願判斷」階段，的確有可能會慢慢由人工智慧來分擔。</p>\r\n<p>有趣的是，感覺類似的餐廳訂位跟機場接送預約，其實大不同。餐廳訂位只需要時間、人數、兒童餐具、包廂等資訊；機場接送則需要知道時間、人數、飛機航班、航廈、接送點、行李件數、兒童座椅、有沒有指定車款等問題，而且很多問題是去程回程都不一樣。<span class=\"blueP\">這兩種客服工作需要確認的資訊不同，對人工智慧系統來說，複雜度就有很大差別。</span></p>\r\n<p>同樣也從事客服工作，圖書館員的工作更複雜，被詢問的問題更是千奇百怪，從借還書、找書、書籍推薦、找論文、如何播放影片、資料庫查詢、書籍遺失等各種疑難雜症，類似這樣的工作，比較難被人工智慧取代。  </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>決策：資料質量夠  AI可比人類更準確快速</strong></h2>\r\n<p>第三類型的工作在於「決策」，包括創投、併購、選商、行銷、人員招募、陌生開發、客戶回訪、審核、基金操盤、商品開發、活動舉辦、定價，決定要不要買、要不要投資、要不要賣、賣多少錢，都屬於這類工作內容。而這也是大部分白領工作者的工作重點，稍後我會再跟各位深入討論。</p>\r\n<p>要特別提出的是，雖然今天的人工智慧仍是「弱人工智慧」，無法真正具有思考及學習能力，但已有太多實例可以證明，只要有足夠質量的資料，在各式商業情境中，讓人工智慧進行決策，可以比最有經驗的從業人員決策更為準確及快速。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造：很難被人工智慧取代</strong></h2>\r\n<p>第四類型的工作是「創造」，指的是無中生有的工作，像是寫程式、設計圖表、平面設計、寫作、企劃以及藝術創作等。<span class=\"blueP\">人工智慧或許可以幫忙整理、找資料或者提供線索，但短時間內沒有取代人類的可能，也就是說，創造的工作很難被人工智慧取代。</span></p>\r\n<p><span class=\"blueP\">綜合分析這四種類型的工作，創造跟決策中間有些灰色地帶，很容易混淆；有些工作看起來似乎是創造，其實只是一連串決策的組合。</span>例如在既有的文章與圖片中挑選，重組為新的作品，像是數位內容策展、產品組合、不同行銷訴求的廣告文案等，這類型的工作，<span class=\"blueP\">看似創造，但是以「決策」為核心，只要有大量的資料及可量化的績效，不久的將來，也很可能由人工智慧來代勞。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造可能只是一連串小決策的組合</strong></h2>\r\n<p class=\"blueP\">例如，阿里巴巴集團旗下的廣告交易平台「阿里媽媽」在 2018 年 6 月推出「AI 智能文案」系統，從淘寶、天貓的上億條標題文案中篩選出數百萬條，再經過自然語言處理，可以自動快速生成文案。無論是只需要幾個字的短標題，還是60字左右的商品描述，都能自動生成，根據他們宣稱，此系統能夠在1秒內產生2萬個短標題。</p>\r\n<p>這個系統甚至還能指定文案的風格，像是功能型、特價型、寫實型、逗趣型、古詩詞型等等。行銷人員不必再絞盡腦汁想標題文案，只要選擇自己覺得滿意的那組方案，就可以快速地完成工作。</p>\r\n<p>相信大家可以注意到，行銷文案寫作原本常被認為是「創造」性的工作，但其實只是一連串小決策的集合，而且是非常適合由人工智慧來處理的決策類型。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>滿足這三個條件就適合由 AI 進行決策</strong></h2>\r\n<p>什麼樣的決策適合由人工智慧來進行？有幾個檢查的規則。我們通常把可能影響決策的因素稱為 X，X 包含的變數可多可少，從兩三個到成千上萬個變數都可以；同時把決策變數稱為 Y，例如一個信貸申請案件有沒有被核可，或是一個行銷文案帶來多少業務收入都是決策變數。如果某個決策問題滿足以下三個條件，就很適合由人工智慧來執行：</p>\r\n<p class=\"blueP\">\r\n&nbsp1. 決策變數 Y 與可能影響決策的因素 X 有足夠的關聯性。<br>\r\n&nbsp2. 成對的決策變數 Y 與可能影響決策的因素 X 有足夠多的樣本。<br>\r\n&nbsp3. X 及 Y 的資料品質夠好，兩者之間的關聯性有足夠的一致性：也就是若 X1 及 X2 很像，那他們分別所對應的 Y1 及 Y2 應該也會很接近。<br>\r\n</p>\r\n<p>從這三個條件來看，不難理解為什麼阿里媽媽的AI智能文案系統能夠快速產出方便好用的文案。按照同樣的標準，也可以盤點出適合人工智慧的決策工作至少還包含：行銷優惠方案、該去拜訪哪個客戶、預估產品交期、預測產品銷量以提前預備原料、貸款該不該核可，個人化的廣告文宣設計，甚至零售店點的展店決策等，都很適合以人工智慧來做半自動或全自動的決策輔助。 </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>這些事情目前仍必須由人類做決策</strong></h2>\r\n<p>當然，也有許多決策不適合由人工智慧來進行。<span class=\"blueP\">例如併購，因為一家公司的產品、員工、製造、研發及銷售能量很難量化，連資料都無法成形，因此人工智慧派不上用場；同樣的理由，創投與選商也不適合由人工智慧來做決策。另外像新市場的開發及新商品的定價，通常也有難以量化及樣本太少的問題，還是只能由人類來做決策。</span></p>\r\n<p class=\"blueP\">一個簡單的判斷方法，若你覺得自己的日常決策工作背後有些原則，可以完整寫出來或說出來，而且例外狀況不多，那通常就是人工智慧可替代的決策。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同工作將成為常態</strong></h2>\r\n<p>那麼，人工智慧會立刻取代我們的工作嗎？別擔心，即使你的工作是以人工智慧可替代的決策為主，未來可能會慢慢有人工智慧的參與，從提供決策輔助開始，逐漸轉變為人類與人工智慧分工合作。也就是說，<span class=\"blueP\">常規性的工作由人工智慧來進行，而人類負責處理特例以及持續改善人工智慧的效能。這樣一來，整體工作的品質及效率都能夠獲得提升。</span></p>\r\n<p>同時，日後企業的績效評估應該要審視人機協同工作的整體表現，而不是只看人工決策的部分，<span class=\"blueP\">因此職場工作者是否具備與人工智慧協同合作的能力會成為關鍵，企業裡的人力資源單位也要對此有所認知，預先做好準備。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同範例：美國 Stitch Fix 用人工智慧賣衣服</strong></h2>\r\n<p>2017 年在美國上市的 Stitch Fix 就是一個相當有趣的人機協作範例。這家公司做的是賣衣服的生意，表面上看起來平平無奇，但背後卻有堅強的人工智慧團隊，靠著資料及演算法在五年內打造出 14 億美元的市值，在美國目前擁有兩百萬活躍用戶。</p>\r\n<p>Stitch 的營運模式相當簡單，加入會員時先繳交 20 美元，就能定期收到裝著五件衣服的包裹，這是 Stitch 依個別用戶身材及偏好做個人化推薦的成果，用戶可以留下自己喜歡的品項，退回其他的，如果都不滿意也可以全數退回，但必須支付 20 美元的運費。</p>\r\n<p>這種營運模式非常大膽，因為如果用戶連續幾次對寄來的衣服都不滿意，很快就會流失。那為什麼 Stitch 有辦法獲得消費者的持續支持？因為有<span class=\"blueP\">強大的人工智慧團隊，針對會員在註冊時填寫的詳細問卷，與每次接受及拒絕的品項記錄，找出每個用戶的穿著品味及偏好，藉由機器學習不斷優化寄送的衣服，以符合每個用戶的需求，降低退貨率。</span></p>\r\n<p>但這樣還不夠，購衣及穿衣並不完全是科學可以掌握的行為，總有些人工智慧無法理解的考慮，得由專家與人工智慧協同合作。例如某些用戶老是退貨，或是特殊情境的需求，例如參加畢業舞會、第一次約會，或是參加重要的面試等。因此，Stitch 還有三百多位時尚造型師提供線上諮詢，幫助用戶找出最合適的商品，以滿足在不同情境下的需求體驗，同時增進人工智慧推薦系統的守備範圍，讓系統可以在未來將這些特殊的需求及情境列入考慮。</p>\r\n<p>從這個例子來看，<span class=\"blueP\">與人工智慧協同合作最簡單的績效評估方式是：有沒有讓工作效率更快？是不是讓決策更準？</span>具體的合作方式可能有很多種，例如由人來準備好高品質的資料，協助建立更好的人工智慧模型；或是以人工智慧來做常規的決策，由人來進行例外處理；或是以人工智慧來找出人類決策之間的不一致，幫助人類日後做更好的決策等。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人工智慧是工具，也是白領工作者的得力助手</strong></h2>\r\n<p>再回到人工智慧對於工作的取代性這個問題，若<span class=\"blueP\">你的工作以創造，或是人工智慧無法替代的溝通及決策為主，在可預見的未來，你的工作仍然很安全；而且，人工智慧將成為你的得力助手，</span>它們可以給予各種提示與線索，做決策上的輔助，讓你的工作表現更快更好，或是提供的服務更貼心。</p>\r\n<p>另一方面，<span class=\"blueP\">若你的工作內容大部分可由人工智慧替代，不妨考慮逐漸往創造、策略、溝通或管理的功能移動，讓自己從可能被人工智慧取代，提升為讓人工智慧為自己工作的人才。</span></p>\r\n<p>總結來說，對於非工程背景、不會寫程式的白領工作者而言，能不能善用人工智慧、與人工智慧協同合作，會是影響白領工作者未來職場競爭力的關鍵。</p>\r\n<p>這系列課程就是希望提升所有聽眾對於人工智慧的認識，要知道人工智慧是什麼、破除以訛傳訛的迷思、了解人工智慧的能與不能，再加上對於職場工作的分析，就可以知道，人工智慧只是個工具。甚至，不妨把它當成是複雜版本的Excel，它不會取代我們，更不會統治我們，只要用得好，將成為我們在職場上的得力助手。</p>','台灣產業AI化的問題9〉非工程背景人才，就要被AI時代淘汰嗎？','','inherit','closed','closed','','10660-revision-v1','','','2020-02-01 11:16:46','2020-02-01 03:16:46','',10660,'https://aiacademy.tw/10660-revision-v1/',0,'revision','',0),(10666,11,'2020-02-01 11:17:45','2020-02-01 03:17:45','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>談到人工智慧，大概最流行的話題就是「有哪些工作會被取代」。在本課中從工作的本質出發，詳細分析什麼樣的工作容易被取代，又有哪些工作不可能由人工智慧代勞，最重要的是，應該如何正確看待人工智慧未來對我們工作產生的影響。</p>\r\n<blockquote><p><span class=\"em\">創造跟決策中間有些灰色地帶，很容易混淆，有些工作看起來似乎是創造，其實只是一連串決策的組合。</span></p></blockquote>\r\n<p>經常有人問我，進入人工智慧時代之後，是不是一定要當軟體工程師才有前途？如果不是工程背景的人，是不是註定要被淘汰？今天的課程就跟大家分享，如果你不是工程出身，也不會寫程式，面對來勢洶洶的人工智慧浪潮，應該如何規劃自己的職涯，維持職場競爭力。</p>\r\n<h2 class=\"writingsH2\"><strong>不同工作性質 AI 扮演角色大不相同</strong></h2>\r\n<p>首先，請大家先拋開經常聽說的各種恐嚇，說什麼人工智慧會很快取代人類大部分的工作，甚至統治人類。我們應該回過頭來，先分析自己工作的主要成分是什麼，或許可以<span class=\"blueP\">大致分成四類，分別是行政管理(management)、溝通 (communication)、決策 (decision)，以及創造 (creation)。</span></p>\r\n<h2 class=\"writingsH2\"><strong>行政管理：由 AI 代勞可節省大量時間</strong></h2>\r\n<p>我們先從行政管理談起，例如資料整理、工作報表、考勤紀錄、薪資發放、績效考核等，這些工作有些部分未來可以交由人工智慧來執行。</p>\r\n<p>根據《哈佛商業評論》針對 14 個國家的 1,770 位經理人進行問卷調查，發現目前各層級的經理人都投入大量時間在行政管理工作上，像是協調員工的工作日程及報告撰寫。事實上，《哈佛商業評論》估計，企業若把這些工作轉交給人工智慧處理，至少能夠幫主管節省一半的行政管理時間。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>溝通：視內容複雜程度而定</strong></h2>\r\n<p>第二種類型的工作為「溝通」，舉凡推銷、談判、公關、遊說、報告、接受申辦、查詢、客服等工作。照目前的人工智慧技術發展來看，大部分需要人與人直接溝通的工作不會被人工智慧取代。但有較固定形式的問答，例如餐廳訂位、購票、預約及客服，甚至電話行銷的「意願判斷」階段，的確有可能會慢慢由人工智慧來分擔。</p>\r\n<p>有趣的是，感覺類似的餐廳訂位跟機場接送預約，其實大不同。餐廳訂位只需要時間、人數、兒童餐具、包廂等資訊；機場接送則需要知道時間、人數、飛機航班、航廈、接送點、行李件數、兒童座椅、有沒有指定車款等問題，而且很多問題是去程回程都不一樣。<span class=\"blueP\">這兩種客服工作需要確認的資訊不同，對人工智慧系統來說，複雜度就有很大差別。</span></p>\r\n<p>同樣也從事客服工作，圖書館員的工作更複雜，被詢問的問題更是千奇百怪，從借還書、找書、書籍推薦、找論文、如何播放影片、資料庫查詢、書籍遺失等各種疑難雜症，類似這樣的工作，比較難被人工智慧取代。  </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>決策：資料質量夠  AI可比人類更準確快速</strong></h2>\r\n<p>第三類型的工作在於「決策」，包括創投、併購、選商、行銷、人員招募、陌生開發、客戶回訪、審核、基金操盤、商品開發、活動舉辦、定價，決定要不要買、要不要投資、要不要賣、賣多少錢，都屬於這類工作內容。而這也是大部分白領工作者的工作重點，稍後我會再跟各位深入討論。</p>\r\n<p>要特別提出的是，雖然今天的人工智慧仍是「弱人工智慧」，無法真正具有思考及學習能力，但已有太多實例可以證明，只要有足夠質量的資料，在各式商業情境中，讓人工智慧進行決策，可以比最有經驗的從業人員決策更為準確及快速。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造：很難被人工智慧取代</strong></h2>\r\n<p>第四類型的工作是「創造」，指的是無中生有的工作，像是寫程式、設計圖表、平面設計、寫作、企劃以及藝術創作等。<span class=\"blueP\">人工智慧或許可以幫忙整理、找資料或者提供線索，但短時間內沒有取代人類的可能，也就是說，創造的工作很難被人工智慧取代。</span></p>\r\n<p><span class=\"blueP\">綜合分析這四種類型的工作，創造跟決策中間有些灰色地帶，很容易混淆；有些工作看起來似乎是創造，其實只是一連串決策的組合。</span>例如在既有的文章與圖片中挑選，重組為新的作品，像是數位內容策展、產品組合、不同行銷訴求的廣告文案等，這類型的工作，<span class=\"blueP\">看似創造，但是以「決策」為核心，只要有大量的資料及可量化的績效，不久的將來，也很可能由人工智慧來代勞。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造可能只是一連串小決策的組合</strong></h2>\r\n<p class=\"blueP\">例如，阿里巴巴集團旗下的廣告交易平台「阿里媽媽」在 2018 年 6 月推出「AI 智能文案」系統，從淘寶、天貓的上億條標題文案中篩選出數百萬條，再經過自然語言處理，可以自動快速生成文案。無論是只需要幾個字的短標題，還是60字左右的商品描述，都能自動生成，根據他們宣稱，此系統能夠在1秒內產生2萬個短標題。</p>\r\n<p>這個系統甚至還能指定文案的風格，像是功能型、特價型、寫實型、逗趣型、古詩詞型等等。行銷人員不必再絞盡腦汁想標題文案，只要選擇自己覺得滿意的那組方案，就可以快速地完成工作。</p>\r\n<p>相信大家可以注意到，行銷文案寫作原本常被認為是「創造」性的工作，但其實只是一連串小決策的集合，而且是非常適合由人工智慧來處理的決策類型。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>滿足這三個條件就適合由 AI 進行決策</strong></h2>\r\n<p>什麼樣的決策適合由人工智慧來進行？有幾個檢查的規則。我們通常把可能影響決策的因素稱為 X，X 包含的變數可多可少，從兩三個到成千上萬個變數都可以；同時把決策變數稱為 Y，例如一個信貸申請案件有沒有被核可，或是一個行銷文案帶來多少業務收入都是決策變數。如果某個決策問題滿足以下三個條件，就很適合由人工智慧來執行：</p>\r\n<p class=\"blueP\">&nbsp1. 決策變數 Y 與可能影響決策的因素 X 有足夠的關聯性。</p>\r\n<p class=\"blueP\">&nbsp2. 成對的決策變數 Y 與可能影響決策的因素 X 有足夠多的樣本。</p>\r\n<p class=\"blueP\">&nbsp3. X 及 Y 的資料品質夠好，兩者之間的關聯性有足夠的一致性：也就是若 X1 及 X2 很像，那他們分別所對應的 Y1 及 Y2 應該也會很接近。</p>\r\n</p>\r\n<p>從這三個條件來看，不難理解為什麼阿里媽媽的AI智能文案系統能夠快速產出方便好用的文案。按照同樣的標準，也可以盤點出適合人工智慧的決策工作至少還包含：行銷優惠方案、該去拜訪哪個客戶、預估產品交期、預測產品銷量以提前預備原料、貸款該不該核可，個人化的廣告文宣設計，甚至零售店點的展店決策等，都很適合以人工智慧來做半自動或全自動的決策輔助。 </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>這些事情目前仍必須由人類做決策</strong></h2>\r\n<p>當然，也有許多決策不適合由人工智慧來進行。<span class=\"blueP\">例如併購，因為一家公司的產品、員工、製造、研發及銷售能量很難量化，連資料都無法成形，因此人工智慧派不上用場；同樣的理由，創投與選商也不適合由人工智慧來做決策。另外像新市場的開發及新商品的定價，通常也有難以量化及樣本太少的問題，還是只能由人類來做決策。</span></p>\r\n<p class=\"blueP\">一個簡單的判斷方法，若你覺得自己的日常決策工作背後有些原則，可以完整寫出來或說出來，而且例外狀況不多，那通常就是人工智慧可替代的決策。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同工作將成為常態</strong></h2>\r\n<p>那麼，人工智慧會立刻取代我們的工作嗎？別擔心，即使你的工作是以人工智慧可替代的決策為主，未來可能會慢慢有人工智慧的參與，從提供決策輔助開始，逐漸轉變為人類與人工智慧分工合作。也就是說，<span class=\"blueP\">常規性的工作由人工智慧來進行，而人類負責處理特例以及持續改善人工智慧的效能。這樣一來，整體工作的品質及效率都能夠獲得提升。</span></p>\r\n<p>同時，日後企業的績效評估應該要審視人機協同工作的整體表現，而不是只看人工決策的部分，<span class=\"blueP\">因此職場工作者是否具備與人工智慧協同合作的能力會成為關鍵，企業裡的人力資源單位也要對此有所認知，預先做好準備。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同範例：美國 Stitch Fix 用人工智慧賣衣服</strong></h2>\r\n<p>2017 年在美國上市的 Stitch Fix 就是一個相當有趣的人機協作範例。這家公司做的是賣衣服的生意，表面上看起來平平無奇，但背後卻有堅強的人工智慧團隊，靠著資料及演算法在五年內打造出 14 億美元的市值，在美國目前擁有兩百萬活躍用戶。</p>\r\n<p>Stitch 的營運模式相當簡單，加入會員時先繳交 20 美元，就能定期收到裝著五件衣服的包裹，這是 Stitch 依個別用戶身材及偏好做個人化推薦的成果，用戶可以留下自己喜歡的品項，退回其他的，如果都不滿意也可以全數退回，但必須支付 20 美元的運費。</p>\r\n<p>這種營運模式非常大膽，因為如果用戶連續幾次對寄來的衣服都不滿意，很快就會流失。那為什麼 Stitch 有辦法獲得消費者的持續支持？因為有<span class=\"blueP\">強大的人工智慧團隊，針對會員在註冊時填寫的詳細問卷，與每次接受及拒絕的品項記錄，找出每個用戶的穿著品味及偏好，藉由機器學習不斷優化寄送的衣服，以符合每個用戶的需求，降低退貨率。</span></p>\r\n<p>但這樣還不夠，購衣及穿衣並不完全是科學可以掌握的行為，總有些人工智慧無法理解的考慮，得由專家與人工智慧協同合作。例如某些用戶老是退貨，或是特殊情境的需求，例如參加畢業舞會、第一次約會，或是參加重要的面試等。因此，Stitch 還有三百多位時尚造型師提供線上諮詢，幫助用戶找出最合適的商品，以滿足在不同情境下的需求體驗，同時增進人工智慧推薦系統的守備範圍，讓系統可以在未來將這些特殊的需求及情境列入考慮。</p>\r\n<p>從這個例子來看，<span class=\"blueP\">與人工智慧協同合作最簡單的績效評估方式是：有沒有讓工作效率更快？是不是讓決策更準？</span>具體的合作方式可能有很多種，例如由人來準備好高品質的資料，協助建立更好的人工智慧模型；或是以人工智慧來做常規的決策，由人來進行例外處理；或是以人工智慧來找出人類決策之間的不一致，幫助人類日後做更好的決策等。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人工智慧是工具，也是白領工作者的得力助手</strong></h2>\r\n<p>再回到人工智慧對於工作的取代性這個問題，若<span class=\"blueP\">你的工作以創造，或是人工智慧無法替代的溝通及決策為主，在可預見的未來，你的工作仍然很安全；而且，人工智慧將成為你的得力助手，</span>它們可以給予各種提示與線索，做決策上的輔助，讓你的工作表現更快更好，或是提供的服務更貼心。</p>\r\n<p>另一方面，<span class=\"blueP\">若你的工作內容大部分可由人工智慧替代，不妨考慮逐漸往創造、策略、溝通或管理的功能移動，讓自己從可能被人工智慧取代，提升為讓人工智慧為自己工作的人才。</span></p>\r\n<p>總結來說，對於非工程背景、不會寫程式的白領工作者而言，能不能善用人工智慧、與人工智慧協同合作，會是影響白領工作者未來職場競爭力的關鍵。</p>\r\n<p>這系列課程就是希望提升所有聽眾對於人工智慧的認識，要知道人工智慧是什麼、破除以訛傳訛的迷思、了解人工智慧的能與不能，再加上對於職場工作的分析，就可以知道，人工智慧只是個工具。甚至，不妨把它當成是複雜版本的Excel，它不會取代我們，更不會統治我們，只要用得好，將成為我們在職場上的得力助手。</p>','台灣產業AI化的問題9〉非工程背景人才，就要被AI時代淘汰嗎？','','inherit','closed','closed','','10660-revision-v1','','','2020-02-01 11:17:45','2020-02-01 03:17:45','',10660,'https://aiacademy.tw/10660-revision-v1/',0,'revision','',0),(10667,11,'2020-02-01 11:18:36','2020-02-01 03:18:36','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>談到人工智慧，大概最流行的話題就是「有哪些工作會被取代」。在本課中從工作的本質出發，詳細分析什麼樣的工作容易被取代，又有哪些工作不可能由人工智慧代勞，最重要的是，應該如何正確看待人工智慧未來對我們工作產生的影響。</p>\r\n<blockquote><p><span class=\"em\">創造跟決策中間有些灰色地帶，很容易混淆，有些工作看起來似乎是創造，其實只是一連串決策的組合。</span></p></blockquote>\r\n<p>經常有人問我，進入人工智慧時代之後，是不是一定要當軟體工程師才有前途？如果不是工程背景的人，是不是註定要被淘汰？今天的課程就跟大家分享，如果你不是工程出身，也不會寫程式，面對來勢洶洶的人工智慧浪潮，應該如何規劃自己的職涯，維持職場競爭力。</p>\r\n<h2 class=\"writingsH2\"><strong>不同工作性質 AI 扮演角色大不相同</strong></h2>\r\n<p>首先，請大家先拋開經常聽說的各種恐嚇，說什麼人工智慧會很快取代人類大部分的工作，甚至統治人類。我們應該回過頭來，先分析自己工作的主要成分是什麼，或許可以<span class=\"blueP\">大致分成四類，分別是行政管理(management)、溝通 (communication)、決策 (decision)，以及創造 (creation)。</span></p>\r\n<h2 class=\"writingsH2\"><strong>行政管理：由 AI 代勞可節省大量時間</strong></h2>\r\n<p>我們先從行政管理談起，例如資料整理、工作報表、考勤紀錄、薪資發放、績效考核等，這些工作有些部分未來可以交由人工智慧來執行。</p>\r\n<p>根據《哈佛商業評論》針對 14 個國家的 1,770 位經理人進行問卷調查，發現目前各層級的經理人都投入大量時間在行政管理工作上，像是協調員工的工作日程及報告撰寫。事實上，《哈佛商業評論》估計，企業若把這些工作轉交給人工智慧處理，至少能夠幫主管節省一半的行政管理時間。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>溝通：視內容複雜程度而定</strong></h2>\r\n<p>第二種類型的工作為「溝通」，舉凡推銷、談判、公關、遊說、報告、接受申辦、查詢、客服等工作。照目前的人工智慧技術發展來看，大部分需要人與人直接溝通的工作不會被人工智慧取代。但有較固定形式的問答，例如餐廳訂位、購票、預約及客服，甚至電話行銷的「意願判斷」階段，的確有可能會慢慢由人工智慧來分擔。</p>\r\n<p>有趣的是，感覺類似的餐廳訂位跟機場接送預約，其實大不同。餐廳訂位只需要時間、人數、兒童餐具、包廂等資訊；機場接送則需要知道時間、人數、飛機航班、航廈、接送點、行李件數、兒童座椅、有沒有指定車款等問題，而且很多問題是去程回程都不一樣。<span class=\"blueP\">這兩種客服工作需要確認的資訊不同，對人工智慧系統來說，複雜度就有很大差別。</span></p>\r\n<p>同樣也從事客服工作，圖書館員的工作更複雜，被詢問的問題更是千奇百怪，從借還書、找書、書籍推薦、找論文、如何播放影片、資料庫查詢、書籍遺失等各種疑難雜症，類似這樣的工作，比較難被人工智慧取代。  </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>決策：資料質量夠  AI可比人類更準確快速</strong></h2>\r\n<p>第三類型的工作在於「決策」，包括創投、併購、選商、行銷、人員招募、陌生開發、客戶回訪、審核、基金操盤、商品開發、活動舉辦、定價，決定要不要買、要不要投資、要不要賣、賣多少錢，都屬於這類工作內容。而這也是大部分白領工作者的工作重點，稍後我會再跟各位深入討論。</p>\r\n<p>要特別提出的是，雖然今天的人工智慧仍是「弱人工智慧」，無法真正具有思考及學習能力，但已有太多實例可以證明，只要有足夠質量的資料，在各式商業情境中，讓人工智慧進行決策，可以比最有經驗的從業人員決策更為準確及快速。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造：很難被人工智慧取代</strong></h2>\r\n<p>第四類型的工作是「創造」，指的是無中生有的工作，像是寫程式、設計圖表、平面設計、寫作、企劃以及藝術創作等。<span class=\"blueP\">人工智慧或許可以幫忙整理、找資料或者提供線索，但短時間內沒有取代人類的可能，也就是說，創造的工作很難被人工智慧取代。</span></p>\r\n<p><span class=\"blueP\">綜合分析這四種類型的工作，創造跟決策中間有些灰色地帶，很容易混淆；有些工作看起來似乎是創造，其實只是一連串決策的組合。</span>例如在既有的文章與圖片中挑選，重組為新的作品，像是數位內容策展、產品組合、不同行銷訴求的廣告文案等，這類型的工作，<span class=\"blueP\">看似創造，但是以「決策」為核心，只要有大量的資料及可量化的績效，不久的將來，也很可能由人工智慧來代勞。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造可能只是一連串小決策的組合</strong></h2>\r\n<p class=\"blueP\">例如，阿里巴巴集團旗下的廣告交易平台「阿里媽媽」在 2018 年 6 月推出「AI 智能文案」系統，從淘寶、天貓的上億條標題文案中篩選出數百萬條，再經過自然語言處理，可以自動快速生成文案。無論是只需要幾個字的短標題，還是60字左右的商品描述，都能自動生成，根據他們宣稱，此系統能夠在1秒內產生2萬個短標題。</p>\r\n<p>這個系統甚至還能指定文案的風格，像是功能型、特價型、寫實型、逗趣型、古詩詞型等等。行銷人員不必再絞盡腦汁想標題文案，只要選擇自己覺得滿意的那組方案，就可以快速地完成工作。</p>\r\n<p>相信大家可以注意到，行銷文案寫作原本常被認為是「創造」性的工作，但其實只是一連串小決策的集合，而且是非常適合由人工智慧來處理的決策類型。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>滿足這三個條件就適合由 AI 進行決策</strong></h2>\r\n<p>什麼樣的決策適合由人工智慧來進行？有幾個檢查的規則。我們通常把可能影響決策的因素稱為 X，X 包含的變數可多可少，從兩三個到成千上萬個變數都可以；同時把決策變數稱為 Y，例如一個信貸申請案件有沒有被核可，或是一個行銷文案帶來多少業務收入都是決策變數。如果某個決策問題滿足以下三個條件，就很適合由人工智慧來執行：</p>\r\n<p class=\"blueP\">&nbsp1. 決策變數 Y 與可能影響決策的因素 X 有足夠的關聯性。</p>\r\n<p class=\"blueP\">&nbsp2. 成對的決策變數 Y 與可能影響決策的因素 X 有足夠多的樣本。</p>\r\n<p class=\"blueP\">&nbsp3. X 及 Y 的資料品質夠好，兩者之間的關聯性有足夠的一致性：也就是若 X1 及 X2 很像，那他們分別所對應的 Y1 及 Y2 應該也會很接近。</p>\r\n<ul>\r\n<li>1. 決策變數 Y 與可能影響決策的因素 X 有足夠的關聯性。</li>\r\n</ul>\r\n<p>從這三個條件來看，不難理解為什麼阿里媽媽的AI智能文案系統能夠快速產出方便好用的文案。按照同樣的標準，也可以盤點出適合人工智慧的決策工作至少還包含：行銷優惠方案、該去拜訪哪個客戶、預估產品交期、預測產品銷量以提前預備原料、貸款該不該核可，個人化的廣告文宣設計，甚至零售店點的展店決策等，都很適合以人工智慧來做半自動或全自動的決策輔助。 </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>這些事情目前仍必須由人類做決策</strong></h2>\r\n<p>當然，也有許多決策不適合由人工智慧來進行。<span class=\"blueP\">例如併購，因為一家公司的產品、員工、製造、研發及銷售能量很難量化，連資料都無法成形，因此人工智慧派不上用場；同樣的理由，創投與選商也不適合由人工智慧來做決策。另外像新市場的開發及新商品的定價，通常也有難以量化及樣本太少的問題，還是只能由人類來做決策。</span></p>\r\n<p class=\"blueP\">一個簡單的判斷方法，若你覺得自己的日常決策工作背後有些原則，可以完整寫出來或說出來，而且例外狀況不多，那通常就是人工智慧可替代的決策。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同工作將成為常態</strong></h2>\r\n<p>那麼，人工智慧會立刻取代我們的工作嗎？別擔心，即使你的工作是以人工智慧可替代的決策為主，未來可能會慢慢有人工智慧的參與，從提供決策輔助開始，逐漸轉變為人類與人工智慧分工合作。也就是說，<span class=\"blueP\">常規性的工作由人工智慧來進行，而人類負責處理特例以及持續改善人工智慧的效能。這樣一來，整體工作的品質及效率都能夠獲得提升。</span></p>\r\n<p>同時，日後企業的績效評估應該要審視人機協同工作的整體表現，而不是只看人工決策的部分，<span class=\"blueP\">因此職場工作者是否具備與人工智慧協同合作的能力會成為關鍵，企業裡的人力資源單位也要對此有所認知，預先做好準備。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同範例：美國 Stitch Fix 用人工智慧賣衣服</strong></h2>\r\n<p>2017 年在美國上市的 Stitch Fix 就是一個相當有趣的人機協作範例。這家公司做的是賣衣服的生意，表面上看起來平平無奇，但背後卻有堅強的人工智慧團隊，靠著資料及演算法在五年內打造出 14 億美元的市值，在美國目前擁有兩百萬活躍用戶。</p>\r\n<p>Stitch 的營運模式相當簡單，加入會員時先繳交 20 美元，就能定期收到裝著五件衣服的包裹，這是 Stitch 依個別用戶身材及偏好做個人化推薦的成果，用戶可以留下自己喜歡的品項，退回其他的，如果都不滿意也可以全數退回，但必須支付 20 美元的運費。</p>\r\n<p>這種營運模式非常大膽，因為如果用戶連續幾次對寄來的衣服都不滿意，很快就會流失。那為什麼 Stitch 有辦法獲得消費者的持續支持？因為有<span class=\"blueP\">強大的人工智慧團隊，針對會員在註冊時填寫的詳細問卷，與每次接受及拒絕的品項記錄，找出每個用戶的穿著品味及偏好，藉由機器學習不斷優化寄送的衣服，以符合每個用戶的需求，降低退貨率。</span></p>\r\n<p>但這樣還不夠，購衣及穿衣並不完全是科學可以掌握的行為，總有些人工智慧無法理解的考慮，得由專家與人工智慧協同合作。例如某些用戶老是退貨，或是特殊情境的需求，例如參加畢業舞會、第一次約會，或是參加重要的面試等。因此，Stitch 還有三百多位時尚造型師提供線上諮詢，幫助用戶找出最合適的商品，以滿足在不同情境下的需求體驗，同時增進人工智慧推薦系統的守備範圍，讓系統可以在未來將這些特殊的需求及情境列入考慮。</p>\r\n<p>從這個例子來看，<span class=\"blueP\">與人工智慧協同合作最簡單的績效評估方式是：有沒有讓工作效率更快？是不是讓決策更準？</span>具體的合作方式可能有很多種，例如由人來準備好高品質的資料，協助建立更好的人工智慧模型；或是以人工智慧來做常規的決策，由人來進行例外處理；或是以人工智慧來找出人類決策之間的不一致，幫助人類日後做更好的決策等。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人工智慧是工具，也是白領工作者的得力助手</strong></h2>\r\n<p>再回到人工智慧對於工作的取代性這個問題，若<span class=\"blueP\">你的工作以創造，或是人工智慧無法替代的溝通及決策為主，在可預見的未來，你的工作仍然很安全；而且，人工智慧將成為你的得力助手，</span>它們可以給予各種提示與線索，做決策上的輔助，讓你的工作表現更快更好，或是提供的服務更貼心。</p>\r\n<p>另一方面，<span class=\"blueP\">若你的工作內容大部分可由人工智慧替代，不妨考慮逐漸往創造、策略、溝通或管理的功能移動，讓自己從可能被人工智慧取代，提升為讓人工智慧為自己工作的人才。</span></p>\r\n<p>總結來說，對於非工程背景、不會寫程式的白領工作者而言，能不能善用人工智慧、與人工智慧協同合作，會是影響白領工作者未來職場競爭力的關鍵。</p>\r\n<p>這系列課程就是希望提升所有聽眾對於人工智慧的認識，要知道人工智慧是什麼、破除以訛傳訛的迷思、了解人工智慧的能與不能，再加上對於職場工作的分析，就可以知道，人工智慧只是個工具。甚至，不妨把它當成是複雜版本的Excel，它不會取代我們，更不會統治我們，只要用得好，將成為我們在職場上的得力助手。</p>','台灣產業AI化的問題9〉非工程背景人才，就要被AI時代淘汰嗎？','','inherit','closed','closed','','10660-revision-v1','','','2020-02-01 11:18:36','2020-02-01 03:18:36','',10660,'https://aiacademy.tw/10660-revision-v1/',0,'revision','',0),(10668,11,'2020-02-01 11:18:56','2020-02-01 03:18:56','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>談到人工智慧，大概最流行的話題就是「有哪些工作會被取代」。在本課中從工作的本質出發，詳細分析什麼樣的工作容易被取代，又有哪些工作不可能由人工智慧代勞，最重要的是，應該如何正確看待人工智慧未來對我們工作產生的影響。</p>\r\n<blockquote><p><span class=\"em\">創造跟決策中間有些灰色地帶，很容易混淆，有些工作看起來似乎是創造，其實只是一連串決策的組合。</span></p></blockquote>\r\n<p>經常有人問我，進入人工智慧時代之後，是不是一定要當軟體工程師才有前途？如果不是工程背景的人，是不是註定要被淘汰？今天的課程就跟大家分享，如果你不是工程出身，也不會寫程式，面對來勢洶洶的人工智慧浪潮，應該如何規劃自己的職涯，維持職場競爭力。</p>\r\n<h2 class=\"writingsH2\"><strong>不同工作性質 AI 扮演角色大不相同</strong></h2>\r\n<p>首先，請大家先拋開經常聽說的各種恐嚇，說什麼人工智慧會很快取代人類大部分的工作，甚至統治人類。我們應該回過頭來，先分析自己工作的主要成分是什麼，或許可以<span class=\"blueP\">大致分成四類，分別是行政管理(management)、溝通 (communication)、決策 (decision)，以及創造 (creation)。</span></p>\r\n<h2 class=\"writingsH2\"><strong>行政管理：由 AI 代勞可節省大量時間</strong></h2>\r\n<p>我們先從行政管理談起，例如資料整理、工作報表、考勤紀錄、薪資發放、績效考核等，這些工作有些部分未來可以交由人工智慧來執行。</p>\r\n<p>根據《哈佛商業評論》針對 14 個國家的 1,770 位經理人進行問卷調查，發現目前各層級的經理人都投入大量時間在行政管理工作上，像是協調員工的工作日程及報告撰寫。事實上，《哈佛商業評論》估計，企業若把這些工作轉交給人工智慧處理，至少能夠幫主管節省一半的行政管理時間。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>溝通：視內容複雜程度而定</strong></h2>\r\n<p>第二種類型的工作為「溝通」，舉凡推銷、談判、公關、遊說、報告、接受申辦、查詢、客服等工作。照目前的人工智慧技術發展來看，大部分需要人與人直接溝通的工作不會被人工智慧取代。但有較固定形式的問答，例如餐廳訂位、購票、預約及客服，甚至電話行銷的「意願判斷」階段，的確有可能會慢慢由人工智慧來分擔。</p>\r\n<p>有趣的是，感覺類似的餐廳訂位跟機場接送預約，其實大不同。餐廳訂位只需要時間、人數、兒童餐具、包廂等資訊；機場接送則需要知道時間、人數、飛機航班、航廈、接送點、行李件數、兒童座椅、有沒有指定車款等問題，而且很多問題是去程回程都不一樣。<span class=\"blueP\">這兩種客服工作需要確認的資訊不同，對人工智慧系統來說，複雜度就有很大差別。</span></p>\r\n<p>同樣也從事客服工作，圖書館員的工作更複雜，被詢問的問題更是千奇百怪，從借還書、找書、書籍推薦、找論文、如何播放影片、資料庫查詢、書籍遺失等各種疑難雜症，類似這樣的工作，比較難被人工智慧取代。  </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>決策：資料質量夠  AI可比人類更準確快速</strong></h2>\r\n<p>第三類型的工作在於「決策」，包括創投、併購、選商、行銷、人員招募、陌生開發、客戶回訪、審核、基金操盤、商品開發、活動舉辦、定價，決定要不要買、要不要投資、要不要賣、賣多少錢，都屬於這類工作內容。而這也是大部分白領工作者的工作重點，稍後我會再跟各位深入討論。</p>\r\n<p>要特別提出的是，雖然今天的人工智慧仍是「弱人工智慧」，無法真正具有思考及學習能力，但已有太多實例可以證明，只要有足夠質量的資料，在各式商業情境中，讓人工智慧進行決策，可以比最有經驗的從業人員決策更為準確及快速。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造：很難被人工智慧取代</strong></h2>\r\n<p>第四類型的工作是「創造」，指的是無中生有的工作，像是寫程式、設計圖表、平面設計、寫作、企劃以及藝術創作等。<span class=\"blueP\">人工智慧或許可以幫忙整理、找資料或者提供線索，但短時間內沒有取代人類的可能，也就是說，創造的工作很難被人工智慧取代。</span></p>\r\n<p><span class=\"blueP\">綜合分析這四種類型的工作，創造跟決策中間有些灰色地帶，很容易混淆；有些工作看起來似乎是創造，其實只是一連串決策的組合。</span>例如在既有的文章與圖片中挑選，重組為新的作品，像是數位內容策展、產品組合、不同行銷訴求的廣告文案等，這類型的工作，<span class=\"blueP\">看似創造，但是以「決策」為核心，只要有大量的資料及可量化的績效，不久的將來，也很可能由人工智慧來代勞。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造可能只是一連串小決策的組合</strong></h2>\r\n<p class=\"blueP\">例如，阿里巴巴集團旗下的廣告交易平台「阿里媽媽」在 2018 年 6 月推出「AI 智能文案」系統，從淘寶、天貓的上億條標題文案中篩選出數百萬條，再經過自然語言處理，可以自動快速生成文案。無論是只需要幾個字的短標題，還是60字左右的商品描述，都能自動生成，根據他們宣稱，此系統能夠在1秒內產生2萬個短標題。</p>\r\n<p>這個系統甚至還能指定文案的風格，像是功能型、特價型、寫實型、逗趣型、古詩詞型等等。行銷人員不必再絞盡腦汁想標題文案，只要選擇自己覺得滿意的那組方案，就可以快速地完成工作。</p>\r\n<p>相信大家可以注意到，行銷文案寫作原本常被認為是「創造」性的工作，但其實只是一連串小決策的集合，而且是非常適合由人工智慧來處理的決策類型。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>滿足這三個條件就適合由 AI 進行決策</strong></h2>\r\n<p>什麼樣的決策適合由人工智慧來進行？有幾個檢查的規則。我們通常把可能影響決策的因素稱為 X，X 包含的變數可多可少，從兩三個到成千上萬個變數都可以；同時把決策變數稱為 Y，例如一個信貸申請案件有沒有被核可，或是一個行銷文案帶來多少業務收入都是決策變數。如果某個決策問題滿足以下三個條件，就很適合由人工智慧來執行：</p>\r\n<p class=\"blueP\">&nbsp1. 決策變數 Y 與可能影響決策的因素 X 有足夠的關聯性。</p>\r\n<p class=\"blueP\">&nbsp2. 成對的決策變數 Y 與可能影響決策的因素 X 有足夠多的樣本。</p>\r\n<p class=\"blueP\">&nbsp3. X 及 Y 的資料品質夠好，兩者之間的關聯性有足夠的一致性：也就是若 X1 及 X2 很像，那他們分別所對應的 Y1 及 Y2 應該也會很接近。</p>\r\n<p>從這三個條件來看，不難理解為什麼阿里媽媽的AI智能文案系統能夠快速產出方便好用的文案。按照同樣的標準，也可以盤點出適合人工智慧的決策工作至少還包含：行銷優惠方案、該去拜訪哪個客戶、預估產品交期、預測產品銷量以提前預備原料、貸款該不該核可，個人化的廣告文宣設計，甚至零售店點的展店決策等，都很適合以人工智慧來做半自動或全自動的決策輔助。 </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>這些事情目前仍必須由人類做決策</strong></h2>\r\n<p>當然，也有許多決策不適合由人工智慧來進行。<span class=\"blueP\">例如併購，因為一家公司的產品、員工、製造、研發及銷售能量很難量化，連資料都無法成形，因此人工智慧派不上用場；同樣的理由，創投與選商也不適合由人工智慧來做決策。另外像新市場的開發及新商品的定價，通常也有難以量化及樣本太少的問題，還是只能由人類來做決策。</span></p>\r\n<p class=\"blueP\">一個簡單的判斷方法，若你覺得自己的日常決策工作背後有些原則，可以完整寫出來或說出來，而且例外狀況不多，那通常就是人工智慧可替代的決策。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同工作將成為常態</strong></h2>\r\n<p>那麼，人工智慧會立刻取代我們的工作嗎？別擔心，即使你的工作是以人工智慧可替代的決策為主，未來可能會慢慢有人工智慧的參與，從提供決策輔助開始，逐漸轉變為人類與人工智慧分工合作。也就是說，<span class=\"blueP\">常規性的工作由人工智慧來進行，而人類負責處理特例以及持續改善人工智慧的效能。這樣一來，整體工作的品質及效率都能夠獲得提升。</span></p>\r\n<p>同時，日後企業的績效評估應該要審視人機協同工作的整體表現，而不是只看人工決策的部分，<span class=\"blueP\">因此職場工作者是否具備與人工智慧協同合作的能力會成為關鍵，企業裡的人力資源單位也要對此有所認知，預先做好準備。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同範例：美國 Stitch Fix 用人工智慧賣衣服</strong></h2>\r\n<p>2017 年在美國上市的 Stitch Fix 就是一個相當有趣的人機協作範例。這家公司做的是賣衣服的生意，表面上看起來平平無奇，但背後卻有堅強的人工智慧團隊，靠著資料及演算法在五年內打造出 14 億美元的市值，在美國目前擁有兩百萬活躍用戶。</p>\r\n<p>Stitch 的營運模式相當簡單，加入會員時先繳交 20 美元，就能定期收到裝著五件衣服的包裹，這是 Stitch 依個別用戶身材及偏好做個人化推薦的成果，用戶可以留下自己喜歡的品項，退回其他的，如果都不滿意也可以全數退回，但必須支付 20 美元的運費。</p>\r\n<p>這種營運模式非常大膽，因為如果用戶連續幾次對寄來的衣服都不滿意，很快就會流失。那為什麼 Stitch 有辦法獲得消費者的持續支持？因為有<span class=\"blueP\">強大的人工智慧團隊，針對會員在註冊時填寫的詳細問卷，與每次接受及拒絕的品項記錄，找出每個用戶的穿著品味及偏好，藉由機器學習不斷優化寄送的衣服，以符合每個用戶的需求，降低退貨率。</span></p>\r\n<p>但這樣還不夠，購衣及穿衣並不完全是科學可以掌握的行為，總有些人工智慧無法理解的考慮，得由專家與人工智慧協同合作。例如某些用戶老是退貨，或是特殊情境的需求，例如參加畢業舞會、第一次約會，或是參加重要的面試等。因此，Stitch 還有三百多位時尚造型師提供線上諮詢，幫助用戶找出最合適的商品，以滿足在不同情境下的需求體驗，同時增進人工智慧推薦系統的守備範圍，讓系統可以在未來將這些特殊的需求及情境列入考慮。</p>\r\n<p>從這個例子來看，<span class=\"blueP\">與人工智慧協同合作最簡單的績效評估方式是：有沒有讓工作效率更快？是不是讓決策更準？</span>具體的合作方式可能有很多種，例如由人來準備好高品質的資料，協助建立更好的人工智慧模型；或是以人工智慧來做常規的決策，由人來進行例外處理；或是以人工智慧來找出人類決策之間的不一致，幫助人類日後做更好的決策等。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人工智慧是工具，也是白領工作者的得力助手</strong></h2>\r\n<p>再回到人工智慧對於工作的取代性這個問題，若<span class=\"blueP\">你的工作以創造，或是人工智慧無法替代的溝通及決策為主，在可預見的未來，你的工作仍然很安全；而且，人工智慧將成為你的得力助手，</span>它們可以給予各種提示與線索，做決策上的輔助，讓你的工作表現更快更好，或是提供的服務更貼心。</p>\r\n<p>另一方面，<span class=\"blueP\">若你的工作內容大部分可由人工智慧替代，不妨考慮逐漸往創造、策略、溝通或管理的功能移動，讓自己從可能被人工智慧取代，提升為讓人工智慧為自己工作的人才。</span></p>\r\n<p>總結來說，對於非工程背景、不會寫程式的白領工作者而言，能不能善用人工智慧、與人工智慧協同合作，會是影響白領工作者未來職場競爭力的關鍵。</p>\r\n<p>這系列課程就是希望提升所有聽眾對於人工智慧的認識，要知道人工智慧是什麼、破除以訛傳訛的迷思、了解人工智慧的能與不能，再加上對於職場工作的分析，就可以知道，人工智慧只是個工具。甚至，不妨把它當成是複雜版本的Excel，它不會取代我們，更不會統治我們，只要用得好，將成為我們在職場上的得力助手。</p>','台灣產業AI化的問題9〉非工程背景人才，就要被AI時代淘汰嗎？','','inherit','closed','closed','','10660-revision-v1','','','2020-02-01 11:18:56','2020-02-01 03:18:56','',10660,'https://aiacademy.tw/10660-revision-v1/',0,'revision','',0),(10669,11,'2020-02-01 11:19:35','2020-02-01 03:19:35','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>談到人工智慧，大概最流行的話題就是「有哪些工作會被取代」。在本課中從工作的本質出發，詳細分析什麼樣的工作容易被取代，又有哪些工作不可能由人工智慧代勞，最重要的是，應該如何正確看待人工智慧未來對我們工作產生的影響。</p>\r\n<blockquote><p><span class=\"em\">創造跟決策中間有些灰色地帶，很容易混淆，有些工作看起來似乎是創造，其實只是一連串決策的組合。</span></p></blockquote>\r\n<p>經常有人問我，進入人工智慧時代之後，是不是一定要當軟體工程師才有前途？如果不是工程背景的人，是不是註定要被淘汰？今天的課程就跟大家分享，如果你不是工程出身，也不會寫程式，面對來勢洶洶的人工智慧浪潮，應該如何規劃自己的職涯，維持職場競爭力。</p>\r\n<h2 class=\"writingsH2\"><strong>不同工作性質 AI 扮演角色大不相同</strong></h2>\r\n<p>首先，請大家先拋開經常聽說的各種恐嚇，說什麼人工智慧會很快取代人類大部分的工作，甚至統治人類。我們應該回過頭來，先分析自己工作的主要成分是什麼，或許可以<span class=\"blueP\">大致分成四類，分別是行政管理(management)、溝通 (communication)、決策 (decision)，以及創造 (creation)。</span></p>\r\n<h2 class=\"writingsH2\"><strong>行政管理：由 AI 代勞可節省大量時間</strong></h2>\r\n<p>我們先從行政管理談起，例如資料整理、工作報表、考勤紀錄、薪資發放、績效考核等，這些工作有些部分未來可以交由人工智慧來執行。</p>\r\n<p>根據《哈佛商業評論》針對 14 個國家的 1,770 位經理人進行問卷調查，發現目前各層級的經理人都投入大量時間在行政管理工作上，像是協調員工的工作日程及報告撰寫。事實上，《哈佛商業評論》估計，企業若把這些工作轉交給人工智慧處理，至少能夠幫主管節省一半的行政管理時間。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>溝通：視內容複雜程度而定</strong></h2>\r\n<p>第二種類型的工作為「溝通」，舉凡推銷、談判、公關、遊說、報告、接受申辦、查詢、客服等工作。照目前的人工智慧技術發展來看，大部分需要人與人直接溝通的工作不會被人工智慧取代。但有較固定形式的問答，例如餐廳訂位、購票、預約及客服，甚至電話行銷的「意願判斷」階段，的確有可能會慢慢由人工智慧來分擔。</p>\r\n<p>有趣的是，感覺類似的餐廳訂位跟機場接送預約，其實大不同。餐廳訂位只需要時間、人數、兒童餐具、包廂等資訊；機場接送則需要知道時間、人數、飛機航班、航廈、接送點、行李件數、兒童座椅、有沒有指定車款等問題，而且很多問題是去程回程都不一樣。<span class=\"blueP\">這兩種客服工作需要確認的資訊不同，對人工智慧系統來說，複雜度就有很大差別。</span></p>\r\n<p>同樣也從事客服工作，圖書館員的工作更複雜，被詢問的問題更是千奇百怪，從借還書、找書、書籍推薦、找論文、如何播放影片、資料庫查詢、書籍遺失等各種疑難雜症，類似這樣的工作，比較難被人工智慧取代。  </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>決策：資料質量夠  AI可比人類更準確快速</strong></h2>\r\n<p>第三類型的工作在於「決策」，包括創投、併購、選商、行銷、人員招募、陌生開發、客戶回訪、審核、基金操盤、商品開發、活動舉辦、定價，決定要不要買、要不要投資、要不要賣、賣多少錢，都屬於這類工作內容。而這也是大部分白領工作者的工作重點，稍後我會再跟各位深入討論。</p>\r\n<p>要特別提出的是，雖然今天的人工智慧仍是「弱人工智慧」，無法真正具有思考及學習能力，但已有太多實例可以證明，只要有足夠質量的資料，在各式商業情境中，讓人工智慧進行決策，可以比最有經驗的從業人員決策更為準確及快速。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造：很難被人工智慧取代</strong></h2>\r\n<p>第四類型的工作是「創造」，指的是無中生有的工作，像是寫程式、設計圖表、平面設計、寫作、企劃以及藝術創作等。<span class=\"blueP\">人工智慧或許可以幫忙整理、找資料或者提供線索，但短時間內沒有取代人類的可能，也就是說，創造的工作很難被人工智慧取代。</span></p>\r\n<p><span class=\"blueP\">綜合分析這四種類型的工作，創造跟決策中間有些灰色地帶，很容易混淆；有些工作看起來似乎是創造，其實只是一連串決策的組合。</span>例如在既有的文章與圖片中挑選，重組為新的作品，像是數位內容策展、產品組合、不同行銷訴求的廣告文案等，這類型的工作，<span class=\"blueP\">看似創造，但是以「決策」為核心，只要有大量的資料及可量化的績效，不久的將來，也很可能由人工智慧來代勞。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造可能只是一連串小決策的組合</strong></h2>\r\n<p class=\"blueP\">例如，阿里巴巴集團旗下的廣告交易平台「阿里媽媽」在 2018 年 6 月推出「AI 智能文案」系統，從淘寶、天貓的上億條標題文案中篩選出數百萬條，再經過自然語言處理，可以自動快速生成文案。無論是只需要幾個字的短標題，還是60字左右的商品描述，都能自動生成，根據他們宣稱，此系統能夠在1秒內產生2萬個短標題。</p>\r\n<p>這個系統甚至還能指定文案的風格，像是功能型、特價型、寫實型、逗趣型、古詩詞型等等。行銷人員不必再絞盡腦汁想標題文案，只要選擇自己覺得滿意的那組方案，就可以快速地完成工作。</p>\r\n<p>相信大家可以注意到，行銷文案寫作原本常被認為是「創造」性的工作，但其實只是一連串小決策的集合，而且是非常適合由人工智慧來處理的決策類型。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>滿足這三個條件就適合由 AI 進行決策</strong></h2>\r\n<p>什麼樣的決策適合由人工智慧來進行？有幾個檢查的規則。我們通常把可能影響決策的因素稱為 X，X 包含的變數可多可少，從兩三個到成千上萬個變數都可以；同時把決策變數稱為 Y，例如一個信貸申請案件有沒有被核可，或是一個行銷文案帶來多少業務收入都是決策變數。如果某個決策問題滿足以下三個條件，就很適合由人工智慧來執行：</p>\r\n<p class=\"blueP\">&nbsp1. 決策變數 Y 與可能影響決策的因素 X 有足夠的關聯性。</p>\r\n<p class=\"blueP\">&nbsp2. 成對的決策變數 Y 與可能影響決策的因素 X 有足夠多的樣本。</p>\r\n<p class=\"blueP\">&nbsp3. X 及 Y 的資料品質夠好，兩者之間的關聯性有足夠的一致性：也就是若 X1 及 X2 很像，那他們分別所對應的<br>Y1 及 Y2 應該也會很接近。</p>\r\n<p>從這三個條件來看，不難理解為什麼阿里媽媽的AI智能文案系統能夠快速產出方便好用的文案。按照同樣的標準，也可以盤點出適合人工智慧的決策工作至少還包含：行銷優惠方案、該去拜訪哪個客戶、預估產品交期、預測產品銷量以提前預備原料、貸款該不該核可，個人化的廣告文宣設計，甚至零售店點的展店決策等，都很適合以人工智慧來做半自動或全自動的決策輔助。 </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>這些事情目前仍必須由人類做決策</strong></h2>\r\n<p>當然，也有許多決策不適合由人工智慧來進行。<span class=\"blueP\">例如併購，因為一家公司的產品、員工、製造、研發及銷售能量很難量化，連資料都無法成形，因此人工智慧派不上用場；同樣的理由，創投與選商也不適合由人工智慧來做決策。另外像新市場的開發及新商品的定價，通常也有難以量化及樣本太少的問題，還是只能由人類來做決策。</span></p>\r\n<p class=\"blueP\">一個簡單的判斷方法，若你覺得自己的日常決策工作背後有些原則，可以完整寫出來或說出來，而且例外狀況不多，那通常就是人工智慧可替代的決策。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同工作將成為常態</strong></h2>\r\n<p>那麼，人工智慧會立刻取代我們的工作嗎？別擔心，即使你的工作是以人工智慧可替代的決策為主，未來可能會慢慢有人工智慧的參與，從提供決策輔助開始，逐漸轉變為人類與人工智慧分工合作。也就是說，<span class=\"blueP\">常規性的工作由人工智慧來進行，而人類負責處理特例以及持續改善人工智慧的效能。這樣一來，整體工作的品質及效率都能夠獲得提升。</span></p>\r\n<p>同時，日後企業的績效評估應該要審視人機協同工作的整體表現，而不是只看人工決策的部分，<span class=\"blueP\">因此職場工作者是否具備與人工智慧協同合作的能力會成為關鍵，企業裡的人力資源單位也要對此有所認知，預先做好準備。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同範例：美國 Stitch Fix 用人工智慧賣衣服</strong></h2>\r\n<p>2017 年在美國上市的 Stitch Fix 就是一個相當有趣的人機協作範例。這家公司做的是賣衣服的生意，表面上看起來平平無奇，但背後卻有堅強的人工智慧團隊，靠著資料及演算法在五年內打造出 14 億美元的市值，在美國目前擁有兩百萬活躍用戶。</p>\r\n<p>Stitch 的營運模式相當簡單，加入會員時先繳交 20 美元，就能定期收到裝著五件衣服的包裹，這是 Stitch 依個別用戶身材及偏好做個人化推薦的成果，用戶可以留下自己喜歡的品項，退回其他的，如果都不滿意也可以全數退回，但必須支付 20 美元的運費。</p>\r\n<p>這種營運模式非常大膽，因為如果用戶連續幾次對寄來的衣服都不滿意，很快就會流失。那為什麼 Stitch 有辦法獲得消費者的持續支持？因為有<span class=\"blueP\">強大的人工智慧團隊，針對會員在註冊時填寫的詳細問卷，與每次接受及拒絕的品項記錄，找出每個用戶的穿著品味及偏好，藉由機器學習不斷優化寄送的衣服，以符合每個用戶的需求，降低退貨率。</span></p>\r\n<p>但這樣還不夠，購衣及穿衣並不完全是科學可以掌握的行為，總有些人工智慧無法理解的考慮，得由專家與人工智慧協同合作。例如某些用戶老是退貨，或是特殊情境的需求，例如參加畢業舞會、第一次約會，或是參加重要的面試等。因此，Stitch 還有三百多位時尚造型師提供線上諮詢，幫助用戶找出最合適的商品，以滿足在不同情境下的需求體驗，同時增進人工智慧推薦系統的守備範圍，讓系統可以在未來將這些特殊的需求及情境列入考慮。</p>\r\n<p>從這個例子來看，<span class=\"blueP\">與人工智慧協同合作最簡單的績效評估方式是：有沒有讓工作效率更快？是不是讓決策更準？</span>具體的合作方式可能有很多種，例如由人來準備好高品質的資料，協助建立更好的人工智慧模型；或是以人工智慧來做常規的決策，由人來進行例外處理；或是以人工智慧來找出人類決策之間的不一致，幫助人類日後做更好的決策等。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人工智慧是工具，也是白領工作者的得力助手</strong></h2>\r\n<p>再回到人工智慧對於工作的取代性這個問題，若<span class=\"blueP\">你的工作以創造，或是人工智慧無法替代的溝通及決策為主，在可預見的未來，你的工作仍然很安全；而且，人工智慧將成為你的得力助手，</span>它們可以給予各種提示與線索，做決策上的輔助，讓你的工作表現更快更好，或是提供的服務更貼心。</p>\r\n<p>另一方面，<span class=\"blueP\">若你的工作內容大部分可由人工智慧替代，不妨考慮逐漸往創造、策略、溝通或管理的功能移動，讓自己從可能被人工智慧取代，提升為讓人工智慧為自己工作的人才。</span></p>\r\n<p>總結來說，對於非工程背景、不會寫程式的白領工作者而言，能不能善用人工智慧、與人工智慧協同合作，會是影響白領工作者未來職場競爭力的關鍵。</p>\r\n<p>這系列課程就是希望提升所有聽眾對於人工智慧的認識，要知道人工智慧是什麼、破除以訛傳訛的迷思、了解人工智慧的能與不能，再加上對於職場工作的分析，就可以知道，人工智慧只是個工具。甚至，不妨把它當成是複雜版本的Excel，它不會取代我們，更不會統治我們，只要用得好，將成為我們在職場上的得力助手。</p>','台灣產業AI化的問題9〉非工程背景人才，就要被AI時代淘汰嗎？','','inherit','closed','closed','','10660-revision-v1','','','2020-02-01 11:19:35','2020-02-01 03:19:35','',10660,'https://aiacademy.tw/10660-revision-v1/',0,'revision','',0),(10670,11,'2020-02-01 11:19:51','2020-02-01 03:19:51','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>談到人工智慧，大概最流行的話題就是「有哪些工作會被取代」。在本課中從工作的本質出發，詳細分析什麼樣的工作容易被取代，又有哪些工作不可能由人工智慧代勞，最重要的是，應該如何正確看待人工智慧未來對我們工作產生的影響。</p>\r\n<blockquote><p><span class=\"em\">創造跟決策中間有些灰色地帶，很容易混淆，有些工作看起來似乎是創造，其實只是一連串決策的組合。</span></p></blockquote>\r\n<p>經常有人問我，進入人工智慧時代之後，是不是一定要當軟體工程師才有前途？如果不是工程背景的人，是不是註定要被淘汰？今天的課程就跟大家分享，如果你不是工程出身，也不會寫程式，面對來勢洶洶的人工智慧浪潮，應該如何規劃自己的職涯，維持職場競爭力。</p>\r\n<h2 class=\"writingsH2\"><strong>不同工作性質 AI 扮演角色大不相同</strong></h2>\r\n<p>首先，請大家先拋開經常聽說的各種恐嚇，說什麼人工智慧會很快取代人類大部分的工作，甚至統治人類。我們應該回過頭來，先分析自己工作的主要成分是什麼，或許可以<span class=\"blueP\">大致分成四類，分別是行政管理(management)、溝通 (communication)、決策 (decision)，以及創造 (creation)。</span></p>\r\n<h2 class=\"writingsH2\"><strong>行政管理：由 AI 代勞可節省大量時間</strong></h2>\r\n<p>我們先從行政管理談起，例如資料整理、工作報表、考勤紀錄、薪資發放、績效考核等，這些工作有些部分未來可以交由人工智慧來執行。</p>\r\n<p>根據《哈佛商業評論》針對 14 個國家的 1,770 位經理人進行問卷調查，發現目前各層級的經理人都投入大量時間在行政管理工作上，像是協調員工的工作日程及報告撰寫。事實上，《哈佛商業評論》估計，企業若把這些工作轉交給人工智慧處理，至少能夠幫主管節省一半的行政管理時間。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>溝通：視內容複雜程度而定</strong></h2>\r\n<p>第二種類型的工作為「溝通」，舉凡推銷、談判、公關、遊說、報告、接受申辦、查詢、客服等工作。照目前的人工智慧技術發展來看，大部分需要人與人直接溝通的工作不會被人工智慧取代。但有較固定形式的問答，例如餐廳訂位、購票、預約及客服，甚至電話行銷的「意願判斷」階段，的確有可能會慢慢由人工智慧來分擔。</p>\r\n<p>有趣的是，感覺類似的餐廳訂位跟機場接送預約，其實大不同。餐廳訂位只需要時間、人數、兒童餐具、包廂等資訊；機場接送則需要知道時間、人數、飛機航班、航廈、接送點、行李件數、兒童座椅、有沒有指定車款等問題，而且很多問題是去程回程都不一樣。<span class=\"blueP\">這兩種客服工作需要確認的資訊不同，對人工智慧系統來說，複雜度就有很大差別。</span></p>\r\n<p>同樣也從事客服工作，圖書館員的工作更複雜，被詢問的問題更是千奇百怪，從借還書、找書、書籍推薦、找論文、如何播放影片、資料庫查詢、書籍遺失等各種疑難雜症，類似這樣的工作，比較難被人工智慧取代。  </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>決策：資料質量夠  AI可比人類更準確快速</strong></h2>\r\n<p>第三類型的工作在於「決策」，包括創投、併購、選商、行銷、人員招募、陌生開發、客戶回訪、審核、基金操盤、商品開發、活動舉辦、定價，決定要不要買、要不要投資、要不要賣、賣多少錢，都屬於這類工作內容。而這也是大部分白領工作者的工作重點，稍後我會再跟各位深入討論。</p>\r\n<p>要特別提出的是，雖然今天的人工智慧仍是「弱人工智慧」，無法真正具有思考及學習能力，但已有太多實例可以證明，只要有足夠質量的資料，在各式商業情境中，讓人工智慧進行決策，可以比最有經驗的從業人員決策更為準確及快速。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造：很難被人工智慧取代</strong></h2>\r\n<p>第四類型的工作是「創造」，指的是無中生有的工作，像是寫程式、設計圖表、平面設計、寫作、企劃以及藝術創作等。<span class=\"blueP\">人工智慧或許可以幫忙整理、找資料或者提供線索，但短時間內沒有取代人類的可能，也就是說，創造的工作很難被人工智慧取代。</span></p>\r\n<p><span class=\"blueP\">綜合分析這四種類型的工作，創造跟決策中間有些灰色地帶，很容易混淆；有些工作看起來似乎是創造，其實只是一連串決策的組合。</span>例如在既有的文章與圖片中挑選，重組為新的作品，像是數位內容策展、產品組合、不同行銷訴求的廣告文案等，這類型的工作，<span class=\"blueP\">看似創造，但是以「決策」為核心，只要有大量的資料及可量化的績效，不久的將來，也很可能由人工智慧來代勞。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造可能只是一連串小決策的組合</strong></h2>\r\n<p class=\"blueP\">例如，阿里巴巴集團旗下的廣告交易平台「阿里媽媽」在 2018 年 6 月推出「AI 智能文案」系統，從淘寶、天貓的上億條標題文案中篩選出數百萬條，再經過自然語言處理，可以自動快速生成文案。無論是只需要幾個字的短標題，還是60字左右的商品描述，都能自動生成，根據他們宣稱，此系統能夠在1秒內產生2萬個短標題。</p>\r\n<p>這個系統甚至還能指定文案的風格，像是功能型、特價型、寫實型、逗趣型、古詩詞型等等。行銷人員不必再絞盡腦汁想標題文案，只要選擇自己覺得滿意的那組方案，就可以快速地完成工作。</p>\r\n<p>相信大家可以注意到，行銷文案寫作原本常被認為是「創造」性的工作，但其實只是一連串小決策的集合，而且是非常適合由人工智慧來處理的決策類型。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>滿足這三個條件就適合由 AI 進行決策</strong></h2>\r\n<p>什麼樣的決策適合由人工智慧來進行？有幾個檢查的規則。我們通常把可能影響決策的因素稱為 X，X 包含的變數可多可少，從兩三個到成千上萬個變數都可以；同時把決策變數稱為 Y，例如一個信貸申請案件有沒有被核可，或是一個行銷文案帶來多少業務收入都是決策變數。如果某個決策問題滿足以下三個條件，就很適合由人工智慧來執行：</p>\r\n<p class=\"blueP\">&nbsp1. 決策變數 Y 與可能影響決策的因素 X 有足夠的關聯性。</p>\r\n<p class=\"blueP\">&nbsp2. 成對的決策變數 Y 與可能影響決策的因素 X 有足夠多的樣本。</p>\r\n<p class=\"blueP\">&nbsp3. X 及 Y 的資料品質夠好，兩者之間的關聯性有足夠的一致性：也就是若 X1 及 X2 很像，那他們分別所對應的Y1 及 Y2 應該也會很接近。</p>\r\n<p>從這三個條件來看，不難理解為什麼阿里媽媽的AI智能文案系統能夠快速產出方便好用的文案。按照同樣的標準，也可以盤點出適合人工智慧的決策工作至少還包含：行銷優惠方案、該去拜訪哪個客戶、預估產品交期、預測產品銷量以提前預備原料、貸款該不該核可，個人化的廣告文宣設計，甚至零售店點的展店決策等，都很適合以人工智慧來做半自動或全自動的決策輔助。 </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>這些事情目前仍必須由人類做決策</strong></h2>\r\n<p>當然，也有許多決策不適合由人工智慧來進行。<span class=\"blueP\">例如併購，因為一家公司的產品、員工、製造、研發及銷售能量很難量化，連資料都無法成形，因此人工智慧派不上用場；同樣的理由，創投與選商也不適合由人工智慧來做決策。另外像新市場的開發及新商品的定價，通常也有難以量化及樣本太少的問題，還是只能由人類來做決策。</span></p>\r\n<p class=\"blueP\">一個簡單的判斷方法，若你覺得自己的日常決策工作背後有些原則，可以完整寫出來或說出來，而且例外狀況不多，那通常就是人工智慧可替代的決策。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同工作將成為常態</strong></h2>\r\n<p>那麼，人工智慧會立刻取代我們的工作嗎？別擔心，即使你的工作是以人工智慧可替代的決策為主，未來可能會慢慢有人工智慧的參與，從提供決策輔助開始，逐漸轉變為人類與人工智慧分工合作。也就是說，<span class=\"blueP\">常規性的工作由人工智慧來進行，而人類負責處理特例以及持續改善人工智慧的效能。這樣一來，整體工作的品質及效率都能夠獲得提升。</span></p>\r\n<p>同時，日後企業的績效評估應該要審視人機協同工作的整體表現，而不是只看人工決策的部分，<span class=\"blueP\">因此職場工作者是否具備與人工智慧協同合作的能力會成為關鍵，企業裡的人力資源單位也要對此有所認知，預先做好準備。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同範例：美國 Stitch Fix 用人工智慧賣衣服</strong></h2>\r\n<p>2017 年在美國上市的 Stitch Fix 就是一個相當有趣的人機協作範例。這家公司做的是賣衣服的生意，表面上看起來平平無奇，但背後卻有堅強的人工智慧團隊，靠著資料及演算法在五年內打造出 14 億美元的市值，在美國目前擁有兩百萬活躍用戶。</p>\r\n<p>Stitch 的營運模式相當簡單，加入會員時先繳交 20 美元，就能定期收到裝著五件衣服的包裹，這是 Stitch 依個別用戶身材及偏好做個人化推薦的成果，用戶可以留下自己喜歡的品項，退回其他的，如果都不滿意也可以全數退回，但必須支付 20 美元的運費。</p>\r\n<p>這種營運模式非常大膽，因為如果用戶連續幾次對寄來的衣服都不滿意，很快就會流失。那為什麼 Stitch 有辦法獲得消費者的持續支持？因為有<span class=\"blueP\">強大的人工智慧團隊，針對會員在註冊時填寫的詳細問卷，與每次接受及拒絕的品項記錄，找出每個用戶的穿著品味及偏好，藉由機器學習不斷優化寄送的衣服，以符合每個用戶的需求，降低退貨率。</span></p>\r\n<p>但這樣還不夠，購衣及穿衣並不完全是科學可以掌握的行為，總有些人工智慧無法理解的考慮，得由專家與人工智慧協同合作。例如某些用戶老是退貨，或是特殊情境的需求，例如參加畢業舞會、第一次約會，或是參加重要的面試等。因此，Stitch 還有三百多位時尚造型師提供線上諮詢，幫助用戶找出最合適的商品，以滿足在不同情境下的需求體驗，同時增進人工智慧推薦系統的守備範圍，讓系統可以在未來將這些特殊的需求及情境列入考慮。</p>\r\n<p>從這個例子來看，<span class=\"blueP\">與人工智慧協同合作最簡單的績效評估方式是：有沒有讓工作效率更快？是不是讓決策更準？</span>具體的合作方式可能有很多種，例如由人來準備好高品質的資料，協助建立更好的人工智慧模型；或是以人工智慧來做常規的決策，由人來進行例外處理；或是以人工智慧來找出人類決策之間的不一致，幫助人類日後做更好的決策等。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人工智慧是工具，也是白領工作者的得力助手</strong></h2>\r\n<p>再回到人工智慧對於工作的取代性這個問題，若<span class=\"blueP\">你的工作以創造，或是人工智慧無法替代的溝通及決策為主，在可預見的未來，你的工作仍然很安全；而且，人工智慧將成為你的得力助手，</span>它們可以給予各種提示與線索，做決策上的輔助，讓你的工作表現更快更好，或是提供的服務更貼心。</p>\r\n<p>另一方面，<span class=\"blueP\">若你的工作內容大部分可由人工智慧替代，不妨考慮逐漸往創造、策略、溝通或管理的功能移動，讓自己從可能被人工智慧取代，提升為讓人工智慧為自己工作的人才。</span></p>\r\n<p>總結來說，對於非工程背景、不會寫程式的白領工作者而言，能不能善用人工智慧、與人工智慧協同合作，會是影響白領工作者未來職場競爭力的關鍵。</p>\r\n<p>這系列課程就是希望提升所有聽眾對於人工智慧的認識，要知道人工智慧是什麼、破除以訛傳訛的迷思、了解人工智慧的能與不能，再加上對於職場工作的分析，就可以知道，人工智慧只是個工具。甚至，不妨把它當成是複雜版本的Excel，它不會取代我們，更不會統治我們，只要用得好，將成為我們在職場上的得力助手。</p>','台灣產業AI化的問題9〉非工程背景人才，就要被AI時代淘汰嗎？','','inherit','closed','closed','','10660-revision-v1','','','2020-02-01 11:19:51','2020-02-01 03:19:51','',10660,'https://aiacademy.tw/10660-revision-v1/',0,'revision','',0),(10671,11,'2020-02-01 11:20:12','2020-02-01 03:20:12','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>談到人工智慧，大概最流行的話題就是「有哪些工作會被取代」。在本課中從工作的本質出發，詳細分析什麼樣的工作容易被取代，又有哪些工作不可能由人工智慧代勞，最重要的是，應該如何正確看待人工智慧未來對我們工作產生的影響。</p>\r\n<blockquote><p><span class=\"em\">創造跟決策中間有些灰色地帶，很容易混淆，有些工作看起來似乎是創造，其實只是一連串決策的組合。</span></p></blockquote>\r\n<p>經常有人問我，進入人工智慧時代之後，是不是一定要當軟體工程師才有前途？如果不是工程背景的人，是不是註定要被淘汰？今天的課程就跟大家分享，如果你不是工程出身，也不會寫程式，面對來勢洶洶的人工智慧浪潮，應該如何規劃自己的職涯，維持職場競爭力。</p>\r\n<h2 class=\"writingsH2\"><strong>不同工作性質 AI 扮演角色大不相同</strong></h2>\r\n<p>首先，請大家先拋開經常聽說的各種恐嚇，說什麼人工智慧會很快取代人類大部分的工作，甚至統治人類。我們應該回過頭來，先分析自己工作的主要成分是什麼，或許可以<span class=\"blueP\">大致分成四類，分別是行政管理(management)、溝通 (communication)、決策 (decision)，以及創造 (creation)。</span></p>\r\n<h2 class=\"writingsH2\"><strong>行政管理：由 AI 代勞可節省大量時間</strong></h2>\r\n<p>我們先從行政管理談起，例如資料整理、工作報表、考勤紀錄、薪資發放、績效考核等，這些工作有些部分未來可以交由人工智慧來執行。</p>\r\n<p>根據《哈佛商業評論》針對 14 個國家的 1,770 位經理人進行問卷調查，發現目前各層級的經理人都投入大量時間在行政管理工作上，像是協調員工的工作日程及報告撰寫。事實上，《哈佛商業評論》估計，企業若把這些工作轉交給人工智慧處理，至少能夠幫主管節省一半的行政管理時間。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>溝通：視內容複雜程度而定</strong></h2>\r\n<p>第二種類型的工作為「溝通」，舉凡推銷、談判、公關、遊說、報告、接受申辦、查詢、客服等工作。照目前的人工智慧技術發展來看，大部分需要人與人直接溝通的工作不會被人工智慧取代。但有較固定形式的問答，例如餐廳訂位、購票、預約及客服，甚至電話行銷的「意願判斷」階段，的確有可能會慢慢由人工智慧來分擔。</p>\r\n<p>有趣的是，感覺類似的餐廳訂位跟機場接送預約，其實大不同。餐廳訂位只需要時間、人數、兒童餐具、包廂等資訊；機場接送則需要知道時間、人數、飛機航班、航廈、接送點、行李件數、兒童座椅、有沒有指定車款等問題，而且很多問題是去程回程都不一樣。<span class=\"blueP\">這兩種客服工作需要確認的資訊不同，對人工智慧系統來說，複雜度就有很大差別。</span></p>\r\n<p>同樣也從事客服工作，圖書館員的工作更複雜，被詢問的問題更是千奇百怪，從借還書、找書、書籍推薦、找論文、如何播放影片、資料庫查詢、書籍遺失等各種疑難雜症，類似這樣的工作，比較難被人工智慧取代。  </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>決策：資料質量夠  AI可比人類更準確快速</strong></h2>\r\n<p>第三類型的工作在於「決策」，包括創投、併購、選商、行銷、人員招募、陌生開發、客戶回訪、審核、基金操盤、商品開發、活動舉辦、定價，決定要不要買、要不要投資、要不要賣、賣多少錢，都屬於這類工作內容。而這也是大部分白領工作者的工作重點，稍後我會再跟各位深入討論。</p>\r\n<p>要特別提出的是，雖然今天的人工智慧仍是「弱人工智慧」，無法真正具有思考及學習能力，但已有太多實例可以證明，只要有足夠質量的資料，在各式商業情境中，讓人工智慧進行決策，可以比最有經驗的從業人員決策更為準確及快速。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造：很難被人工智慧取代</strong></h2>\r\n<p>第四類型的工作是「創造」，指的是無中生有的工作，像是寫程式、設計圖表、平面設計、寫作、企劃以及藝術創作等。<span class=\"blueP\">人工智慧或許可以幫忙整理、找資料或者提供線索，但短時間內沒有取代人類的可能，也就是說，創造的工作很難被人工智慧取代。</span></p>\r\n<p><span class=\"blueP\">綜合分析這四種類型的工作，創造跟決策中間有些灰色地帶，很容易混淆；有些工作看起來似乎是創造，其實只是一連串決策的組合。</span>例如在既有的文章與圖片中挑選，重組為新的作品，像是數位內容策展、產品組合、不同行銷訴求的廣告文案等，這類型的工作，<span class=\"blueP\">看似創造，但是以「決策」為核心，只要有大量的資料及可量化的績效，不久的將來，也很可能由人工智慧來代勞。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造可能只是一連串小決策的組合</strong></h2>\r\n<p class=\"blueP\">例如，阿里巴巴集團旗下的廣告交易平台「阿里媽媽」在 2018 年 6 月推出「AI 智能文案」系統，從淘寶、天貓的上億條標題文案中篩選出數百萬條，再經過自然語言處理，可以自動快速生成文案。無論是只需要幾個字的短標題，還是60字左右的商品描述，都能自動生成，根據他們宣稱，此系統能夠在1秒內產生2萬個短標題。</p>\r\n<p>這個系統甚至還能指定文案的風格，像是功能型、特價型、寫實型、逗趣型、古詩詞型等等。行銷人員不必再絞盡腦汁想標題文案，只要選擇自己覺得滿意的那組方案，就可以快速地完成工作。</p>\r\n<p>相信大家可以注意到，行銷文案寫作原本常被認為是「創造」性的工作，但其實只是一連串小決策的集合，而且是非常適合由人工智慧來處理的決策類型。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>滿足這三個條件就適合由 AI 進行決策</strong></h2>\r\n<p>什麼樣的決策適合由人工智慧來進行？有幾個檢查的規則。我們通常把可能影響決策的因素稱為 X，X 包含的變數可多可少，從兩三個到成千上萬個變數都可以；同時把決策變數稱為 Y，例如一個信貸申請案件有沒有被核可，或是一個行銷文案帶來多少業務收入都是決策變數。如果某個決策問題滿足以下三個條件，就很適合由人工智慧來執行：</p>\r\n<p class=\"blueP\">&nbsp1. 決策變數 Y 與可能影響決策的因素 X 有足夠的關聯性。</p>\r\n<p class=\"blueP\">&nbsp2. 成對的決策變數 Y 與可能影響決策的因素 X 有足夠多的樣本。</p>\r\n<p class=\"blueP\">&nbsp3. X 及 Y 的資料品質夠好，兩者之間的關聯性有足夠的一致性：也就是若 X1 及 X2 很像，那他們分別所對應&nbsp的 Y1 及 Y2 應該也會很接近。</p>\r\n<p>從這三個條件來看，不難理解為什麼阿里媽媽的AI智能文案系統能夠快速產出方便好用的文案。按照同樣的標準，也可以盤點出適合人工智慧的決策工作至少還包含：行銷優惠方案、該去拜訪哪個客戶、預估產品交期、預測產品銷量以提前預備原料、貸款該不該核可，個人化的廣告文宣設計，甚至零售店點的展店決策等，都很適合以人工智慧來做半自動或全自動的決策輔助。 </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>這些事情目前仍必須由人類做決策</strong></h2>\r\n<p>當然，也有許多決策不適合由人工智慧來進行。<span class=\"blueP\">例如併購，因為一家公司的產品、員工、製造、研發及銷售能量很難量化，連資料都無法成形，因此人工智慧派不上用場；同樣的理由，創投與選商也不適合由人工智慧來做決策。另外像新市場的開發及新商品的定價，通常也有難以量化及樣本太少的問題，還是只能由人類來做決策。</span></p>\r\n<p class=\"blueP\">一個簡單的判斷方法，若你覺得自己的日常決策工作背後有些原則，可以完整寫出來或說出來，而且例外狀況不多，那通常就是人工智慧可替代的決策。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同工作將成為常態</strong></h2>\r\n<p>那麼，人工智慧會立刻取代我們的工作嗎？別擔心，即使你的工作是以人工智慧可替代的決策為主，未來可能會慢慢有人工智慧的參與，從提供決策輔助開始，逐漸轉變為人類與人工智慧分工合作。也就是說，<span class=\"blueP\">常規性的工作由人工智慧來進行，而人類負責處理特例以及持續改善人工智慧的效能。這樣一來，整體工作的品質及效率都能夠獲得提升。</span></p>\r\n<p>同時，日後企業的績效評估應該要審視人機協同工作的整體表現，而不是只看人工決策的部分，<span class=\"blueP\">因此職場工作者是否具備與人工智慧協同合作的能力會成為關鍵，企業裡的人力資源單位也要對此有所認知，預先做好準備。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同範例：美國 Stitch Fix 用人工智慧賣衣服</strong></h2>\r\n<p>2017 年在美國上市的 Stitch Fix 就是一個相當有趣的人機協作範例。這家公司做的是賣衣服的生意，表面上看起來平平無奇，但背後卻有堅強的人工智慧團隊，靠著資料及演算法在五年內打造出 14 億美元的市值，在美國目前擁有兩百萬活躍用戶。</p>\r\n<p>Stitch 的營運模式相當簡單，加入會員時先繳交 20 美元，就能定期收到裝著五件衣服的包裹，這是 Stitch 依個別用戶身材及偏好做個人化推薦的成果，用戶可以留下自己喜歡的品項，退回其他的，如果都不滿意也可以全數退回，但必須支付 20 美元的運費。</p>\r\n<p>這種營運模式非常大膽，因為如果用戶連續幾次對寄來的衣服都不滿意，很快就會流失。那為什麼 Stitch 有辦法獲得消費者的持續支持？因為有<span class=\"blueP\">強大的人工智慧團隊，針對會員在註冊時填寫的詳細問卷，與每次接受及拒絕的品項記錄，找出每個用戶的穿著品味及偏好，藉由機器學習不斷優化寄送的衣服，以符合每個用戶的需求，降低退貨率。</span></p>\r\n<p>但這樣還不夠，購衣及穿衣並不完全是科學可以掌握的行為，總有些人工智慧無法理解的考慮，得由專家與人工智慧協同合作。例如某些用戶老是退貨，或是特殊情境的需求，例如參加畢業舞會、第一次約會，或是參加重要的面試等。因此，Stitch 還有三百多位時尚造型師提供線上諮詢，幫助用戶找出最合適的商品，以滿足在不同情境下的需求體驗，同時增進人工智慧推薦系統的守備範圍，讓系統可以在未來將這些特殊的需求及情境列入考慮。</p>\r\n<p>從這個例子來看，<span class=\"blueP\">與人工智慧協同合作最簡單的績效評估方式是：有沒有讓工作效率更快？是不是讓決策更準？</span>具體的合作方式可能有很多種，例如由人來準備好高品質的資料，協助建立更好的人工智慧模型；或是以人工智慧來做常規的決策，由人來進行例外處理；或是以人工智慧來找出人類決策之間的不一致，幫助人類日後做更好的決策等。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人工智慧是工具，也是白領工作者的得力助手</strong></h2>\r\n<p>再回到人工智慧對於工作的取代性這個問題，若<span class=\"blueP\">你的工作以創造，或是人工智慧無法替代的溝通及決策為主，在可預見的未來，你的工作仍然很安全；而且，人工智慧將成為你的得力助手，</span>它們可以給予各種提示與線索，做決策上的輔助，讓你的工作表現更快更好，或是提供的服務更貼心。</p>\r\n<p>另一方面，<span class=\"blueP\">若你的工作內容大部分可由人工智慧替代，不妨考慮逐漸往創造、策略、溝通或管理的功能移動，讓自己從可能被人工智慧取代，提升為讓人工智慧為自己工作的人才。</span></p>\r\n<p>總結來說，對於非工程背景、不會寫程式的白領工作者而言，能不能善用人工智慧、與人工智慧協同合作，會是影響白領工作者未來職場競爭力的關鍵。</p>\r\n<p>這系列課程就是希望提升所有聽眾對於人工智慧的認識，要知道人工智慧是什麼、破除以訛傳訛的迷思、了解人工智慧的能與不能，再加上對於職場工作的分析，就可以知道，人工智慧只是個工具。甚至，不妨把它當成是複雜版本的Excel，它不會取代我們，更不會統治我們，只要用得好，將成為我們在職場上的得力助手。</p>','台灣產業AI化的問題9〉非工程背景人才，就要被AI時代淘汰嗎？','','inherit','closed','closed','','10660-revision-v1','','','2020-02-01 11:20:12','2020-02-01 03:20:12','',10660,'https://aiacademy.tw/10660-revision-v1/',0,'revision','',0),(10672,11,'2020-02-01 11:20:41','2020-02-01 03:20:41','<style>\r\nspan.em{\r\ncolor:#b10500;\r\nfont-weight: 500;\r\n}\r\n.blueP{\r\ncolor:#5391c0;\r\nfont-weight: none;\r\n}\r\n</style>\r\n<p>談到人工智慧，大概最流行的話題就是「有哪些工作會被取代」。在本課中從工作的本質出發，詳細分析什麼樣的工作容易被取代，又有哪些工作不可能由人工智慧代勞，最重要的是，應該如何正確看待人工智慧未來對我們工作產生的影響。</p>\r\n<blockquote><p><span class=\"em\">創造跟決策中間有些灰色地帶，很容易混淆，有些工作看起來似乎是創造，其實只是一連串決策的組合。</span></p></blockquote>\r\n<p>經常有人問我，進入人工智慧時代之後，是不是一定要當軟體工程師才有前途？如果不是工程背景的人，是不是註定要被淘汰？今天的課程就跟大家分享，如果你不是工程出身，也不會寫程式，面對來勢洶洶的人工智慧浪潮，應該如何規劃自己的職涯，維持職場競爭力。</p>\r\n<h2 class=\"writingsH2\"><strong>不同工作性質 AI 扮演角色大不相同</strong></h2>\r\n<p>首先，請大家先拋開經常聽說的各種恐嚇，說什麼人工智慧會很快取代人類大部分的工作，甚至統治人類。我們應該回過頭來，先分析自己工作的主要成分是什麼，或許可以<span class=\"blueP\">大致分成四類，分別是行政管理(management)、溝通 (communication)、決策 (decision)，以及創造 (creation)。</span></p>\r\n<h2 class=\"writingsH2\"><strong>行政管理：由 AI 代勞可節省大量時間</strong></h2>\r\n<p>我們先從行政管理談起，例如資料整理、工作報表、考勤紀錄、薪資發放、績效考核等，這些工作有些部分未來可以交由人工智慧來執行。</p>\r\n<p>根據《哈佛商業評論》針對 14 個國家的 1,770 位經理人進行問卷調查，發現目前各層級的經理人都投入大量時間在行政管理工作上，像是協調員工的工作日程及報告撰寫。事實上，《哈佛商業評論》估計，企業若把這些工作轉交給人工智慧處理，至少能夠幫主管節省一半的行政管理時間。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>溝通：視內容複雜程度而定</strong></h2>\r\n<p>第二種類型的工作為「溝通」，舉凡推銷、談判、公關、遊說、報告、接受申辦、查詢、客服等工作。照目前的人工智慧技術發展來看，大部分需要人與人直接溝通的工作不會被人工智慧取代。但有較固定形式的問答，例如餐廳訂位、購票、預約及客服，甚至電話行銷的「意願判斷」階段，的確有可能會慢慢由人工智慧來分擔。</p>\r\n<p>有趣的是，感覺類似的餐廳訂位跟機場接送預約，其實大不同。餐廳訂位只需要時間、人數、兒童餐具、包廂等資訊；機場接送則需要知道時間、人數、飛機航班、航廈、接送點、行李件數、兒童座椅、有沒有指定車款等問題，而且很多問題是去程回程都不一樣。<span class=\"blueP\">這兩種客服工作需要確認的資訊不同，對人工智慧系統來說，複雜度就有很大差別。</span></p>\r\n<p>同樣也從事客服工作，圖書館員的工作更複雜，被詢問的問題更是千奇百怪，從借還書、找書、書籍推薦、找論文、如何播放影片、資料庫查詢、書籍遺失等各種疑難雜症，類似這樣的工作，比較難被人工智慧取代。  </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>決策：資料質量夠  AI可比人類更準確快速</strong></h2>\r\n<p>第三類型的工作在於「決策」，包括創投、併購、選商、行銷、人員招募、陌生開發、客戶回訪、審核、基金操盤、商品開發、活動舉辦、定價，決定要不要買、要不要投資、要不要賣、賣多少錢，都屬於這類工作內容。而這也是大部分白領工作者的工作重點，稍後我會再跟各位深入討論。</p>\r\n<p>要特別提出的是，雖然今天的人工智慧仍是「弱人工智慧」，無法真正具有思考及學習能力，但已有太多實例可以證明，只要有足夠質量的資料，在各式商業情境中，讓人工智慧進行決策，可以比最有經驗的從業人員決策更為準確及快速。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造：很難被人工智慧取代</strong></h2>\r\n<p>第四類型的工作是「創造」，指的是無中生有的工作，像是寫程式、設計圖表、平面設計、寫作、企劃以及藝術創作等。<span class=\"blueP\">人工智慧或許可以幫忙整理、找資料或者提供線索，但短時間內沒有取代人類的可能，也就是說，創造的工作很難被人工智慧取代。</span></p>\r\n<p><span class=\"blueP\">綜合分析這四種類型的工作，創造跟決策中間有些灰色地帶，很容易混淆；有些工作看起來似乎是創造，其實只是一連串決策的組合。</span>例如在既有的文章與圖片中挑選，重組為新的作品，像是數位內容策展、產品組合、不同行銷訴求的廣告文案等，這類型的工作，<span class=\"blueP\">看似創造，但是以「決策」為核心，只要有大量的資料及可量化的績效，不久的將來，也很可能由人工智慧來代勞。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>創造可能只是一連串小決策的組合</strong></h2>\r\n<p class=\"blueP\">例如，阿里巴巴集團旗下的廣告交易平台「阿里媽媽」在 2018 年 6 月推出「AI 智能文案」系統，從淘寶、天貓的上億條標題文案中篩選出數百萬條，再經過自然語言處理，可以自動快速生成文案。無論是只需要幾個字的短標題，還是60字左右的商品描述，都能自動生成，根據他們宣稱，此系統能夠在1秒內產生2萬個短標題。</p>\r\n<p>這個系統甚至還能指定文案的風格，像是功能型、特價型、寫實型、逗趣型、古詩詞型等等。行銷人員不必再絞盡腦汁想標題文案，只要選擇自己覺得滿意的那組方案，就可以快速地完成工作。</p>\r\n<p>相信大家可以注意到，行銷文案寫作原本常被認為是「創造」性的工作，但其實只是一連串小決策的集合，而且是非常適合由人工智慧來處理的決策類型。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>滿足這三個條件就適合由 AI 進行決策</strong></h2>\r\n<p>什麼樣的決策適合由人工智慧來進行？有幾個檢查的規則。我們通常把可能影響決策的因素稱為 X，X 包含的變數可多可少，從兩三個到成千上萬個變數都可以；同時把決策變數稱為 Y，例如一個信貸申請案件有沒有被核可，或是一個行銷文案帶來多少業務收入都是決策變數。如果某個決策問題滿足以下三個條件，就很適合由人工智慧來執行：</p>\r\n<p class=\"blueP\">&nbsp1. 決策變數 Y 與可能影響決策的因素 X 有足夠的關聯性。</p>\r\n<p class=\"blueP\">&nbsp2. 成對的決策變數 Y 與可能影響決策的因素 X 有足夠多的樣本。</p>\r\n<p class=\"blueP\">&nbsp3. X 及 Y 的資料品質夠好，兩者之間的關聯性有足夠的一致性：也就是若 X1 及 X2 很像，那他們分別所對&nbsp應的 Y1 及 Y2 應該也會很接近。</p>\r\n<p>從這三個條件來看，不難理解為什麼阿里媽媽的AI智能文案系統能夠快速產出方便好用的文案。按照同樣的標準，也可以盤點出適合人工智慧的決策工作至少還包含：行銷優惠方案、該去拜訪哪個客戶、預估產品交期、預測產品銷量以提前預備原料、貸款該不該核可，個人化的廣告文宣設計，甚至零售店點的展店決策等，都很適合以人工智慧來做半自動或全自動的決策輔助。 </p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>這些事情目前仍必須由人類做決策</strong></h2>\r\n<p>當然，也有許多決策不適合由人工智慧來進行。<span class=\"blueP\">例如併購，因為一家公司的產品、員工、製造、研發及銷售能量很難量化，連資料都無法成形，因此人工智慧派不上用場；同樣的理由，創投與選商也不適合由人工智慧來做決策。另外像新市場的開發及新商品的定價，通常也有難以量化及樣本太少的問題，還是只能由人類來做決策。</span></p>\r\n<p class=\"blueP\">一個簡單的判斷方法，若你覺得自己的日常決策工作背後有些原則，可以完整寫出來或說出來，而且例外狀況不多，那通常就是人工智慧可替代的決策。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同工作將成為常態</strong></h2>\r\n<p>那麼，人工智慧會立刻取代我們的工作嗎？別擔心，即使你的工作是以人工智慧可替代的決策為主，未來可能會慢慢有人工智慧的參與，從提供決策輔助開始，逐漸轉變為人類與人工智慧分工合作。也就是說，<span class=\"blueP\">常規性的工作由人工智慧來進行，而人類負責處理特例以及持續改善人工智慧的效能。這樣一來，整體工作的品質及效率都能夠獲得提升。</span></p>\r\n<p>同時，日後企業的績效評估應該要審視人機協同工作的整體表現，而不是只看人工決策的部分，<span class=\"blueP\">因此職場工作者是否具備與人工智慧協同合作的能力會成為關鍵，企業裡的人力資源單位也要對此有所認知，預先做好準備。</span></p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人機協同範例：美國 Stitch Fix 用人工智慧賣衣服</strong></h2>\r\n<p>2017 年在美國上市的 Stitch Fix 就是一個相當有趣的人機協作範例。這家公司做的是賣衣服的生意，表面上看起來平平無奇，但背後卻有堅強的人工智慧團隊，靠著資料及演算法在五年內打造出 14 億美元的市值，在美國目前擁有兩百萬活躍用戶。</p>\r\n<p>Stitch 的營運模式相當簡單，加入會員時先繳交 20 美元，就能定期收到裝著五件衣服的包裹，這是 Stitch 依個別用戶身材及偏好做個人化推薦的成果，用戶可以留下自己喜歡的品項，退回其他的，如果都不滿意也可以全數退回，但必須支付 20 美元的運費。</p>\r\n<p>這種營運模式非常大膽，因為如果用戶連續幾次對寄來的衣服都不滿意，很快就會流失。那為什麼 Stitch 有辦法獲得消費者的持續支持？因為有<span class=\"blueP\">強大的人工智慧團隊，針對會員在註冊時填寫的詳細問卷，與每次接受及拒絕的品項記錄，找出每個用戶的穿著品味及偏好，藉由機器學習不斷優化寄送的衣服，以符合每個用戶的需求，降低退貨率。</span></p>\r\n<p>但這樣還不夠，購衣及穿衣並不完全是科學可以掌握的行為，總有些人工智慧無法理解的考慮，得由專家與人工智慧協同合作。例如某些用戶老是退貨，或是特殊情境的需求，例如參加畢業舞會、第一次約會，或是參加重要的面試等。因此，Stitch 還有三百多位時尚造型師提供線上諮詢，幫助用戶找出最合適的商品，以滿足在不同情境下的需求體驗，同時增進人工智慧推薦系統的守備範圍，讓系統可以在未來將這些特殊的需求及情境列入考慮。</p>\r\n<p>從這個例子來看，<span class=\"blueP\">與人工智慧協同合作最簡單的績效評估方式是：有沒有讓工作效率更快？是不是讓決策更準？</span>具體的合作方式可能有很多種，例如由人來準備好高品質的資料，協助建立更好的人工智慧模型；或是以人工智慧來做常規的決策，由人來進行例外處理；或是以人工智慧來找出人類決策之間的不一致，幫助人類日後做更好的決策等。</p>\r\n<h2 class=\"writingsH2\"><h2 class=\"writingsH2\"><strong>人工智慧是工具，也是白領工作者的得力助手</strong></h2>\r\n<p>再回到人工智慧對於工作的取代性這個問題，若<span class=\"blueP\">你的工作以創造，或是人工智慧無法替代的溝通及決策為主，在可預見的未來，你的工作仍然很安全；而且，人工智慧將成為你的得力助手，</span>它們可以給予各種提示與線索，做決策上的輔助，讓你的工作表現更快更好，或是提供的服務更貼心。</p>\r\n<p>另一方面，<span class=\"blueP\">若你的工作內容大部分可由人工智慧替代，不妨考慮逐漸往創造、策略、溝通或管理的功能移動，讓自己從可能被人工智慧取代，提升為讓人工智慧為自己工作的人才。</span></p>\r\n<p>總結來說，對於非工程背景、不會寫程式的白領工作者而言，能不能善用人工智慧、與人工智慧協同合作，會是影響白領工作者未來職場競爭力的關鍵。</p>\r\n<p>這系列課程就是希望提升所有聽眾對於人工智慧的認識，要知道人工智慧是什麼、破除以訛傳訛的迷思、了解人工智慧的能與不能，再加上對於職場工作的分析，就可以知道，人工智慧只是個工具。甚至，不妨把它當成是複雜版本的Excel，它不會取代我們，更不會統治我們，只要用得好，將成為我們在職場上的得力助手。</p>','台灣產業AI化的問題9〉非工程背景人才，就要被AI時代淘汰嗎？','','inherit','closed','closed','','10660-revision-v1','','','2020-02-01 11:20:41','2020-02-01 03:20:41','',10660,'https://aiacademy.tw/10660-revision-v1/',0,'revision','',0),