Language Modeling Tutorial
•
6 likes•992 views
PyconAPAC Language Modeling Tutorial http://pycontw.kktix.cc/events/play-modeling-mining
Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
More from Mark Chang
More from Mark Chang (20)
Language Modeling Tutorial
- 1. Language Modeling 語言模型 By Mark Chang
- 2. 語言模型？ ● 什麼是語言模型？ ● 語言模型如何產生？ ● 實作語言模型的應用
- 3. 什麼是語言模型？
- 5. 輸入一個字： 「祭」 哪個字串看起來比較「正常」？ A. 祭隀梜鍖毝捁 B. 祭自兀人己止 C. 祭自己止兀人 D. 祭止兀自己人
- 6. 什麼是語言模型？ • 語言模型是藉由一個機率分布的模型，將機率指派 給字詞所組成的字串。 • Ex: – P(“ ”祭隀梜鍖毝捁 ) = 10-200 – P(“ ”祭自兀人己止 ) = 10-50 – P(“ ”祭自己止兀人 ) = 10-40 – P(“ ”祭止兀自己人 ) = 10-10
- 7. 語言模型還有什麼用？ ● 語音輸入： – 既只誤識字幾人 -> 祭止兀是自己人 ● 機器翻譯： – Taiwan president Ma Ying-jeou flew to Singapore on Tuesday → 台灣總統馬英九飛到新加坡在週二 → 台灣總統馬英九於週二飛往新加坡 ● 資訊檢索： – 罷免 → 選舉罷免法、罷免立委、 ...
- 10. Uni-gram 國民黨立委 蔡正元被網 友暱稱為祭 止兀 ... 國 民 黨 立 委 蔡 正 元 被 網 友 暱 稱 為 祭 止 兀 ... 語料庫 uni-gram 祭： 9670 止： 52982 …....
- 11. Uni-gram Modeling ● P(w1, w2, w3, w4, ..., wn) = P(w1) * P(w2) * P(w3) * … * P(wn) ● Ex: P( 祭 , 止 , 兀 , 自 , 己 , 人 ) = P( 祭 ) * P( 止 ) * P( 兀 ) * … * P( 人 ) ● 假設所有的單字出現的機率都是獨立事件，跟前面 一個字有關。
- 12. Uni-gram Modeling ● 用 uni-gram 估計 P(w1) 機率值： P(w1) = C(w1) / C(all words) ● EX: P( 祭 ) ≈ C( 祭 ) / 語料庫的總字數
- 13. 實作 1-1 ：初始化 ● 載入套件 ● 載入語料庫
- 14. 實作 1-2 ：產生 Uni-gram ● 將文句「祭止兀自己人」切成 uni-gram ● 將語料庫切成 uni-gram ，並作頻率統計 ● 查詢「祭」的頻率
- 15. 實作 1-3 ： Uni-gram Modeling ● 計算 P( 梜 ) 、 P( 祭 ) ● 計算 P( 祭隀梜鍖毝捁 ) 、 P( 祭自己止兀 人 ) 、 P( 祭止兀自己人 )
- 17. Bi-gram 國民黨立委 蔡正元被網 友暱稱為祭 止兀 ... 國民 民黨 黨立 立委 委蔡 蔡正 正元 元被 被網 網友 友暱 暱稱 稱為 為祭 祭止 止兀 ... 語料庫 bi-gram 祭止： 872 止兀： 2354 …....
- 18. Bi-gram ● P(w1, w2, w3, w4, ..., wn) = P(w1) * P(w2 | w1) * P(w3 | w2) * … * P(wn |wn-1) ● Ex: P( 祭 , 止 , 兀 , 自 , 己 , 人 ) = P( 祭 ) * P( 止 | 祭 ) * P( 兀 | 止 ) * … * P( 人 | 己 ) ● 假設所有的字出現的機率都只跟前面一個字有關。
- 19. Bi-gram ● 用 bi-gram 估計 P(w2 | w1) 的機率值： P(w2 | w1) = P(w1, w2) / P(w1) ≈ C(w1, w2) / C(w1) ● EX: P( 止 | 祭 ) = C( 祭 , 止 ) / C( 祭 )
- 20. 實作 1-4 ：產生 Bi-gram ● 將文句「祭止兀自己人」切成 bi-gram ● 將語料庫切成 bi-gram ，並作頻率統計 ● 查詢「止兀」的頻率
- 21. 實作 1-5 ： Bi-gram Modeling ● 計算 P( 兀 | 自 ) 、 P( 兀 | 止 ) ● 計算 P( 祭自兀人己止 ) 、 P( 祭自己止兀人 ) 、 P ( 祭止兀自己人 )
- 23. Tri-gram 國民黨立委 蔡正元被網 友暱稱為祭 止兀 ... 國民黨 民黨立 黨立委 立委蔡 委蔡正 蔡正元 正元被 元被網 被網友 網友暱 友暱稱 暱稱為 稱為祭 為祭止 祭止兀 ... 語料庫 uni-gram 祭止兀： 870 …....
- 24. Tri-gram ● P(w1, w2, w3, w4, ..., wn) = P(w1) * P(w2 | w1) * P(w3 | w2, w1) * … * P(wn |wn-1,wn-2) ● Ex: P( 祭 , 止 , 兀 , 自 , 己 , 人 ) =P( 祭 ) * P( 止 | 祭 ) * P( 兀 | 祭 , 止 ) * … * P( 人 | 自 , 己 ) ● 假設所有的字出現的機率都只跟前面兩個字有關， 與其他字無關。
- 25. Tri-gram ● 用 tri-gram 估計 P(w3 | w1,w2) 的機率值： P(w3 | w1, w2) = P(w1, w2, w3) / P(w1, w2) ≈ C(w1, w2, w3) / C(w1, w2) ● EX: P( 兀 | 祭 , 止 ) = C( 祭 , 止 , 兀 ) / C( 祭 , 止 )
- 26. 實作 1-6 ：產生 Tri-gram ● 將文句「祭止兀自己人」切成 tri-gram ● 將語料庫切成 tri-gram ，並作頻率統計 ● 查詢「祭止兀」的頻率
- 27. 實作 1-7 ： Tri-gram Modeling ● 計算 P( 兀 | 自、己 ) 、 P( 兀 | 祭、止 ) ● 分別用 Bi-gram 和 Tri-gram 算 P( 祭止兀自己 人 ) ，比較其差異
- 28. 實際上， 每個字跟前面所有的字都可能有關 ... ● P(w1,w2,w3,w4,...,wn) = P(w1) * P(w2 | w1) * P(w3 | w1, w2) * … * P(wn | w1, w2, ....wn-1) ● Ex: P( 祭 , 止 , 兀 , 自 , 己 , 人 ) =P( 祭 ) * P( 止 | 祭 ) * P( 兀 | 祭 , 止 ) * … * P( 人 | 祭 , 止 ,..., 己 )
- 29. 如果使用了 4-gram 和 5-gram ?? ● 字與字的組合會太多種，維度爆炸 – Uni-gram: 四千種 – Bi-gram: 十萬種 – Tri-gram: 五十萬種 …..
- 30. 如果使用了 4-gram 和 5-gram ?? ● 在語料庫中沒出現的，則求出來的機率是 0 ： – C(止, 兀, 好, 帥) = 0 – P(止, 兀, 好, 帥) = P(止) * ...* P(帥 |止, 兀, 好) = P(止) * ...* C(止, 兀, 好, 帥) / C(止, 兀, 好) = 0
- 31. 若用 tri-gram 或 bi-gram 也得出 0 怎麼辦？ ● Smoothing ● Interpolation
- 32. Add-One Smoothing ： ● P'(w2 | w1) = ( C(w1, w2)+1 ) / ( C(w1) + C(V) ) – V 是 uni-gram 的種類數量 ● P'(w3 | w1, w2) = ( C(w1,w2,w3)+1 ) / ( C(w1, w2) + C(V) ) – V 是 bi-gram 的種類數量
- 33. Interpolation ● P'(w2 |w1) = x* P(w2) + y* P(w2 | w1) – where x+y = 1 ● P'(w3 |w2,w1) = x* P(w3) + y* P(w3 | w2) + z* P(w3 | w2, w1) – where x+y+z = 1
- 34. 實作 1-8 ： Add-One Smoothing ● 計算 P'( 止 | 兀 ) 和 P'( 兀 | 止 ) ● 比較 P'( 兀 | 止 ) 和 P( 兀 | 止 ) 的差異
- 35. 實作 1-9 ： Interpolation ● 計算 P'( 止 | 兀 ) 和 P'( 兀 | 止 ) ● 比較 P'( 兀 | 止 ) 和 P( 兀 | 止 ) 的差異
- 36. 應用：輸入法自動選字 ● 給定第一個字「自」，自動產生後面兩個字。 求 w2,w3 使以下機率為最大值。 ● P(w2,w3 |w1= 自 ) =P(w1,w2,w3) / P(w1= 自 ) =P(w1)*P(w2|w1= 自 )*P(w3 |w2,w1= 自 ) / P(w1= 自 ) =P(w2|w1= 自 )*P(w3 |w2,w1= 自 )
- 37. 實作 1-10 ：輸入法推薦選字 ● 輸入一個字，自動選出後面要接的兩個字
- 38. 進階版：藏頭詩自動產生器 ● http://www.meetup.com/Taiwan-R/events/22041 0044/ 勘 探 字 文 型 模 率 機 騷 花 水 賦 宛 四 譬 石 人 如 深 詩 轉 五 如 泉 多 夢 處 成 清 十 今 聲 病 不 不 絲 江 五 年 落 來 見 用 竹 漢 湖 前 花 不 說 武 林 主 水 路 開
- 39. 講者聯絡方式： Mark Chang Github ： http://github.com/ckmarkoh Blog ： http://cpmarkchang.logdown.com email ： ckmarkoh at gmail.com