Thursday, July 21, 2016

KenLM: ERROR: 2-gram discount out of range for adjusted count 3: -0.402645

今天在跑LM的時候出了這個錯誤︰
ERROR: 2-gram discount out of range for adjusted count 3: -0.402645

我用的指令是︰
~/kenlm/bin/lmplz -o 3 < input > output

在網上找了一下,看到了原代碼的報錯位置,發現上面有一個參數--discount_fallback應該可以影響下面的代碼。好像是因為data太少,用了discount之後就出了負數,所以就出了這個Error。

最後我是用這個方法解決的︰
~/kenlm/bin/lmplz --discount_fallback 0.1 0.2 0.3 -o 3 < input > output

雖然每次都有這個Error,但它可以接著跑下出並生成LM,應該OK吧。

No comments: