如題,文本有24M,近180萬的資料量,運行命令:crf_learn -f 8 -c 1.5 template msr_training.01.crf.txt model_file 之后
會出現這種情況,也不生成model了,面對1M大小的檔案基本上是沒有問題的,有大佬為我來解釋下是為什么嗎。。。使用的是Ubuntu14.04 ,記憶體是4個G
uj5u.com熱心網友回復:
一樣的問題,win下。也是沒有 model 檔案uj5u.com熱心網友回復:
.. 14700.. 14800.. 14900.. 15000.. 15100.. 15200.. 15300.. 15400.. 15500.. 15600.. 15700.. 15800.. 15900.. 16000.. 16100.. 16200.. 16300.. 16400.. 16500.. 16600.. 16700.. 16800.. 16900.. 17000.. 17100.. 17200.. 17300.. 17400.. 17500.. 17600.. 17700.. 17800.. 17900.. 18000.. 18100.. 18200.. 18300.. 18400.. 18500.. 18600.. 18700.. 18800.. 18900.. 19000..Done!41.93 s
Number of sentences: 19054
Number of features: 2159868
Number of thread(s): 1
Freq: 3
eta: 0.00010
C: 4.00000
shrinking size: 20
iter=0 terr=0.67958 serr=1.00000 act=2159868 obj=2531994.56328 diff=1.00000
uj5u.com熱心網友回復:
我也遇到到過樓主一樣的錯誤,我的解決方案可以參考一下number of sentences:1 這里應該是語料沒有處理好,
數量不應該是1,在句子和句子之間應該也要換行隔開
二樓的錯誤跟咱們不一樣 你那是迭代一輪后退出,網上有帖子說解決辦法是加引數
uj5u.com熱心網友回復:
CPU不夠用,扔到服務器上。uj5u.com熱心網友回復:
二樓的應該是特征太多了,-f 引數提高一下,減少特征數就可以了uj5u.com熱心網友回復:
我的也是。十幾兆的檔案一次迭代都沒,隨便挑了幾百行就有了uj5u.com熱心網友回復:
我用的個人電腦,只能將語料庫控制在10W行,2個特征才行,關鍵是他沒拋什么錯誤資訊出來啊轉載請註明出處,本文鏈接:https://www.uj5u.com/caozuo/110329.html
標籤:專題技術討論區
上一篇:單硬碟雙系統,開機無法選擇系統
