import os
import torch
import numpy as np
import random
import spacy
from bpemb import BPEmb
nlp = spacy.load("en_core_web_sm")
tokenizer = nlp.Defaults.create_tokenizer(nlp)
這是我的代碼，每當我嘗試運行它時，都會出現錯誤提示
AttributeError: type object 'EnglishDefaults' has no attribute 'create_tokenizer'
uj5u.com熱心網友回復：
您是否考慮過使用內置類Tokenizer，根據檔案，我們可以使用它來創建新的標記器？
import spacy
from spacy.tokenizer import Tokenizer
nlp = spacy.load("en_core_web_sm")
tokenizer = Tokenizer(nlp.vocab)
print(tokenizer)
結果：
$ python3 main.py
<spacy.tokenizer.Tokenizer object at 0x13e7a52d0>
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/516942.html