我試圖了解標準標記器的作業原理。下面是我的 tokenizerFactory 檔案中的代碼：
package pl.allegro.tech.elasticsearch.index.analysis.pl;
import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.standard.StandardTokenizer;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.env.Environment;
import org.elasticsearch.index.IndexSettings;
import org.elasticsearch.index.analysis.AbstractTokenizerFactory;
public class UrlTokenizerFactory extends AbstractTokenizerFactory {
public UrlTokenizerFactory(IndexSettings indexSettings, Environment environment, String name, Settings settings) {
super(indexSettings, name, settings);
}
@Override
public Tokenizer create() {
StandardTokenizer t = new StandardTokenizer();
return t;
}
}
我想修改通過標準標記器生成的每個標記。例如，只是為了測驗我可以修改令牌；我想在每個標記的末尾添加一個“a”或任何其他字符。我嘗試使用“ ”運算子在上述創建函式的回傳陳述句中連接標記末尾的“a”字符，但沒有成功。有人對如何實作這個有任何想法嗎？
uj5u.com熱心網友回復：
您可以使用自定義分析器定義模式替換字符過濾器。這將添加_a生成的所有令牌，您無需在 Java 代碼中更新它。
POST _analyze
{
"text": [
"Stack overflow"
],
"tokenizer": "standard",
"char_filter": [
{
"type": "pattern_replace",
"pattern": "(\\S )",
"replacement": "$0_a"
}
]
}
輸出：
{
"tokens" : [
{
"token" : "Stack_a",
"start_offset" : 0,
"end_offset" : 5,
"type" : "<ALPHANUM>",
"position" : 0
},
{
"token" : "overflow_a",
"start_offset" : 6,
"end_offset" : 14,
"type" : "<ALPHANUM>",
"position" : 1
}
]
}
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/444292.html