Standart tokenfilter, Elasticsearch'te tam olarak ne yapar?

Question

There are no examples in the documentation ve sadece verdiğim girdiden ne beklemeleri gerektiğimi merak ediyordum.

Answer 1

Elasticsearch 0.16'dan (Lucene 3.1) önce standart belirteç filtresi, "standart belirteçle çıkartılan belirteçlerin normalleştirilmesi" idi. Spesifik olmak gerekirse, sözcüklerin sonunda 's'un kaldırılması ve kısaltmalarda noktaların kaldırılmasıydı. Böylece, standart filtreyi geçtikten sonra Apple'sC.E.OAppleCEO olur. Elasticsearch 0.16 (Lucene 3.1) ile başlayan standart belirteç filtresi nothing (en azından şu anda). Jetonları zincirdeki bir sonraki filtreye aktarır.

Answer 2

İşte Lucene gövdesinden StandardFilter kaynak kodunun bir alıntıdır. Gerçekten hiçbir şey yapmıyor.

public final boolean incrementToken() throws IOException { 
    return input.incrementToken(); // TODO: add some niceties for the new grammar 
}