Java filtre kelimeleri nadir rastlanmayan alanlarda bile dosya dışı çıktı

Question

Okul için büyük veri ataması üzerinde çalışıyorum ve kod çalışmam için kelimeleri bir metin dosyasından filtrelemem gerekiyor.

Elbette dosyayı okuyun ve replaceAll ("[^ a-zA-Z0-9]", "") ile ihtiyacım olmayan şeyleri filtreleyim;

Ancak bu bir sorun getirir. Ben boşluklar göre filtreleme ve bazı özel durumlar gibi olduğundan:

wobbewy!'--'Wobbewy,' 

alıyorum gibi kelimeler:

wobbewywobbewy 

gibi alanlarda kelimeleri filtrelemek ve ayrıca yapmadan bu özel durumları filtrelemek için yine de var mı If ifadeleri muazzam miktarda? (Birden fazla boşluk) benim

Answer 1

Bölünmüş "non kelime" karakter üzerinde girdi, böylece bölünmüş tüketir:

String[] woord = thisLine.trim().split("[^a-zA-Z0-9']+"); 

Bildirim tek kelimeyle olarak muamele "yok" gibi kelimeleri olanağı verecek bir tutmaya chars kesme işareti eklendi .

Answer 2

özel karakterler kaldırarak, bilgileriniz

xxv i gibi outpuit olsun Sonra

while ((thisLine = bufferedReader.readLine()) != null) { 
     String[] woord = thisLine.toString().trim().split("\\s+"); 
     for(int i=0; i<woord.length; i++){ 
      normalWord = woord[i].replaceAll("[^a-zA-Z]+", " "); 
      normalWord = normalWord.toLowerCase(); 

i düzeltme çalışması sonrasında olup bitenlerin

Örnek kod kelime sınırları hakkında kaybolur.

replaceAll("[^a-zA-Z0-9]", ""); - replaceAll("([^a-zA-Z0-9]|\s)+", " "); için değiştirin (özel karakterleri ve beyaz alanları tek bir boşlukla değiştirin).