Scikit-Learn: Etiket değil x tüm eğitim örneklerinde bulunur

Question

SVM ile çok-sınıflı sınıflandırma yapmaya çalışıyorum. Yaklaşık 8k özelliğim var ve yaklaşık 400'lük bir uzunluğa sahip y vektörüne sahibim. Zaten ikili Y vektörleri var, bu yüzden MultiLabelBinarizer()'u kullanmadım ama Y veriimin ham formunu kullandığımda hala aynı şeyi veriyor.

Bu kodu çalıştırıyorum: Bu öngörü kısmına geldiğinde bütün uydurma işleminden sonra

X = np.genfromtxt('data_X', delimiter=";") 
Y = np.genfromtxt('data_y', delimiter=";") 
training_X = X[:2600,:] 
training_y = Y[:2600,:] 

test_sample = X[2600:2601,:] 
test_result = Y[2600:2601,:] 

classif = OneVsRestClassifier(SVC(kernel='rbf')) 
classif.fit(training_X, training_y) 
print(classif.predict(test_sample)) 
print(test_result) 

, bu Label not x is present in all training examples (x 400 benim y vektör uzunluğu aralığında birkaç farklı sayılar olduğunu) söylüyor . Bundan sonra, her zaman sıfır vektörü olan ve uzunluğu 400 (y vektör uzunluğu) olan y vektörünü verir. Ben scikit-öğrenmede ve ayrıca makine öğreniminde yeniyim. Buradaki problemi çözemedim. Sorun nedir ve düzeltmek için ne yapmalıyım? Teşekkürler.

Answer 1

Burada 2 sorun vardır: sınıflarınızın bazı eğitim verilerinden eksik olduğunu

1) tahminler

uyarı için tüm 0'lar alıyorsanız)
2 uyarı eksik etiket anlamına gelir. Bu yaygın bir sorundur. Eğer 400 sınıfınız varsa, bunların bir kısmı sadece çok nadir olarak yapılmalı ve verilerin herhangi bir bölümünde, bazı sınıflar bölünmenin bir tarafından eksik olabilir. Ayrıca verilerinizde hiç bulunmayan sınıflar da olabilir. Y.sum(axis=0).all()'u deneyebilir ve bu yanlışsa, Y'de bile bazı sınıflar oluşmaz. Bu, tüm sesler korkunçtur, ancak gerçekçi olarak, 0, 1 veya çok küçük olan sınıfları doğru şekilde tahmin edemezsiniz. Her neyse, bu yüzden onlar için 0 tahmin etmek muhtemelen yapabileceğiniz en iyisidir.

Tüm 0 tahminlerine gelince, 400 dersi ile, muhtemelen tüm derslerinizin zamanın yarısından daha az olduğunu göstereceğim. En yüksek etiket frekansını almak için Y.mean(axis=0).max()'u kontrol edebilirsiniz. 400 dersi ile, sadece birkaç yüzde olabilir. Eğer öyleyse, her sınıf için 0-1 tahmin yapmak zorunda olan bir ikili sınıflandırıcı muhtemelen tüm örneklerde tüm sınıflar için 0 seçecektir. Bu gerçekten bir hata değil, çünkü tüm sınıf frekansları düşük.

Her örneğin pozitif bir etiketin (en az bir tane) olduğunu biliyorsanız, karar değerlerini (clf.decision_function) alabilir ve her örnek için en yüksek olanı seçebilirsiniz. Bunu yapmak için biraz kod yazman gerekecek.

Kaggle yarışmasında bir zamanlar buna benzeyen ilk 10 maçı bitirdim. Bu, hiçbiri% 10'luk bir frekansla hiç meydana gelmeyen ~ 200 sınıflı çok-yanlı bir problemdi ve biz de 0-1 tahminlerine ihtiyacımız vardı. Bu durumda karar değerlerini aldım ve en yüksek olanı aldım, artı eşiğin üstünde olan her şeyi aldım. Bir bekletme setinde en iyi çalıştıran eşiği seçtim. Bu girdinin kodu Github: Kaggle Greek Media code üzerindedir. Bir göz atabilirsin.

Eğer bu kadar ileri gittiyseniz, okuma için teşekkürler. Umarım yardımcı olur.