RandomForestClassifier'ın predict_proba() işlevini güvenli ve doğru şekilde kullanma

Question

Veri kümelerimde makine öğrenme algoritması uygulamak için Scikit kullanıyorum. Bazen etiketlerin/sınıfların kendilerine ait etiket/sınıf olasılıklarına sahip olmam gerekir. E-postaların etiketleri olarak Spam/Spam Olmama yerine, sadece bir örneğe sahip olmak isterim: 0.78 olasılık, belirli bir e-posta Spam'dir.

clf = RandomForestClassifier(n_estimators=10, max_depth=None, 
    min_samples_split=1, random_state=0) 
scores = cross_val_score(clf, X, y) 
print(scores.mean()) 

classifier = clf.fit(X,y) 
predictions = classifier.predict_proba(Xtest) 
print(predictions) 

Ve bu sonuçları aldık: Bu amaçla

, ben şöyle RandomForestClassifier ile predict_proba() kullanıyorum İkinci sütun sınıfa ait

[ 0.4 0.6] 
[ 0.1 0.9] 
[ 0.2 0.8] 
[ 0.7 0.3] 
[ 0.3 0.7] 
[ 0.3 0.7] 
[ 0.7 0.3] 
[ 0.4 0.6] 

: Spam. Bununla birlikte, kendime güvenmediğim sonuçlarla iki ana sorunum var. İlk konu, sonuçların, verilerimin büyüklüğünden etkilenmeden etiketlerin olasılıklarını temsil ettiğidir. İkinci konu, sonuçların sadece 0.701 olasılığının 0.708'den çok farklı olduğu bazı durumlarda çok spesifik olmayan sadece bir rakam göstermesidir. Örneğin sonraki 5 rakamı almanın bir yolu var mı?

Bu iki sorunu ve sorularını okuma zamanınız için şimdiden çok teşekkürler.

Answer 1

1. Sonuçlarımda bir basamaktan daha fazlasına ulaşıyorum, veri kümenizden kaynaklanmadığından emin misiniz? (örneğin çok küçük bir veri kümesinin kullanılması basit karar ağaçlarına ve dolayısıyla “basit” olasılıklara yol açacaktır). Aksi takdirde sadece bir rakam gösteren ekran olabilir, ancak predictions[0,0]'u yazdırmayı deneyin.

2. "Olasılıklar verilerimin büyüklüğünden etkilenmez" ile ne demek istediğini anlayamadığımdan emin değilim. Endişeniz, örneğin çok fazla spam olduğunu tahmin etmek istemiyorsa, genellikle t eşiğini kullanmak, yani proba(label==1) > t ise 1 değerini tahmin etmektir. Bu şekilde, tahminlerinizi dengelemek için eşiği kullanabilirsiniz. Örneğin, global spam olasılığını sınırlamak için. Ve eğer modelinizi global olarak analiz etmek isterseniz, genellikle Alıcının çalışma karakteristiği (ROC) eğrisinin eğri altındaki alanı (AUC) hesaplıyoruz (bkz. Wikipedia makalesi here). Temel olarak ROC eğrisi, t eşiğine bağlı olarak tahminlerinizin bir açıklamasıdır.

Umut eder!

Answer 2

A RandomForestClassifierDecisionTreeClassifier 's grubunun bir üyesidir. Eğitim setiniz ne kadar büyük olursa olsun, bir karar ağacı sadece bir karar verir: bir karar. Bir sınıfın olasılığı 1, diğer sınıfların olasılığı 0'dır.

RandomForest sonuçları arasında oy kullanır. predict_proba(), her bir sınıfa ait oy sayısını döndürür (ormandaki her ağaç kendi kararını verir ve tam olarak bir sınıf seçer), ormandaki ağaç sayısına bölünür. Bu nedenle, hassaslığınız tam olarak 1/n_estimators. Daha fazla "hassas" ister misiniz? Daha fazla tahminci ekleyin. 5. basamakta varyasyon görmek istiyorsanız, aşırı olan 10**5 = 100,000 tahmincilerine ihtiyacınız olacaktır. Normalde 100 tahminciden fazlasını istemiyorsunuz ve çoğu zaman bu kadar değil.