Metin ve sayısal özelliklerin kombinasyonu nasıl ele alınır?

Question

Kaggel'in Job Salary Prediction'a baktığımda sayısal özellikleri (Kategori gibi) ve metinselleri (FullDescription gibi) görüyorum.

Bu tür veriler hakkında nasıl eğitim alabilirim? TfidfTransformer'u kullanarak metnin vektöreleştirilmesini düşündüm, ancak birçok öğrenme algoritmasının (RandomForestRegressor gibi) çalışmayı reddettiği seyrek matris oluşturur. Ayrıca, metin için özellik vektörüne sahip olduğumda, diğer özellikleriyle nasıl birleştirebilirim?

Bu tür verilerle nasıl çalışılacağına dair işaretçiler var mı?

Teşekkürler!

Answer 1

İlk olarak her metin alanının tf-idf özellikleri üzerinde doğrusal bir model öğrenirim ve diğer özelliklere ek bir özellik olarak doğrusal modeller tahminlerini ekleyebilir ve birleştirilmiş özellikler üzerinde bir veya GradientBoostedTreeRegressor'u eğitirim.