Ames Konut Fiyat Tahmini — XGBoost Regresyonu
Proje Hakkında
Kaggle Housing Prices yarışması için, Ames, Iowa'daki konutların satış fiyatlarını 79 açıklayıcı özellikten tahmin eden uçtan uca bir makine öğrenmesi hattı. Proje; keşifsel veri analizi, sistematik özellik mühendisliği, model karşılaştırması ve hiperparametre ayarından oluşan tam, yinelemeli bir iş akışı izliyor — her tasarım kararı, tutulmadan veya elenmeden önce çapraz doğrulama (cross-validation) skoruna karşı test ediliyor.
Keşifsel analiz, SalePrice'ın sağa çarpık dağıldığını, en güçlü tekil belirleyicilerin OverallQual (0.79 korelasyon) ve GrLivArea (0.71) olduğunu, GarageCars/GarageArea (0.88) gibi bazı özellik çiftlerinin ise yüksek oranda ilişkili (collinear) olduğunu gösterdi; bu da onları tek bir mühendislik özelliğinde birleştirme kararını doğurdu. Yaşam alanı çok büyük olmasına rağmen beklenmedik derecede düşük fiyatlı birkaç ev, aykırı değer (outlier) olarak tespit edilip eğitim setinden çıkarıldı.
Ön işleme aşamasında eksik değerler dikkatle ele alındı: NaN'ın gerçekten "özellik yok" anlamına geldiği kolonlar (havuz yok, garaj yok) ortalama/medyan ile doldurulmak yerine "None" string değeriyle dolduruldu, böylece anlamları korunmuş oldu. Kalite derecelendirme kolonları doğal bir sıraya sahip olduğundan one-hot yerine ordinal (sıralı) olarak kodlandı, bu da modelin kalite gradyanını doğrudan öğrenmesini sağladı.
Sekiz aday mühendislik özelliği, özelliksiz bir başlangıç noktasına (baseline) karşı 5-katlı çapraz doğrulama ile tek tek test edildi; yalnızca CV skorunu ölçülebilir şekilde iyileştiren beş tanesi (TotalSF, TotalBath, QualCond, OverallQual x GrLivArea etkileşim terimi ve GarageAge) tutuldu. XGBoost; Random Forest, LightGBM ve CatBoost ile karşılaştırıldı ve tutarlı biçimde en iyi sonucu verdi; topluluk (ensemble) yöntemleri denendi ama tek başına XGBoost'u geçemedi. İki tur RandomizedSearchCV ile nihai hiperparametreler ayarlandı.
Proje dokuz iterasyondan geçti: Random Forest başlangıcından (16.452 MAE) doğrulanmış özellik mühendisliği, hiperparametre ayarı ve kalite kolonları için ordinal kodlama ile nihai XGBoost modeline (13.384,82 MAE) ulaşıldı — her adım yalnızca çapraz doğrulamaya değil, gerçek liderlik tablosu skoruna göre de ölçüldü.
