机器学习10种经典算法的Python实现( 五 )

10、Gradient Boosting 和 AdaBoost 算法
当我们要处理很多数据来做一个有高预测能力的预测时,我们会用到 GBM 和 AdaBoost 这两种 boosting 算法 。boosting 算法是一种集成学习算法 。它结合了建立在多个基础估计值基础上的预测结果,来增进单个估计值的可靠程度 。这些 boosting 算法通常在数据科学比赛如 Kaggl、AV Hackathon、CrowdAnalytix 中很有效 。
更多: 详尽了解 Gradient 和 AdaBoost
Python代码
#Import Libraryfrom sklearn.ensemble import GradientBoostingClassifier#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset# Create Gradient Boosting Classifier objectmodel= GradientBoostingClassifier(n_estimators=100, learning_rate=1.0, max_depth=1, random_state=0)# Train the model using the training sets and check scoremodel.fit(X, y)#Predict Outputpredicted= model.predict(x_test)GradientBoostingClassifier 和随机森林是两种不同的 boosting 树分类器 。人们常常问起这两个算法之间的区别 。




推荐阅读