boosting集成原理：什么是boosting?

什么是boosting?

隨著學(xué)習(xí)的積累從弱到強(qiáng)，簡(jiǎn)而言之：每新加入一個(gè)弱學(xué)習(xí)器，整體能力就會(huì)得到提升。代表算法：Adaboost，GBDT，XGBoost。

實(shí)現(xiàn)過(guò)程

（1）訓(xùn)練第一個(gè)學(xué)習(xí)器

（2）調(diào)整數(shù)據(jù)分布

（3）訓(xùn)練第二個(gè)學(xué)習(xí)器

（4）再次調(diào)整數(shù)據(jù)分布

（5）依次訓(xùn)練學(xué)習(xí)器，調(diào)整數(shù)據(jù)分布

（6）整體過(guò)程實(shí)現(xiàn)

關(guān)鍵點(diǎn)：

如何確認(rèn)投票權(quán)重?

如何調(diào)整數(shù)據(jù)分布?

AdaBoost的構(gòu)造過(guò)程小結(jié)

bagging集成與boosting集成的區(qū)別：

區(qū)別一:數(shù)據(jù)方面

Bagging：對(duì)數(shù)據(jù)進(jìn)行采樣訓(xùn)練;

Boosting：根據(jù)前一輪學(xué)習(xí)結(jié)果調(diào)整數(shù)據(jù)的重要性。

區(qū)別二:投票方面

Bagging：所有學(xué)習(xí)器平權(quán)投票;

Boosting：對(duì)學(xué)習(xí)器進(jìn)行加權(quán)投票。

區(qū)別三:學(xué)習(xí)順序

Bagging的學(xué)習(xí)是并行的，每個(gè)學(xué)習(xí)器沒(méi)有依賴關(guān)系;

Boosting學(xué)習(xí)是串行，學(xué)習(xí)有先后順序。

區(qū)別四:主要作用

Bagging主要用于提高泛化性能(解決過(guò)擬合，也可以說(shuō)降低方差)

Boosting主要用于提高訓(xùn)練精度 (解決欠擬合，也可以說(shuō)降低偏差)

猜你喜歡：

語(yǔ)言模型-BERT：bert算法介紹

人工智能要學(xué)python嗎?人工智能要學(xué)習(xí)哪些知識(shí)?

傳智教育人工智能培訓(xùn)課程