Boosting je podobne ako bootstrap aggregating množinový meta-algoritmus. Kombinuje klasické slabšie algoritmy do jedného a tým redukuje odchýlky a zvyšuje úspešnosť algoritmu. Jedným z najznámejších boosting-ových algoritmov je AdaBoost.
Algoritmus vytvára modely, ktoré korigujú chyby predchádzajúcich modelov. Toto robí dovtedy, kým klasifikátor predpovedá bez chýb alebo kým sa dosiahne maximálny počet modelov.
Princíp boosting-u je podobný ako pri bootstrap aggregating. Rozdiel je v tom, že jednotlivé podriadené algoritmy medzi sebou komunikujú a zdieľajú svoje výsledky. Tu platí, že algoritmus určuje jednotlivým podriadeným algoritmov váhu hlasu.
Ako príklad môžeme opäť uviesť problém s cukríkmi. Tentokrát však budú cukríky položené na stole. Naľavo bude skupina modrý cukríkov a napravo skupina žltý cukríkov. Medzi nimi sa bude nachádzať jeden zelený cukrík. Úloha je určiť, či bude cukrík modrý alebo žltý, a to v závislosti na jeho polohe voči skupinám cukríkov. Teda cukrík bude tej farby, akú farbu má skupina cukríkov, ku ktorej je bližšie. Cukrík by mal byť žltý, pretože je bližšie k žltej skupine.
Okolo stola stoja traja ľudia, ktorí predstavujú jednotlivé algoritmy. Každý vidí na stôl z iného uhla. Jeden povie, že cukrík bude modrý a dvaja, že bude žltý. Ten, čo povedal, že cukrík bude modrý, dobre zo svojho uhla nevidel na stôl. Preto by mu algoritmus mohol prisúdiť menšiu váhu hlasu ako ostatným.