Bagging(Bootstrap aggregation) ๋จธ์ ๋ฌ๋ ๋ฐฉ๋ฒ์ ๋ณ๋์ฑ(variance)์ ์ค์ด๊ธฐ ์ํ ์ผ๋ฐ์ ์ธ ๋ฐฉ๋ฒ์ผ๋ก decision tree ๋ฐฉ๋ฒ์ ํนํ ์ ์ฉํ์ฌ ๋ง์ด ์ ์ฉ๋จ -> ์ฌ๋ฌ ๊ฐ์ ๋ ๋ฆฝ์ ์ธ ๋ฐ์ดํฐ์ ์ ํ๋ณดํ๋ ๊ฒ์ด ์ด๋ ค์ bootstrap ๋ฐฉ๋ฒ ์ฌ์ฉ OOB(Out-of-Bag Error Estimation) Bagging ๋ฐฉ๋ฒ์์๋ ์์ฃผ ์ง๊ด์ ์ธ test error ์ถ์ ๋ฐฉ๋ฒ์ด ์กด์ฌ Bootstrap์ ์ค๋ณต์ ํ์ฉํ๋ฏ๋ก ํ๋์ bootstrap training data์์ ํ๊ท ์ ์ผ๋ก ๋ณธ๋(original) ๋ฐ์ดํฐ์ 2/3๊ฐ ์ํ๋ง๋จ ๋๋จธ์ง ์ ํฉ์ ์ฌ์ฉ๋์ง ์์ 1/3์ ๋ฐ์ดํฐ๋ฅผ OOB(out-of-bag)์ผ๋ก ๋ช ๋ช i๋ฒ์งธ ๋ฐ์ดํฐ๊ฐ OOB์ธ ๊ฒฝ์ฐ์ decision tree์์ i๋ฒ์งธ..