[算法学习] Bootstrap Aggregating 分类/回归

用户8537

用户5027

2025年12月10日修改

2657

2795

👨‍💻

作者：吵爷

基础概念

Bagging（Bootstrap Aggregating）是一种集成学习方法，主要用于减少机器学习模型的方差，并提高其泛化能力。Bagging的核心思想是通过多次抽样生成多个数据集，训练多个模型，并将这些模型的结果进行平均（或投票）来提高整体预测的稳定性和准确性。​

Bagging的定义与核心

Bootstrap抽样：

从原始数据集中有放回地抽取多个子集。每个子集的大小与原始数据集相同，但由于是有放回的抽样，可能会出现重复样本。​

训练多个模型：

每个子集都用于训练一个独立的模型。这些模型通常是相同的模型类型（如决策树，多项式等）。​

集成结果：

对于回归任务，将多个模型的预测结果取平均；对于分类任务，通过多数投票来决定最终的分类结果。​

算法步骤

我们随机生成一个具有2个特征的数据集，用于预测一个连续变量的回归任务。（同样适用于分类）​

步骤1：Bootstrap抽样：

从原始数据集中随机有放回地抽取3个子集，每个子集大小为6（与原始数据集大小相同）。​

子集1：

1.
样本1: X1 = 83, X2 = 60, Y = 67.24​

2.
样本2: X1 = 24, X2 = 22, Y = 24.48​

3.
样本3: X1 = 3, X2 = 89, Y = 60.20​

4.
样本4: X1 = 87, X2 = 21, Y = 33.68​

5.
样本5: X1 = 53, X2 = 91, Y = 76.59​

6.
样本6: X1 = 15, X2 = 30, Y = 20.96​

子集2：

1.
样本1: X1 = 22, X2 = 49, Y = 39.44​

2.
样本2: X1 = 52, X2 = 2, Y = 11.94​

3.
样本3: X1 = 72, X2 = 38, Y = 41.14​

[算法学习] Bootstrap Aggregating 分类/回归​