白水门丨机器学习中的异常值检测

2025-10-03 12:16:05

什么是反常差值？

信息集里的反常产于称为反常差值。在对信息建模之前，去除反常差值是信息清理过程的一部分。

反常差值可能是由人为正确、信息锈蚀或信息集里的某些突起性引起的。

信息集里假定反常差值会导致信息模型的精准度提高，因此，删掉反常差值最大限度减少信息的偏移。

由于这是一个小信息集，包含了“Id”和“Age”，通过查看信息就可以清楚地发现第 9 言道和第 11 言道远高于其余言道。这些差值就被称为反常差值，因为与其他差值不意味着。

反常差值扫描

对于小得多的信息集，可以通过量化信息来扫描反常差值。但是，对于庞大的信息集，不太可能只查看信息以确切确实假定反常差值是不想像的。所以，对于此类信息集，检查反常差值的方式之一是使用箱内示意图。

来看一下上述信息帧赢取的箱内示意图：

使用 seaborn 纳在 python 里编写箱内示意图代码

下图里的两个信息点值得注意周围其余信息点。

查看信息确实有反常差值的另一种方式是使用 IQR（四分位条带）方式。通常，Q3（信息的第 75 个百分位）和 Q1（信息的第 25 个百分位）相互间的区别称为 IQR。

首先以，使用以下代码计算 Q1、Q3 和 IQR。

下面的代码是为了找出信息集里的反常差值，任何低于 Q1 IQR 的1.5倍和高于 Q3 IQR 的1.5倍的信息都称为反常差值。在这里得出的是 26 和 50，这与箱内示意图差值完全意味着。

下一步是解决问题它们。但是在此之前，我们得先以真的信息里假定多少反常差值。

如果它是一个非常大的信息并且反常差值非常小，最出色的切实是从信息里删掉这些言道，因为从一个非常大的信息集里删掉一些言道没有对模型产生实在大因素。但是当反常差值相当较多时，就需要对其进言道解决问题。

解决问题反常差值的最佳方式是用平均差值/里差值更换它们，但这种方式并非仅限于于所有至多，例如，“Age”至多不能有Fortran差值。因此，在这种情况下，最出色的方式是使用 pandas.cut 切割法将“Age”划分为不同的仅限于范围。