数据清洗

数据清洗是对一些没有用的数据进行处理的过程。

很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况，如果要对使数据分析更加准确，就需要对这些没有用的数据进行处理。

在这个教程中，我们将利用 Pandas包来进行数据清洗。

处理丢失数据

• 有两种丢失数据：

  • None
  • np.nan(NaN)

• 两种丢失数据的区别

  

• 为什么在数据分析中需要用到的是浮点类型的空而不是对象类型？

  • 数据分析中会常常使用某些形式的运算来处理原始数据，如果原数数据中的空值为NAN的形式，则不会干扰或者中断运算。
  • NAN可以参与运算的
  • None是不可以参与运算

  

• 在pandas中如果遇到了None形式的空值则pandas会将其强转成NAN的形式。

  

pandas处理空值操作

• isnull
• notnull
• any
• all
• dropna
• fillna

• 方式1：对空值进行过滤（删除空所在的行数据）

  • 技术：isnull，notnull，any，all

  

  #哪些行中有空值
  #any(axis=1)检测哪些行中存有空值
  df.isnull().any(axis=1) #any会作用isnull返回结果的每一行
  #true对应的行就是存有缺失数据的行
  

  

  df.notnull()
  

  

  df.notnull().all(axis=0) #all 只要有false，则整体就是false
  

  

  #将布尔值作为源数据的行索引
  df.loc[df.notnull().all(axis=1)]
  

  

• 方式2：

  • dropna：可以直接将缺失的行或者列进行删除

    

  • 对缺失值进行覆盖

    • fillna

  df.fillna(value=999) #使用指定值将源数据中所有的空值进行填充
  

  

  #使用空的近邻值进行填充
  #method=ffill向前填充，bfill向后填充
  df.fillna(axis=0,method='bfill')
  

  

• 什么时候用dropna什么时候用fillna

  • 尽量使用dropna，如果删除成本比较高，则使用fillna

• 使用空值对应列的均值进行空值填充

  for col in df.columns:
      #检测哪些列中存有空值
      if df[col].isnull().sum() > 0:#说明df[col]中存有空值
          mean_value = df[col].mean()
          df[col] = df[col].fillna(value=mean_value)
  

  

面试题

• 数据说明：
  • 数据是1个冷库的温度数据，1-7对应7个温度采集设备，1分钟采集一次。
• 数据处理目标：
  • 用1-4对应的4个必须设备，通过建立冷库的温度场关系模型，预估出5-7对应的数据。
  • 最后每个冷库中仅需放置4个设备，取代放置7个设备。
  • f(1-4) --> y(5-7)
• 数据处理过程：
  • 1、原始数据中有丢帧现象，需要做预处理；
  • 2、matplotlib 绘图；
  • 3、建立逻辑回归模型。
• 无标准答案，按个人理解操作即可，请把自己的操作过程以文字形式简单描述一下，谢谢配合。
• 测试数据为testData.xlsx

Data:

1. 丢帧预处理：

清洗掉none,none1列df.drop(label=['none','none1'],axis=1)

2. 删掉空值所在的行

   #删除空对应的行数据
   data.dropna(axis=0)
   

处理重复数据

#检测哪些行存有重复的数据
df.duplicated(keep='first')

第1行之所以是false，是因为keep保留了第一个出现的数据，但是3，5行就不保留了。如果keep=last，则保留最后一行数据；keep=false则删除所有数据

df.drop_duplicates(keep='first')删除重复数据

处理异常数据

• 自定义一个1000行3列（A，B，C）取值范围为0-1的数据源，然后将C列中的值大于其两倍标准差的异常值进行清洗

  df = DataFrame(data=np.random.random(size=(1000,3)),columns=['A','B','C'])
  

  

• 判定条件：c值大于本列的方差的2倍，则为异常数据

  #制定判定异常值的条件
  twice_std = df['C'].std() * 2
  twice_std
  

  df['C'] > twice_std --> 异常值所在列
  ～df['C'] > twice_std --> 取反操作
  df.loc[~(df['C'] > twice_std)] --> 通过定位非异常值索引来获取正常值