江苏龙网

  1. 主页 > 生活百科 > >

如何用 Python 清洗数据？

Python清洗数据


如何用 Python 清洗数据？

文章插图
 
0. 序言
在做数据分析之前 ， 我们首先要明确数据分析的目标 ， 然后 应用数据分析的思维 ， 对目标进行细分 ， 再采取相应的行动 。
我们可以把数据分析细分为以下 8 个步骤：
（1）读取
（2） 清洗
（3） 操作
（4） 转换
（5） 整理
（6） 分析
（7） 展现
（8）报告
在《 如何用 Python 读取数据？ 》这篇文章中 ， 我们学习了从 5 种不同的地方读取数据的方法 ， 接下来 ， 我们将利用其中的一种方法 ，  从 Excel 文件中读取原始数据 ， 然后利 用 Python 对它进行清洗 。
下面我们用一副待清洗的扑克牌作为示例 ， 假设它保存在代码文件相同的目录下 ， 在 Jupyter Lab 环境中运行以下代码：
import numpy as npimport pandas as pd# 设置最多显示 10 行pd.set_option('max_rows', 10)# 从 Excel 文件中读取原始数据df = pd.read_excel('待清洗的扑克牌数据集.xlsx')df返回结果如下：
如何用 Python 清洗数据？

文章插图
 
这幅待清洗的扑克牌数据集 ， 有一些异常情况 ， 包括：大小王的花色是缺失的 ， 有两张重复的黑桃:spades: A ， 还有一张异常的 黑桃 :spades: 30 。
1. 如何查找异常？
在正式开始清洗数据之前 ， 往往需要先把异常数据找出来 ， 观察异常数据的特征 ， 然后再决定清洗的方法 。
# 查找「花色」缺失的行df[df.花色.isnull()]
如何用 Python 清洗数据？

文章插图
 
# 查找完全重复的行df[df.duplicated()]
如何用 Python 清洗数据？

文章插图
 
# 查找某一列重复的行df[df.编号.duplicated()]
如何用 Python 清洗数据？

文章插图
 
# 查找牌面的所有唯一值df.牌面.unique()返回结果：
array(['大王', '小王', 'A', '30', 4, 5, 6, 7, 8, 9, 10, 'J', 'Q', 'K', 2, 3], dtype=object)
根据常识可以判断 ， 牌面为 30 的是异常值 。
# 查找「牌面」包含 30 的异常值df[df.牌面.isin(['30'])]
如何用 Python 清洗数据？

文章插图
 
# 查找王牌 ， 模糊匹配df[df.牌面.str.contains('王', na=False)]
如何用 Python 清洗数据？

文章插图
 
# 查找编号在 1 到 5 之间的行df[df.编号.between(1, 5)]
如何用 Python 清洗数据？

文章插图
 
查找某个区间 ， 也可以用逻辑运算的方法来实现：
# 查找编号在 1 到 5 之间的行df[(df.编号 >= 1)& (df.编号 <= 5)]其中「 & 」代表必须同时满足两边的条件 ， 也就是「且」的意思 。
还可以用下面等价的方法：
# 查找编号在 1 到 5 之间的行df[~((df.编号 < 1)| (df.编号 > 5))]其中「 | 」代表两边的条件满足一个即可 ， 也就是「或」的意思 ， 「 ~ 」代表取反 ， 也就是「非」的意思 。
2. 如何排除重复？
使用 drop_duplicates() 函数 ， 在排除重复之后 ， 会得到一个新的数据框 。
# 排除完全重复的行 ， 默认保留第一行df.drop_duplicates()返回结果如下：
如何用 Python 清洗数据？

文章插图
 
如果想要改变原来的数据框 ， 有两种方法 ， 一种方法 ， 是增加 inplace 参数：
# 排除重复后直接替换原来的数据框df.drop_duplicates(inplace=True)另一种方法 ， 是把得到的结果 ， 重新赋值给原来的数据框：
# 排除重复后 ， 重新赋值给原来的数据框df = df.drop_duplicates()如果想要按某一列排除重复的数据 ， 那么指定相应的列名即可 。
# 按某一列排除重复 ， 默认保留第一行df.drop_duplicates(['花色'])


推荐阅读


上一篇：MySQL 数据库性能优化，看这篇就够了

下一篇：《仁王》怎么设置中文？