博客
关于我
chapter.数据清洗1.2
阅读量:517 次
发布时间:2019-03-07

本文共 2318 字,大约阅读时间需要 7 分钟。

1.3填充缺失值

当数据量不够或者其他部分信息很重要的时候,就不能删除数据了,这时需要对缺失值进行填充,通过fillna方法可以将缺失值替换为常数值。
例:

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame(np.arange(12).reshape(3,4))display(data)#对数据进行处理,即创建一些为缺失值的数据data.loc[1,:]=np.nandata[2]=np.nandisplay(data)

在这里插入图片描述

使用fillna方法填充

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame(np.arange(12).reshape(3,4))display(data)#对数据进行处理,即创建一些为缺失值的数据data.loc[1,:]=np.nandata[2]=np.nandisplay(data)data.fillna(0)#全部填充为0

在这里插入图片描述

当然在fillna中传入字典结构数据,可以针对不同列填充不同的值,fillna返回的是新对象,不会对原数据进行修改,可通过inplace就地进行修改。
例:

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame(np.arange(12).reshape(3,4))display(data)#对数据进行处理,即创建一些为缺失值的数据data.loc[1,:]=np.nandata[2]=np.nandisplay(data)data.fillna({   1:6,3:0})

在这里插入图片描述

还可以通过平均值来作为填充数

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame(np.arange(12).reshape(3,4))display(data)#对数据进行处理,即创建一些为缺失值的数据data.loc[1,:]=np.nandata[2]=np.nandisplay(data)data.fillna(method='ffill')

在这里插入图片描述

2.移除重复数据
在爬取的数据中往往会出现重复数据,对于重复数据保留一份即可,其余可以移除,在DataFrame数据中,通过duplicated方法判断各行是否有重复数据。

data=DataFrame({       '姓名':['小敏','晓明','小强','小红','晓明'],    '年龄':['女','男','男','女','男'],    '地址':['北京','南京','上海','广州','南京']})
import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame({       '姓名':['小敏','晓明','小强','小红','晓明'],    '年龄':['女','男','男','女','男'],    '地址':['北京','南京','上海','广州','南京']})display(data)data.duplicated()

在这里插入图片描述

通过drop_duplicates方法,可以删除多余的重复项

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame({       '姓名':['小敏','晓明','小强','小红','晓明'],    '年龄':['女','男','男','女','男'],    '地址':['北京','南京','上海','广州','南京']})display(data)data.drop_duplicates()

在这里插入图片描述

很显然这种情况下当每行的每个字段都相同时才会判断出为重复,这时可以通过指定部分作为判断重复项的依据。

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame({       '姓名':['小敏','晓明','小强','小红','晓明'],    '年龄':['女','男','男','女','男'],    '地址':['北京','南京','上海','广州','南京']})display(data)data.drop_duplicates('年龄')

在这里插入图片描述

从结果可以看出,保留的数据为第一次出现的组合。传入keep=‘last’可以保留最后一个。

转载地址:http://hrynz.baihongyu.com/

你可能感兴趣的文章
MySQL Order By实现原理分析和Filesort优化
查看>>
mysql problems
查看>>
mysql replace first,MySQL中处理各种重复的一些方法
查看>>
MySQL replace函数替换字符串语句的用法(mysql字符串替换)
查看>>
mysql replace用法
查看>>
Mysql Row_Format 参数讲解
查看>>
mysql select, from ,join ,on ,where groupby,having ,order by limit的执行顺序和书写顺序
查看>>
MySQL Server 5.5安装记录
查看>>
mysql server has gone away
查看>>
mysql skip-grant-tables_MySQL root用户忘记密码怎么办?修改密码方法:skip-grant-tables
查看>>
mysql slave 停了_slave 停止。求解决方法
查看>>
MySQL SQL 优化指南:主键、ORDER BY、GROUP BY 和 UPDATE 优化详解
查看>>
MYSQL sql语句针对数据记录时间范围查询的效率对比
查看>>
mysql sum 没返回,如果没有找到任何值,我如何在MySQL中获得SUM函数以返回'0'?
查看>>
mysql sysbench测试安装及命令
查看>>
mysql Timestamp时间隔了8小时
查看>>
Mysql tinyint(1)与tinyint(4)的区别
查看>>
MySQL Troubleshoting:Waiting on query cache mutex
查看>>
mysql union orderby 无效
查看>>
mysql v$session_Oracle 进程查看v$session
查看>>