自学教程：Python数据挖掘Pandas详解

import numpy as npimport pandas as pd a=np.ones((2,3))b=pd.DataFrame(a)print(a)print(b)

   b.head()#默认展示前5行，可在head()加入数字，展示前几行   b.tail()#默认展示后5行，可在tail()加入数字，展示后几行

import  numpy as np   # 创建一个符合正态分布的10个股票5天的涨跌幅数据stock_change = np.random.normal(0, 1, (10, 5))pd.DataFrame(stock_change)#设置行列索引stock = ["股票{}".format(i) for i in range(10)]date = pd.date_range(start="20200101", periods=5, freq="B")#这个是pandas中设置日期的# 添加行列索引data = pd.DataFrame(stock_change, index=stock, columns=date)print(data)

# 创建一个符合正态分布的10个股票5天的涨跌幅数据stock_change = np.random.normal(0, 1, (10, 5))pd.DataFrame(stock_change)#设置行列索引stock = ["股票{}".format(i) for i in range(10)]date = pd.date_range(start="20200101", periods=5, freq="B")#这个是pandas中设置日期的# 添加行列索引data = pd.DataFrame(stock_change, index=stock, columns=date)print(data)

#不能单独修改行列总某一个索引的值，可以替换整行或整列   例：b.index[2]='股票1'  错误data.index=新行索引#重设索引data.reset_index(drop=False)#drop参数默认为False，表示将原来的索引替换掉，换新索引为数字递增，原来的索引将变为数据的一部分。True表示，将原来的索引删除，更换为数字递增。如下图

# 设置新索引df = pd.DataFrame({'month': [1, 4, 7, 10],                    'year': [2012, 2014, 2013, 2014],                    'sale':[55, 40, 84, 31]})# 以月份设置新的索引df.set_index("month", drop=True)#见下图，即将原本数据中的一列拿出来作为indexnew_df = df.set_index(["year", "month"])# 设置多个索引，以年和月份   多个索引其实就是MultiIndex

items - axis 0，每个项目对应于内部包含的数据帧(DataFrame)。major_axis - axis 1，它是每个数据帧(DataFrame)的索引(行)。minor_axis - axis 2，它是每个数据帧(DataFrame)的列。

# 创建pd.Series(np.arange(3, 9, 2), index=["a", "b", "c"])# 或pd.Series({'red':100, 'blue':200, 'green': 500, 'yellow':1000})sr = data.iloc[1, :]sr.index # 索引sr.values # 值#####就是从dataframe中抽出一行或一列来观察12345678910

data=pd.read_csv("./stock_day/stock_day.csv")#读入文件的前5行表示如下######利用drop删除某些行列，需要利用axis告知函数是行索引还是列索引data=data.drop(["ma5","ma10","ma20","v_ma5","v_ma10","v_ma20"], axis=1) # 去掉一些不要的列data["open"]["2018-02-26"] # 直接索引，但需要遵循先列后行#####按名字索引利用.loc函数可以不遵循列行先后关系data.loc["2018-02-26"]["open"] # 按名字索引data.loc["2018-02-26", "open"]#####利用.iloc函数可以只利用数字进行索引data.iloc[1][0] # 数字索引data.iloc[1,0]# 组合索引# 获取行第1天到第4天，['open', 'close', 'high', 'low']这个四个指标的结果data.ix[:4, ['open', 'close', 'high', 'low']] # 现在不推荐用了###但仍可利用loc和ilocdata.loc[data.index[0:4], ['open', 'close', 'high', 'low']]data.iloc[0:4, data.columns.get_indexer(['open', 'close', 'high', 'low'])]

data.open=100data['open']=100###两种方式均可data.iloc[1,0]=100###找好索引即可

data.sort_values(by="high", ascending=False) # DataFrame内容排序，ascending表示升序还是降序，默认True升序data.sort_values(by=["high", "p_change"], ascending=False).head() # 多个列内容排序。给出的优先级进行排序data.sort_index(ascending=True)###对行索引进行排序#这里是取出了一列 “price_change”列，为serise，用法同上sr = data["price_change"]sr.sort_values(ascending=False)sr.sort_index()

#正常的加减乘除等的运算即可data["open"] + 3data["open"].add(3) # open统一加3  data.sub(100)# 所有统一减100 data - 100(data["close"]-(data["open"])).head() # close减open

# 例如筛选p_change > 2的日期数据data[data["p_change"] > 2].head()# 完成一个多个逻辑判断， 筛选p_change > 2并且low > 15data[(data["p_change"] > 2) & (data["low"] > 15)].head()data.query("p_change > 2 & low > 15").head()###等效于上一行代码###判断# 判断'turnover'列索引中是否有4.19, 2.39，将返回一列布尔值data["turnover"].isin([4.19, 2.39])##如下图

###判断# 判断'turnover'列索引中是否有4.19, 2.39，将返回一列布尔值data["turnover"].isin([4.19, 2.39])##如下图data[data["turnover"].isin([4.19, 2.39])]#这块就将返回turnover列布尔值为true的如下图，也就是筛选出turnover中值为4.19和2.39###布尔值索引是一个很方便的数据筛选操作，比如：data[data["turnover"]>0.1]#也将筛选出turnover列中大于0.1的整体data数据，并不是说只返回turnover相关数据，判断只是返回布尔索引，利用索引的是data数据

data.describe()#将返回关于列的最值，均值，方差等多种信息##其实这里很多就和numpy相似了data.max(axis=0)#返回最值data.idxmax(axis=0) #返回最值索引

data.apply(lambda x: x.max() - x.min())#这里的lambda x: x.max() - x.min()是lambda表达式，是函数的简单写法也可def fx(data):	return	data.max()-data.min()

#更简易用matplotlibdata.plot(x="volume", y="turnover", kind="scatter")data.plot(x="high", y="low", kind="scatter")data['volume'].plot()

DataFrame.to_csv(path_or_buf=None,sep=','columns=None,header=True,index=True,index_label=None,mode='w',encoding=None)1

Series.to_csv (path=None,index=True,sep=',',na_rep='',float_format=None,header=False,index_label=None,mode='w',encoding=None,compression=None,date_format=None,decimal='.)

pd.read_csv("./stock_day/stock_day.csv", usecols=["high", "low", "open", "close"]).head() # 读哪些列data = pd.read_csv("stock_day2.csv", names=["open", "high", "close", "low", "volume", "price_change", "p_change", "ma5", "ma10", "ma20", "v_ma5", "v_ma10", "v_ma20", "turnover"]) # 如果列没有列名，用names传入data[:10].to_csv("test.csv", columns=["open"]) # 保存open列数据data[:10].to_csv("test.csv", columns=["open"], index=False, mode="a", header=False) # 保存opend列数据，index=False不要行索引，mode="a"追加模式|mode="w"重写，header=False不要列索引

day_close = pd.read_hdf("./stock_data/day/day_close.h5"，key="close")day_close.to_hdf("test.h5",key="close" )

sa = pd.read_json("Sarcasm_Headlines_Dataset.json", orient="records", lines=True)##主要是path，orient是一种确定索引与数值的对应，以本例来看，列索引就是‘key',values就是key对应的值sa.to_json("test.json", orient="records", lines=True)

movie["Revenue (Millions)"].fillna(movie["Revenue (Millions)"].mean(), inplace=True)###这就是先利用其他代码判断出"Revenue (Millions)"有nan数据，然后利用.fillna函数，令value=movie["Revenue (Millions)"].mean()列的均值，然后inplace=True修改原数据

import pandas as pdimport numpy as npmovie = pd.read_csv("./IMDB/IMDB-Movie-Data.csv")# 1）判断是否存在NaN类型的缺失值np.any(pd.isnull(movie)) # 返回True，说明数据中存在缺失值np.all(pd.notnull(movie)) # 返回False，说明数据中存在缺失值pd.isnull(movie).any()pd.notnull(movie).all()# 2）缺失值处理# 方法1：删除含有缺失值的样本data1 = movie.dropna()pd.notnull(data1).all()# 方法2：替换# 含有缺失值的字段# Revenue (Millions)    # Metascoremovie["Revenue (Millions)"].fillna(movie["Revenue (Millions)"].mean(), inplace=True)movie["Metascore"].fillna(movie["Metascore"].mean(), inplace=True)

# 读取数据path = "wisconsin.data"name = ["Sample code number",  "Normal Nucleoli","Mitoses", "Class"]data = pd.read_csv(path, names=name)#这里的非nan标记值缺失值就是利用“?”表示的，因此利用参数to_replace,value=np.nan,将默认标记值替换为nan值，然后再利用签署方法处理nan缺失值# 1）替换data_new = data.replace(to_replace="?", value=np.nan)

# 1）准备数据data = pd.Series([165,174,160,180,159,163,192,184], index=['No1:165', 'No2:174','No3:160', 'No4:180', 'No5:159', 'No6:163', 'No7:192', 'No8:184']) # 2）分组# 自动分组sr = pd.qcut(data, 3)sr.value_counts()  # 看每一组有几个数据# 3）转换成one-hot编码pd.get_dummies(sr, prefix="height")# 自定义分组bins = [150, 165, 180, 195]#这就表示有三组[150,165][165,180][180,195]sr = pd.cut(data, bins)# get_dummiespd.get_dummies(sr, prefix="身高")

pd.concat([data1, data2], axis=1) #axis：0为列索引；1为行索引

left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],                        'key2': ['K0', 'K1', 'K0', 'K1'],                        'A': ['A0', 'A1', 'A2', 'A3'],                        'B': ['B0', 'B1', 'B2', 'B3']})right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],                        'key2': ['K0', 'K0', 'K0', 'K0'],                        'C': ['C0', 'C1', 'C2', 'C3'],                        'D': ['D0', 'D1', 'D2', 'D3']})pd.merge(left, right, how="inner", on=["key1", "key2"])pd.merge(left, right, how="left", on=["key1", "key2"])pd.merge(left, right, how="outer", on=["key1", "key2"])###这里merge参数解释：#left: 需要合并的一个表，合并后在左侧#right:需要合并的一个表，合并后在右侧#how: 合并方式#on: 在哪些索引上进行合并

data = pd.crosstab(stock["week"], stock["pona"])data.div(data.sum(axis=1), axis=0).plot(kind="bar", stacked=True)

# 透视表操作stock.pivot_table(["pona"], index=["week"])

col =pd.DataFrame({'color': ['white','red','green','red','green'], 'object': ['pen','pencil','pencil','ashtray','pen'],'price1':[5.56,4.20,1.30,0.56,2.75],'price2':[4.75,4.12,1.60,0.75,3.15]})# 进行分组，对颜色分组，price1进行聚合# 用dataframe的方法进行分组col.groupby(by="color")# 或者用Series的方法进行分组聚合col["price1"].groupby(col["color"])

# 1、准备数据movie = pd.read_csv("./IMDB/IMDB-Movie-Data.csv")###movie读入后如上图所示######################问题一# 问题1：我们想知道这些电影数据中评分的平均分，导演的人数等信息，我们应该怎么获取？# 评分的平均分movie["Rating"].mean()# 导演的人数np.unique(movie["Director"]).size######################问题二##绘制直方图查看分布movie["Rating"].plot(kind="hist", figsize=(20, 8))#利用matplotlib可更细致绘图import matplotlib.pyplot as plt# 1、创建画布plt.figure(figsize=(20, 8), dpi=80)# 2、绘制直方图plt.hist(movie["Rating"], 20)# 修改刻度plt.xticks(np.linspace(movie["Rating"].min(),movie["Rating"].max(), 21))# 添加网格plt.grid(linestyle="--", alpha=0.5)# 3、显示图像plt.show()######################问题三##如果我们希望统计电影分类(genre)的情况，应该如何处理数据？###可以发现图中genre一列数据中每个电影都有多种标签，因此要先分割# 先统计电影类别都有哪些movie_genre = [i.split(",") for i in movie["Genre"]]###得到的movie_genre结构图见《下图一》###这一块主要是把movie_genre的二维列表变为以为列表，然后利用unique函数去重movie_class = np.unique([j for i in  movie_genre for j in i])len(movie_class)####这就得到了电影的类型标签种类数# 统计每个类别有几个电影count = pd.DataFrame(np.zeros(shape=[1000, 20], dtype="int32"), columns=movie_class)count.head()###得到的count结构如《下图二》# 计数填表for i in range(1000):    count.ix[i, movie_genre[i]] = 1###注意ix现在不太能用了    ############movie_genre[i]将返回字符索引列#这就得到了下面第三张图片的数据处理效果，列表示电影类型种类，行表示不同电影，如《下图三》#因此只需逐列求和即可得到每类标签电影的数量##最终实现数据可视化如《下图四》count.sum(axis=0).sort_values(ascending=False).plot(kind="bar", figsize=(20, 9), fontsize=40, colormap="cool")