[筆記] pandas 用法 (1) 基本功能 indexing 設值

pandas 用法 (1)

*本篇資料來源為莫煩 python:
https://morvanzhou.github.io/tutorials/data-manipulation/np-pd/
pandas 跟 numpy 的使用情境：
numpy 用來替代 python 當中的 list (陣列，矩陣)
pandas 用來替代 python 當中的 dictionary (字典)

pandas 基本功能

  • Pandas Series

    會自動加上字典的 index
    

    















    

    
#coding=utf-8
import numpy as np 
import pandas as pd 

s = pd.Series([1,3,6, np.nan, 44, 1])
print(s)
'''
0     1.0
1     3.0
2     6.0
3     NaN
4    44.0
5     1.0
dtype: float64
'''
  • Pandas date_range
    

    











    

    
#coding=utf-8
import numpy as np 
import pandas as pd 

dates = pd.date_range('20170101',periods=6)
print(dates)
'''
DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
               '2017-01-05', '2017-01-06'],
              dtype='datetime64[ns]', freq='D')
'''
  • Pandas DataFrame 基本性質
    

    


























    

    
#coding=utf-8
import numpy as np 
import pandas as pd 

# 宣告 data frame
df=pd.DataFrame(np.random.randn(6,4), index=dates, columns=['a','b','c','d'])
print(df)
'''
                   a         b         c         d
2017-01-01  1.159450 -1.578301 -0.652926  0.375754
2017-01-02  0.393195 -0.346388 -0.754170 -0.008133
2017-01-03  1.192782  0.804110 -0.842838  0.012096
2017-01-04 -1.058825 -0.323025  0.722646 -1.166700
2017-01-05 -1.180235 -0.450869  1.203138 -0.815103
2017-01-06 -1.722095  0.304247  0.175714 -1.654301
'''

# 預設的 index 為 0 1 2 3 ... 
df1=pd.DataFrame(np.arange(12).reshape((3,4)))
print(df1)
'''
   0  1   2   3
0  0  1   2   3
1  4  5   6   7
2  8  9  10  11
'''
  • Pandas DataFrame 用法：使用 dictionary 宣告
    

    



















    

    
#coding=utf-8
import numpy as np 
import pandas as pd 

# 使用 dictionary 定義 data frame
df2=pd.DataFrame({'A':1.,
                'B':pd.Timestamp('20170101'),
                'C':pd.Series(1, index=list(range(4)),dtype='float32'),
                'D':np.array([3]*4, dtype='int32'),
                'E':pd.Categorical(["test","train","test","train"]),
                'F':'foo'})
print(df2)
'''
     A          B    C  D      E    F
0  1.0 2017-01-01  1.0  3   test  foo
1  1.0 2017-01-01  1.0  3  train  foo
2  1.0 2017-01-01  1.0  3   test  foo
3  1.0 2017-01-01  1.0  3  train  foo
'''
  • Pandas DataFrame 使用 dtype 查看資料型態
    

    











    

    
# 查看資料格式
print(df2.dtypes)
'''
A           float64
B    datetime64[ns]
C           float32
D             int32
E          category
F            object
dtype: object
'''
  • Pandas DataFrame 查看 index 與資料數值
    

    




















    

    
# 輸出所有 row index 
print(df2.index) 
'''
Int64Index([0, 1, 2, 3], dtype='int64')
'''

# 輸出所有 column 
print(df2.columns)
'''
Index([u'A', u'B', u'C', u'D', u'E', u'F'], dtype='object')
'''

# 輸出所有值 values 
print(df2.values)
'''
[[1.0 Timestamp('2017-01-01 00:00:00') 1.0 3 'test' 'foo']
 [1.0 Timestamp('2017-01-01 00:00:00') 1.0 3 'train' 'foo']
 [1.0 Timestamp('2017-01-01 00:00:00') 1.0 3 'test' 'foo']
 [1.0 Timestamp('2017-01-01 00:00:00') 1.0 3 'train' 'foo']]
'''
  • Pandas DataFrame 使用 describe 查看數字資料描述
    

    













    

    
# 輸出 describe 查看數字形式的特性
print(df2.describe())
'''
         A    C    D
count  4.0  4.0  4.0
mean   1.0  1.0  3.0
std    0.0  0.0  0.0
min    1.0  1.0  3.0
25%    1.0  1.0  3.0
50%    1.0  1.0  3.0
75%    1.0  1.0  3.0
max    1.0  1.0  3.0
'''
  • Pandas DataFrame 轉置資料
    

    











    

    
# transpose 轉置矩陣
print(df2.T)
'''
                     0                    1                    2                   3
A                    1                    1                    1                   1
B  2017-01-01 00:00:00  2017-01-01 00:00:00  2017-01-01 00:00:00 2017-01-01 00:00:00
C                    1                    1                    1                   1
D                    3                    3                    3                   3
E                 test                train                 test               train
F                  foo                  foo                  foo                 foo
'''
  • Pandas DataFrame 排序資料 sort_index 與 sort_values
    

    





























    

    
# 排序，對於 axis=1 以 row 方向排序 ascending=False 倒排序
print(df2.sort_index(axis=1, ascending=False))
''' 排序結果: F E D C B A
     F      E  D    C          B    A
0  foo   test  3  1.0 2017-01-01  1.0
1  foo  train  3  1.0 2017-01-01  1.0
2  foo   test  3  1.0 2017-01-01  1.0
3  foo  train  3  1.0 2017-01-01  1.0
'''

# 排序，對於 axis=0 以 col 方向反向排序 (ascending=Fals)
print(df2.sort_index(axis=0, ascending=False))
''' 排序結果: 3 2 1 0
     A          B    C  D      E    F
3  1.0 2017-01-01  1.0  3  train  foo
2  1.0 2017-01-01  1.0  3   test  foo
1  1.0 2017-01-01  1.0  3  train  foo
0  1.0 2017-01-01  1.0  3   test  foo
'''

# 排序 sort_values 針對單行的值進行排序
print(df2.sort_values(by='E'))
''' 排序結果: test train 兩倆排在一起
     A          B    C  D      E    F
0  1.0 2017-01-01  1.0  3   test  foo
2  1.0 2017-01-01  1.0  3   test  foo
1  1.0 2017-01-01  1.0  3  train  foo
3  1.0 2017-01-01  1.0  3  train  foo
'''

pandas indexing

  • data frame 基本 indexing 方法
    

    










































    

    
#coding=utf-8
import pandas as pd 
import numpy as np 

dates = pd.date_range('2017-01-01',periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])

print(df['A'])
'''
2017-01-01     0
2017-01-02     4
2017-01-03     8
2017-01-04    12
2017-01-05    16
2017-01-06    20
Freq: D, Name: A, dtype: int64
'''
print(df.A)
'''
2017-01-01     0
2017-01-02     4
2017-01-03     8
2017-01-04    12
2017-01-05    16
2017-01-06    20
Freq: D, Name: A, dtype: int64
'''

print(df[0:3])
'''
            A  B   C   D
2017-01-01  0  1   2   3
2017-01-02  4  5   6   7
2017-01-03  8  9  10  11
'''
print(df['2017-01-02':'2017-01-04'])
'''
             A   B   C   D
2017-01-02   4   5   6   7
2017-01-03   8   9  10  11
2017-01-04  12  13  14  15
'''
  • data frame location 用法 loc
    

    































    

    
# 使用 data frame loc 來選擇查看數據
# 查看指定的 row 的內容
print(df.loc['2017-01-02'])
'''
A    4
B    5
C    6
D    7
Name: 2017-01-02 00:00:00, dtype: int64
'''

# 篩選 col 的指令欄位 row 部分全部印出 
print(df.loc[:,['A','B']])
'''
             A   B
2017-01-01   0   1
2017-01-02   4   5
2017-01-03   8   9
2017-01-04  12  13
2017-01-05  16  17
2017-01-06  20  21
'''

# 指定 row 指定 col
print(df.loc['2017-01-03',['A','C']])
'''
A     8
C    10
Name: 2017-01-03 00:00:00, dtype: int64
'''
  • select py position 使用 iloc
    

    



















    

    
# 使用 index 數字來指定 select by position: iloc
print(df.iloc[3])
'''
A    12
B    13
C    14
D    15
Name: 2017-01-04 00:00:00, dtype: int64
'''
# 第 3 row, 第 1 col
print(df.iloc[3,1]) # 13

# 第 3~5 row, 第 1~3 col 
print(df.iloc[3:5,1:3])
'''
             B   C
2017-01-04  13  14
2017-01-05  17  18
'''
  • 混合篩選 使用 ix
    

    








    

    
# 混合篩選 使用 ix
print(df.ix[:3, ['A','C']])
'''
            A   C
2017-01-01  0   2
2017-01-02  4   6
2017-01-03  8  10
'''
  • Booling indexing
    

    



















    

    
# Booling indexing
print(df)
'''
             A   B   C   D
2017-01-01   0   1   2   3
2017-01-02   4   5   6   7
2017-01-03   8   9  10  11
2017-01-04  12  13  14  15
2017-01-05  16  17  18  19
2017-01-06  20  21  22  23
'''
# 針對 A 欄位資料 > 8 的篩選出來
print(df[df.A > 8])
'''
             A   B   C   D
2017-01-04  12  13  14  15
2017-01-05  16  17  18  19
2017-01-06  20  21  22  23
'''

pandas 設值

  • 在資料表格中根據 index 設定值
    

    









































    

    
#coding=utf-8
import pandas as pd 
import numpy as np 

dates = pd.date_range('2017-01-01',periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])

print(df)
'''
             A   B   C   D
2017-01-01   0   1   2   3
2017-01-02   4   5   6   7
2017-01-03   8   9  10  11
2017-01-04  12  13  14  15
2017-01-05  16  17  18  19
2017-01-06  20  21  22  23
'''

df.iloc[2,2] = 1111
print(df)
'''
             A   B     C   D
2017-01-01   0   1     2   3
2017-01-02   4   5     6   7
2017-01-03   8   9  1111  11
2017-01-04  12  13    14  15
2017-01-05  16  17    18  19
2017-01-06  20  21    22  23
'''

df.loc['2017-01-02','C'] = 222
print(df)
'''
             A   B     C   D
2017-01-01   0   1     2   3
2017-01-02   4   5   222   7
2017-01-03   8   9  1111  11
2017-01-04  12  13    14  15
2017-01-05  16  17    18  19
2017-01-06  20  21    22  23
'''
  • 設定符合條件，整欄位修改
    

    



















    

    
#coding=utf-8
import pandas as pd 
import numpy as np 

dates = pd.date_range('2017-01-01',periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])

# 全部都改到
df[df.A>8] = 0
print(df)
'''
            A  B     C   D
2017-01-01  0  1     2   3
2017-01-02  4  5   222   7
2017-01-03  8  9  1111  11
2017-01-04  0  0     0   0
2017-01-05  0  0     0   0
2017-01-06  0  0     0   0
'''
  • 設定符合條件，指定特定欄位才修改
    

    




































    

    
#coding=utf-8
import pandas as pd 
import numpy as np 

dates = pd.date_range('2017-01-01',periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])

# 指定特定欄位修改
df.A[df.A>8] = 0
print(df)
'''
            A   B     C   D
2017-01-01  0   1     2   3
2017-01-02  4   5   222   7
2017-01-03  8   9  1111  11
2017-01-04  0  13    14  15
2017-01-05  0  17    18  19
2017-01-06  0  21    22  23
'''


dates = pd.date_range('2017-01-01',periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])

# 指定特定欄位修改
df.B[df.A>8] = 0
print(df)
'''
             A  B   C   D
2017-01-01   0  1   2   3
2017-01-02   4  5   6   7
2017-01-03   8  9  10  11
2017-01-04  12  0  14  15
2017-01-05  16  0  18  19
2017-01-06  20  0  22  23
'''
  • 新增欄位並設定值
    

    




















    

    
#coding=utf-8
import pandas as pd 
import numpy as np 

dates = pd.date_range('2017-01-01',periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])

# 新增欄位
df['E'] = pd.Series([1,2,3,4,5,6],index=pd.date_range('2017-01-01',periods=6))
df['F'] = np.nan
print(df)
'''
             A   B   C   D  E   F
2017-01-01   0   1   2   3  1 NaN
2017-01-02   4   5   6   7  2 NaN
2017-01-03   8   9  10  11  3 NaN
2017-01-04  12  13  14  15  4 NaN
2017-01-05  16  17  18  19  5 NaN
2017-01-06  20  21  22  23  6 NaN
'''

pandas 處理資料表中的 “空值”

  • dropna 丟掉整欄/整列資料






























































#coding=utf-8
import pandas as pd 
import numpy as np 

dates = pd.date_range('2017-01-01',periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])

print(df)
'''
             A   B   C   D
2017-01-01   0   1   2   3
2017-01-02   4   5   6   7
2017-01-03   8   9  10  11
2017-01-04  12  13  14  15
2017-01-05  16  17  18  19
2017-01-06  20  21  22  23
'''

# 設定兩個空值
df.iloc[0,1] = np.nan
df.iloc[1,2] = np.nan

print(df)
'''
             A     B     C   D
2017-01-01   0   NaN   2.0   3
2017-01-02   4   5.0   NaN   7
2017-01-03   8   9.0  10.0  11
2017-01-04  12  13.0  14.0  15
2017-01-05  16  17.0  18.0  19
2017-01-06  20  21.0  22.0  23
'''

# dropna: how = any 偵測 row (axis=0) 當中有 nan 的就整個丟掉
print(df.dropna(axis=0, how='any'))  # how = 'any'  'all'
'''
             A     B     C   D
2017-01-03   8   9.0  10.0  11
2017-01-04  12  13.0  14.0  15
2017-01-05  16  17.0  18.0  19
2017-01-06  20  21.0  22.0  23
'''

# dropna: how = any 偵測 col (axis=1) 當中有 nan 的就整個丟掉
print(df.dropna(axis=1, how='any'))  # how = 'any'  'all'
'''
             A   D
2017-01-01   0   3
2017-01-02   4   7
2017-01-03   8  11
2017-01-04  12  15
2017-01-05  16  19
2017-01-06  20  23
'''

# p.s. 如果 how = all 的話，要整排 NaN 才會丟掉
  • fillna 在 NaN 空格中填入指定的值 value

















# fillna: 遇到 NaN 填入指定的數字
print(df.fillna(value=0))
'''
             A     B     C   D
2017-01-01   0   0.0   2.0   3
2017-01-02   4   5.0   0.0   7
2017-01-03   8   9.0  10.0  11
2017-01-04  12  13.0  14.0  15
2017-01-05  16  17.0  18.0  19
2017-01-06  20  21.0  22.0  23
'''
  • isnull 查看資料是否為空值 NaN























# isnull 查看資料格是否是 NaN
print(df.isnull())
'''
                A      B      C      D
2017-01-01  False   True  False  False
2017-01-02  False  False   True  False
2017-01-03  False  False  False  False
2017-01-04  False  False  False  False
2017-01-05  False  False  False  False
2017-01-06  False  False  False  False
'''

# isnull 的應用：查看整個資料表是否有空值 NaN
print(np.any(df.isnull())==True) # output: True
'''
True  代表 df.isnull 當中有 True --> 意思是資料表中有 NaN (丟失的數據)
'''

留言

張貼留言

這個網誌中的熱門文章

[筆記] CRLF跟LF之區別 --- 隱形的 bug

圖片
最近在當助教時，偶然間遇到一個隱形的Bug 為什麼稱之為隱形呢？ 請見下面兩張圖 說明：answer.txt 與 answer_test.txt 這兩個檔案的內容用文字編輯器打開時，完全一模一樣，但是我在使用 diff 指令的時候居然出現判定為每一行都不一樣的情形 指令 diff answer.txt answer_test.txt 由最上面第一張圖中可以注意到，answer.txt 的檔案大小是 958 byte answer_test.txt 的檔案大小則為 924 byte 此時不禁讓我疑惑到，兩個檔案內容相同，空白數量也完全相同的情況下，造成檔案大小不同的原因是什麼呢？ 下圖說明了一切 原來在 answer.txt 檔案當中，他的換行是採用 CRLF 而 answer_test.txt 的換行則是一般UNIX的情形 LF # 以下感謝梁浩穎同學解釋 CRLF 就是 \r\n 是只有在 windows 系統在用的形式 所有的 UNIX 系統都是用 \n   (的確，上圖中的 answer.txt 是用windows 7系統的記事本所編輯的，answer_test.txt 則是用 mac 系統透過 sublime text 所編輯的) CR是carriage return的意思， 也就是\r  LF是line feed的意思，也就是\n 這就是為什麼有些檔案從unix系統拿去windows上面看 會變成全部都在同一行 因為只有LF 他不知道是換行 windows只吃CRLF 除了一些比較聰明的文字編輯器會 分的出來 不過其實，CRLF才是真正的打字機運作方式，你可以想像：打字機打到最右邊，要先return到最左邊之後，再往下一行， 所以是CRLF 如果想要清空 answer.txt 裡面所有的 \r 的話，可以使用以下指令 tr -d '\r’ answer.txt # 遇到這個隱形的bug真是難得的好玩經驗，分享給大家 :)
Read more »

[ML筆記] Batch Normalization

圖片
Batch Normalization 本篇為台大電機系李宏毅老師 Machine Learning and having it Deep and Structured (2017)  課程筆記 上課影片： https://www.youtube.com/watch?v=BZh1ltr5Rkg 先從 Feature scaling 或是稱作 Feature Normalization 說起 假設 x1 跟 x2 的數值差距很大 x1 值的範圍 1,2,3,4, ... x2 值的範圍 100, 200, 300, … x1 的 weight 是 w1，x2 的 weight 是 w2 w1 前面乘的值比較小，所以他對於結果的影響比較小 w2 前面乘的值比較大，所以他對於結果的影響比較大
Read more »

[筆記] 統計實習(1) SAS 基礎用法 (匯入資料並另存SAS新檔，SUBSTR，計算總和與平均，BMI)

圖片
使用版本 SAS 9.3 繁體中文 OS: windows xp 匯入資料並另存成SAS新檔 step 1: 匯入資料 step 2: 選擇匯入檔案類型 step 3: 去資料夾 Browse 找尋要匯入的資料檔案 (這裡我命名為Man) step 4: 選好檔案後按OK step 5: 然後按Next step 6: 成功匯入excel資料  (我命名為 Man)，欲找尋這個檔案在哪 -> 按左側的資料館 step 7: 再選Work資料夾 step 8: 就會看到剛剛被我命名的 Man 檔案資料 step 9: 做些簡單的資料分析，在Editor視窗中寫code             Data test;             set man;             run;             以上code做的事會把這個 man (大小寫沒差)資料表複製一份，另命名成 test 存起來 step 10: 要複製另存成SAS檔，使用libname語法 後面放 目錄名稱'檔案路徑'               這裡的目錄名稱為 J 路徑為 '   ' 之中。                      step 11: 如此的code寫完，按下小人圖示提交執行程式 step 12: 會發現資料館裡面，多了一個名稱為 J 的資料夾目錄 step 13: 在 J 資料夾目錄裡面會成功看到被複製出來的名稱為 test 的資料 step 14: 實際跑到剛剛在 '   ' 之中的路徑看，也會看到test資料 SAS SUBSTR的用法 substr (sub string)顧名思義就是將一串文字當中切割出來一條子字串 語法為 新Table欄位名稱 = SUBSTR( Table欄位名稱 , 起始bit位置 , 要往後多少位元 ) 常用於將日期年月日分別切割出來變成數字來運算 step 1: 在Editor當中輸入語法 以第一橫排 16/10/1986為例 要取得日期DAY要從time欄位的第1個bit開始往後切長度
Read more »

[ML筆記] Ensemble - Bagging, Boosting & Stacking

圖片
ML Lecture 27: Ensemble 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=tH9FH1DH5n0 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html Ensemble 方法其實就是 “團隊合作” 好幾個模型一起上的方法 假如我們手上有一堆 Classifier ，這些 Classifier 每個都有不同的屬性， 要把他們集合起來一起合作，集合再一起需要用比較好的方法 以下來介紹一些 Ensemble 的方法 Bagging
Read more »