[筆記] numpy 用法 (2) 索引 合併 分割 複製

numpy 筆記 (2)

*本篇資料來源為莫煩 python:
https://morvanzhou.github.io/tutorials/data-manipulation/np-pd/

numpy array 的 index (索引)

  • 找出矩陣當中最大最小值所在的位置 index (索引值): argmin, argmax
    

    
















    

    
#coding=utf-8
import numpy as np 

a = np.arange(2,14).reshape(3,4)
print(a)
# [[ 2  3  4  5]
#  [ 6  7  8  9]
#  [10 11 12 13]]

# 最小值的索引
print(np.min(a))    # 2 最小值
print(np.argmin(a)) # 0 最小值的索引

# 最大值的索引
print(np.max(a))    # 13  最大值
print(np.argmax(a)) # 11  最大值的索引
  • Numpy Array Indexing
    

    











































    

    
#coding=utf-8
import numpy as np 

a = np.arange(3,15).reshape(3,4)
print(a)
'''
[[ 3  4  5  6]
 [ 7  8  9 10]
 [11 12 13 14]]
'''
# 以下兩種寫法相等
print(a[2][1]) # 12
print(a[2,1])  # 12

# 指定印出 使用 : 設定範圍
print(a[:,:])
'''
[[ 3  4  5  6]
 [ 7  8  9 10]
 [11 12 13 14]]
'''
print(a[1:,:])
'''
[[ 7  8  9 10]
 [11 12 13 14]]
'''
print(a[0:2,:])
'''
[[ 3  4  5  6]
 [ 7  8  9 10]]
'''
print(a[:,1:])
'''
[[ 4  5  6]
 [ 8  9 10]
 [12 13 14]]
'''
print(a[:,1:3])
'''
[[ 4  5]
 [ 8  9]
 [12 13]]
'''
  • 使用 for 與 transpose
    

    


















    

    
# for 預設是可以迭代每一 row (橫向)
for row in a:
    print(row)
'''
[3 4 5 6]
[ 7  8  9 10]
[11 12 13 14]
'''

# 使用 transpose 搭配 for 迭代印出每一 column (直向)
for column in a.T:
    print(column)
'''
[ 3  7 11]
[ 4  8 12]
[ 5  9 13]
[ 6 10 14]
'''
  • 使用 flatten 與 flat 把二維 array 攤平
    

    




















    

    
# 使用 flatten  (flat 是迭代版本) 
print(a.flatten()) # [ 3  4  5  6  7  8  9 10 11 12 13 14]

# 使用 for loop 搭配 flat 將矩陣的每一個元素逐一印出
for item in a.flat:
    print(item)
'''
3
4
5
6
7
8
9
10
11
12
13
14
'''

numpy array 的 merge (合併)

  • 使用 vertical stack : vstack 垂直合併兩個 array
    

    

















    

    
# coding=utf-8
import numpy as np 

A = np.array([1,1,1])
B = np.array([2,2,2])

# vertical stack 垂直方向 上下合併
C = np.vstack((A,B))

print(A.shape) # (3,)
print(B.shape) # (3,)
print(C.shape) # (2, 3)
print(C)
'''
[[1 1 1]
 [2 2 2]]
'''
  • 使用 horizontal stack : hstack 水平合併兩個 array
    

    











    

    
# coding=utf-8
import numpy as np 

A = np.array([1,1,1])
B = np.array([2,2,2])

# horizontal stack 水平方向 左右合併
D = np.hstack((A,B)) 

print(D.shape) # (6,)
print(D) # [1 1 1 2 2 2]
  • 使用 newaxis 做 array 的轉置與合併應用
    

    














































    

    
# coding=utf-8
import numpy as np 

A = np.array([1,1,1])

print(A)    # [1 1 1]
print(A.transpose()) # [1,1,1] 無法使用 transpose 把一個橫向的數列變成縱向的數列

# 要做到這件事，要使用 new axis 增加維度
# 在 row 上面增加維度
print(A[np.newaxis,:].shape) # (1, 3)
print(A[np.newaxis,:])      # [[1 1 1]]

# 在 col 上面增加維度
print(A[:,np.newaxis].shape) # (3, 1)
print(A[:,np.newaxis])       
'''
[[1]
 [1]
 [1]]
'''

# 應用：把兩個橫向的陣列，轉為縱向的，然後合併
A = np.array([1,1,1])[:,np.newaxis]  # 橫向陣列 轉 縱向矩陣
B = np.array([2,2,2])[:,np.newaxis]  # 橫向陣列 轉 縱向矩陣
C = np.vstack((A,B))                 # 垂直合併
D = np.hstack((A,B))                 # 水平合併
print(A.shape) # (3,1)
print(B.shape) # (3,1)
print(C.shape) # (6,1)
print(C)
'''
[[1]
 [1]
 [1]
 [2]
 [2]
 [2]]
'''
print(D.shape) # (3,2)
print(D) 
'''
[[1 2]
 [1 2]
 [1 2]]
'''
    補充說明：陣列與矩陣轉換
    

    















    

    
# coding=utf-8
import numpy as np 

A = np.array([1,1,1])
B = np.array([2,2,2])
print(A.shape) # (3,)
print(A)       # [1 1 1]
print(B.shape) # (3,)
print(B)       # [2 2 2]
A = np.array([1,1,1])[np.newaxis,:]  # 橫向陣列 轉 橫向矩陣
B = np.array([2,2,2])[np.newaxis,:]  # 橫向陣列 轉 橫向矩陣
print(A.shape) # (1,3)
print(A)       # [[1 1 1]]
print(B.shape) # (1,3)
print(B)       # [[2 2 2]]
  • 使用 concatenate 做多個 Array 合併
    

    










    

    
# coding=utf-8
import numpy as np 

A = np.array([1,1,1])
B = np.array([2,2,2])
# 使用 concatenate 進行合併
E = np.concatenate((A,B,B,A)) 
print(E) # [1 1 1 2 2 2 2 2 2 1 1 1]
F = np.concatenate((A,B,B,A), axis=0) # 合併
print(F) # [1 1 1 2 2 2 2 2 2 1 1 1]

numpy array 分割

  • 使用 split 做等量分割
    

    

























    

    
#coding=utf-8
import numpy as np 

A = np.arange(12).reshape(3,4)
print(A)
'''
[[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
'''

# 縱向分割 split(輸入矩陣, 要分割的數量, axis=1 就是對 col 方向的分割)
print(np.split(A, 2, axis=1))
'''
[array([[0, 1],
       [4, 5],
       [8, 9]]), array([[ 2,  3],
       [ 6,  7],
       [10, 11]])]
'''
# 橫向分割 split(輸入矩陣, 要分割的數量, axis=0 就是 row 方向的分割)
print(np.split(A, 3, axis=0))
'''
[array([[0, 1, 2, 3]]), array([[4, 5, 6, 7]]), array([[ 8,  9, 10, 11]])]
'''
  • 使用 array_split 做不等量分割
    

    


























    

    
#coding=utf-8
import numpy as np 

A = np.arange(12).reshape(3,4)
print(A)
'''
[[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
'''

# p.s. split 分割只能分成等量分割，例如 3x4 col 方向的只能分成 2份 4份 不可分成 3份
# 所以下面這行會報錯
print(np.split(A, 3, axis=1)) # ValueError: array split does not result in an equal division

# 如果要做不等量的分割的話要使用 array_split()
print(np.array_split(A, 3, axis=1)) 
''' col 分成了 2,1,1 這樣的份數
[array([[0, 1],
       [4, 5],
       [8, 9]]), array([[ 2],
       [ 6],
       [10]]), array([[ 3],
       [ 7],
       [11]])]
'''
  • 使用 vsplit 與 hsplit 分割
    

    

























    

    
#coding=utf-8
import numpy as np 

A = np.arange(12).reshape(3,4)
print(A)
'''
[[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
'''

# 使用 verticle split (vsplit) 來做 axis=0 方向分割
print(np.vsplit(A, 3))
'''
[array([[0, 1, 2, 3]]), array([[4, 5, 6, 7]]), array([[ 8,  9, 10, 11]])]
'''
# 使用 horizontal split (hsplit) 來做 axis=1 方向分割
print(np.hsplit(A, 2)) 
'''
[array([[0, 1],
       [4, 5],
       [8, 9]]), array([[ 2,  3],
       [ 6,  7],
       [10, 11]])]
'''

numpy array 複製 copy 與 deep copy

  • copy by assignment
    

    




















    

    
#coding=utf-8
import numpy as np 

a = np.arange(4)
print(a)  # [0 1 2 3]

b = a
c = a 
d = b

a[0] = 11 # 修改 a 
print(b) # [11  1  2  3] 也會動到 b
print(b is a)  # True 因為 b = a 時 b 就是 a
print(c) # [11  1  2  3] 同理 c 也會變
print(d) # [11  1  2  3] 因為 d 就是 b, b 就是 a ，所以改 a 也會動到 d

d[1:3]=[22,33]  # 所以修改 d 也會動到其他三個變數
print(a)  # [11 22 33  3]
print(b)  # [11 22 33  3]
print(c)  # [11 22 33  3]
  • deep copy
    

    











    

    
#coding=utf-8
import numpy as np 

# 如果只想修改 a 但是不想要動用到其他人，那就要使用所謂的 deep copy 
a = np.arange(4)
b = a.copy()  # deep copy
print(a)  # [0 1 2 3]
print(b)  # [0 1 2 3]
a[3] = 44
print(a)  # [ 0  1  2 44]
print(b)  # [0 1 2 3]

留言

張貼留言

這個網誌中的熱門文章

[筆記] CRLF跟LF之區別 --- 隱形的 bug

圖片
最近在當助教時，偶然間遇到一個隱形的Bug 為什麼稱之為隱形呢？ 請見下面兩張圖 說明：answer.txt 與 answer_test.txt 這兩個檔案的內容用文字編輯器打開時，完全一模一樣，但是我在使用 diff 指令的時候居然出現判定為每一行都不一樣的情形 指令 diff answer.txt answer_test.txt 由最上面第一張圖中可以注意到，answer.txt 的檔案大小是 958 byte answer_test.txt 的檔案大小則為 924 byte 此時不禁讓我疑惑到，兩個檔案內容相同，空白數量也完全相同的情況下，造成檔案大小不同的原因是什麼呢？ 下圖說明了一切 原來在 answer.txt 檔案當中，他的換行是採用 CRLF 而 answer_test.txt 的換行則是一般UNIX的情形 LF # 以下感謝梁浩穎同學解釋 CRLF 就是 \r\n 是只有在 windows 系統在用的形式 所有的 UNIX 系統都是用 \n   (的確，上圖中的 answer.txt 是用windows 7系統的記事本所編輯的，answer_test.txt 則是用 mac 系統透過 sublime text 所編輯的) CR是carriage return的意思， 也就是\r  LF是line feed的意思，也就是\n 這就是為什麼有些檔案從unix系統拿去windows上面看 會變成全部都在同一行 因為只有LF 他不知道是換行 windows只吃CRLF 除了一些比較聰明的文字編輯器會 分的出來 不過其實，CRLF才是真正的打字機運作方式，你可以想像：打字機打到最右邊，要先return到最左邊之後，再往下一行， 所以是CRLF 如果想要清空 answer.txt 裡面所有的 \r 的話，可以使用以下指令 tr -d '\r’ answer.txt # 遇到這個隱形的bug真是難得的好玩經驗，分享給大家 :)
Read more »

[ML筆記] Batch Normalization

圖片
Batch Normalization 本篇為台大電機系李宏毅老師 Machine Learning and having it Deep and Structured (2017)  課程筆記 上課影片： https://www.youtube.com/watch?v=BZh1ltr5Rkg 先從 Feature scaling 或是稱作 Feature Normalization 說起 假設 x1 跟 x2 的數值差距很大 x1 值的範圍 1,2,3,4, ... x2 值的範圍 100, 200, 300, … x1 的 weight 是 w1，x2 的 weight 是 w2 w1 前面乘的值比較小，所以他對於結果的影響比較小 w2 前面乘的值比較大，所以他對於結果的影響比較大
Read more »

[筆記] 統計實習(1) SAS 基礎用法 (匯入資料並另存SAS新檔，SUBSTR，計算總和與平均，BMI)

圖片
使用版本 SAS 9.3 繁體中文 OS: windows xp 匯入資料並另存成SAS新檔 step 1: 匯入資料 step 2: 選擇匯入檔案類型 step 3: 去資料夾 Browse 找尋要匯入的資料檔案 (這裡我命名為Man) step 4: 選好檔案後按OK step 5: 然後按Next step 6: 成功匯入excel資料  (我命名為 Man)，欲找尋這個檔案在哪 -> 按左側的資料館 step 7: 再選Work資料夾 step 8: 就會看到剛剛被我命名的 Man 檔案資料 step 9: 做些簡單的資料分析，在Editor視窗中寫code             Data test;             set man;             run;             以上code做的事會把這個 man (大小寫沒差)資料表複製一份，另命名成 test 存起來 step 10: 要複製另存成SAS檔，使用libname語法 後面放 目錄名稱'檔案路徑'               這裡的目錄名稱為 J 路徑為 '   ' 之中。                      step 11: 如此的code寫完，按下小人圖示提交執行程式 step 12: 會發現資料館裡面，多了一個名稱為 J 的資料夾目錄 step 13: 在 J 資料夾目錄裡面會成功看到被複製出來的名稱為 test 的資料 step 14: 實際跑到剛剛在 '   ' 之中的路徑看，也會看到test資料 SAS SUBSTR的用法 substr (sub string)顧名思義就是將一串文字當中切割出來一條子字串 語法為 新Table欄位名稱 = SUBSTR( Table欄位名稱 , 起始bit位置 , 要往後多少位元 ) 常用於將日期年月日分別切割出來變成數字來運算 step 1: 在Editor當中輸入語法 以第一橫排 16/10/1986為例 要取得日期DAY要從time欄位的第1個bit開始往後切長度
Read more »

[ML筆記] Ensemble - Bagging, Boosting & Stacking

圖片
ML Lecture 27: Ensemble 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=tH9FH1DH5n0 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html Ensemble 方法其實就是 “團隊合作” 好幾個模型一起上的方法 假如我們手上有一堆 Classifier ，這些 Classifier 每個都有不同的屬性， 要把他們集合起來一起合作，集合再一起需要用比較好的方法 以下來介紹一些 Ensemble 的方法 Bagging
Read more »