[筆記] numpy 用法 (1) 宣告與基本運算

numpy 用法 (1)

*本篇資料來源為莫煩 python:
https://morvanzhou.github.io/tutorials/data-manipulation/np-pd/
安裝：
pip3 install numpy

numpy array

  • 基本用法 array宣告, dimension, shape, size






















import numpy as np 

array = np.array([[1,2,3],
                 [4,5,6]])
print(array)
print('number of dim:',array.ndim)
print('shape',array.shape)
print('size:',array.size)

''' output
[[1 2 3]
 [4 5 6]]
('number of dim:', 2)
('shape', (2, 3))
('size:', 6)
'''
  • 定義資料格式



















# 使用 dtype 定義資料格式
a = np.array([2,33,4],dtype=np.int)
print(a)        # [ 2 33  4]
print(a.dtype)  # int64

a = np.array([2,33,4],dtype=np.int32)
print(a.dtype)  # int32

a = np.array([2,33,4],dtype=np.float)
print(a.dtype)  # float64

a = np.array([2,33,4],dtype=np.float32)
print(a.dtype)  # float32
  • array 的各種宣告方法


























































# 宣告全部是 0 的 array
zeros = np.zeros( (3,4) )
print(zeros)
'''output
[[ 0.  0.  0.  0.]
 [ 0.  0.  0.  0.]
 [ 0.  0.  0.  0.]]
'''

# 宣告全部是 1 的 array 同樣可以使用 dtype 定義資料型態
ones = np.ones( (4,3), dtype=np.int16 )
print(ones)
'''output
[[1 1 1]
 [1 1 1]
 [1 1 1]
 [1 1 1]]
'''

# 宣告 empty 等同於得到一個幾乎接近 0 的 array
empty = np.empty((3,4))
print(empty)
''' output
[[  0.00000000e+000   4.94065646e-324   9.88131292e-324   1.48219694e-323]
 [  1.97626258e-323   2.47032823e-323   2.96439388e-323   3.45845952e-323]
 [  3.95252517e-323   4.44659081e-323   4.94065646e-323   5.43472210e-323]]
'''

# 宣告有序陣列
a = np.arange(10,20,2)
print(a) # [10 12 14 16 18]

# 宣告 0 ~ 11 得陣列，形狀為 3x4
a = np.arange(12).reshape( (3,4) )
print(a) 
'''output
[[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
'''

# 宣告一個等分的線段 array
a = np.linspace(1,10,5) # 起點 1 終點 10，分 5 等份
print(a) # [  1.     3.25   5.5    7.75  10.  ]

# 宣告等分的線段 array 並且排列成 2x3
a = np.linspace(1,10,6).reshape(2,3) # 起點 1 終點 10，分 6 等份
print(a)
'''output
[[  1.    2.8   4.6]
 [  6.4   8.2  10. ]]
'''

numpy 矩陣 (array) 運算

矩陣當中，到底行，列的方向是什麼？
英文:
  • row: 橫的
  • column: 直的
中文:
  • 台灣: 直行橫列
    • row: 列
    • column: 行
  • 大陸: 直列橫行
    • row: 行
    • column: 列
由於中文實在是太混亂了，以下我只要解釋到行列相關的一律採用英文 row, column
  • 對於矩陣中所有元素運算
    

    



















    

    
# coding=utf-8
import numpy as np 

a = np.array([10,20,30,40])
b = np.arange(4)

print(a,b) # [10 20 30 40] [0 1 2 3]

# 對於每個元素取平方
c = b**2
print(c) # [0 1 4 9]

s = 10*np.sin(a)
print(s) # [-5.44021111  9.12945251 -9.88031624  7.4511316 ]

# 比較運算
print(b)  # [0 1 2 3]
print(b<3) # [ True  True  True False]
print(b==3) # [False False False  True]
  • 矩陣與矩陣之間的運算
    

    

























    

    
# coding=utf-8
import numpy as np 

a = np.array([[1,1],
            [0,1]])
b = np.arange(4).reshape((2,2))

print(a)
# [[1 1]
#  [0 1]]

print(b)
#[[0 1]
# [2 3]]

# 逐一相乘
print(a*b)
# [[0 1]
#  [0 3]]

# 矩陣乘法 (以下兩種寫法是相等的)
print(np.dot(a,b))
print(a.dot(b))
#[[2 4]
# [2 3]]
  • 找矩陣當中的總和，最大值，最小值
    

    
















    

    
# coding=utf-8
import numpy as np 

# 宣告隨機生成的 array
a = np.random.random((2,4))
print(a)
# [[ 0.44842423  0.78949907  0.8370462   0.44611223]
#  [ 0.14324946  0.26730942  0.45553012  0.20880903]]

#  求矩陣元素總和
print(np.sum(a)) # 3.59597976167
#  求矩陣元素最小值
print(np.min(a)) # 0.14324946148
#  求矩陣元素最大值
print(np.max(a)) # 0.837046196628
  • 使用 axis 針對矩陣中的行或列找總和，最大值，最小值
    

    





















    

    
# coding=utf-8
import numpy as np 

# 使用 axis 針對矩陣中的 row, column 做運算
a = np.array([[1,2,3],
              [9,0,6]])
#  求矩陣 row 元素總和
print(np.sum(a,axis=1)) # [ 6 15]
# 1 + 2 + 3 = 6
# 9 + 0 + 6 = 15

#  求矩陣 column 元素最小值
print(np.min(a,axis=0)) # [1 0 3]
# min(1,9) = 1
# min(2,0) = 0
# min(3,6) = 3

#  求矩陣 row 元素最大值
print(np.max(a,axis=1)) # [3 9]
# max(1,2,3) = 3
# max(9,0,6) = 9
  • 計算矩陣的平均值與中位數
    

    


































    

    
#coding=utf-8
import numpy as np 

a = np.arange(2,14).reshape(3,4)
print(a)
# [[ 2  3  4  5]
#  [ 6  7  8  9]
#  [10 11 12 13]]

# 平均值
print(np.mean(a))    # 7.5
print(a.mean())      # 7.5
print(np.average(a)) # 7.5

# 搭配 axis 可以得到：
# axis = 0: 針對逐 column 的平均值
print(np.mean(a,axis=0)) # [ 6.  7.  8.  9.]
'''
mean of (2,6,10) = 6
mean of (3,7,11) = 7
mean of (4,8,12) = 8
mean of (5,9,13) = 9
'''

# axis = 1: 針對逐 row 的平均值
print(np.mean(a,axis=1)) # [  3.5   7.5  11.5]
'''
mean of (2,3,4,5) = 3.5
mean of (6,7,8,9) = 7.5
mean of (10,11,12,13) = 11.5
'''

# 中位數
print(np.median(a))  # 7.5
  • 逐步累加 (cumsum) 與逐步差 (diff)
    

    
















    

    
#coding=utf-8
import numpy as np 
# 逐步累加
print(np.cumsum(a)) # [ 2  5  9 14 20 27 35 44 54 65 77 90]
# 2
# 2 + 3 = 5
# 2 + 3 + 4 = 9
# 依此類推

# 逐步累差
print(np.diff(a)) 
'''
[[1 1 1]
 [1 1 1]
 [1 1 1]]
 '''
  • 矩陣的排序 sort 與 transpose
    

    

























    

    
#coding=utf-8
import numpy as np 
a = np.random.random((3,4))
print(a)
'''
[[ 0.99821757  0.22533492  0.90690435  0.40504797]
 [ 0.73937987  0.776222    0.60485253  0.44401583]
 [ 0.33139018  0.14091604  0.81036999  0.74671883]]
'''

print(np.sort(a))
''' 效果：逐列排序
[[ 0.22533492  0.40504797  0.90690435  0.99821757]
 [ 0.44401583  0.60485253  0.73937987  0.776222  ]
 [ 0.14091604  0.33139018  0.74671883  0.81036999]]
 '''

# 矩陣的 transpose
print(np.transpose(a))
'''
[[ 0.99821757  0.73937987  0.33139018]
 [ 0.22533492  0.776222    0.14091604]
 [ 0.90690435  0.60485253  0.81036999]
 [ 0.40504797  0.44401583  0.74671883]]
'''
  • clip 功能簡介，可以拿來篩選過濾用
    

    















    

    
#coding=utf-8
import numpy as np 
a = np.arange(2,14).reshape(3,4)
print(a)
# [[ 2  3  4  5]
#  [ 6  7  8  9]
#  [10 11 12 13]]

# clip 功能
print(np.clip(a,5,9)) # 意思：所有小於等於 5 的數都用 5 代替; 所有大於等於 9 的數都用 9 代替
'''
[[5 5 5 5]
 [6 7 8 9]
 [9 9 9 9]]
'''

留言

張貼留言

這個網誌中的熱門文章

[筆記] CRLF跟LF之區別 --- 隱形的 bug

圖片
最近在當助教時，偶然間遇到一個隱形的Bug 為什麼稱之為隱形呢？ 請見下面兩張圖 說明：answer.txt 與 answer_test.txt 這兩個檔案的內容用文字編輯器打開時，完全一模一樣，但是我在使用 diff 指令的時候居然出現判定為每一行都不一樣的情形 指令 diff answer.txt answer_test.txt 由最上面第一張圖中可以注意到，answer.txt 的檔案大小是 958 byte answer_test.txt 的檔案大小則為 924 byte 此時不禁讓我疑惑到，兩個檔案內容相同，空白數量也完全相同的情況下，造成檔案大小不同的原因是什麼呢？ 下圖說明了一切 原來在 answer.txt 檔案當中，他的換行是採用 CRLF 而 answer_test.txt 的換行則是一般UNIX的情形 LF # 以下感謝梁浩穎同學解釋 CRLF 就是 \r\n 是只有在 windows 系統在用的形式 所有的 UNIX 系統都是用 \n   (的確，上圖中的 answer.txt 是用windows 7系統的記事本所編輯的，answer_test.txt 則是用 mac 系統透過 sublime text 所編輯的) CR是carriage return的意思， 也就是\r  LF是line feed的意思，也就是\n 這就是為什麼有些檔案從unix系統拿去windows上面看 會變成全部都在同一行 因為只有LF 他不知道是換行 windows只吃CRLF 除了一些比較聰明的文字編輯器會 分的出來 不過其實，CRLF才是真正的打字機運作方式，你可以想像：打字機打到最右邊，要先return到最左邊之後，再往下一行， 所以是CRLF 如果想要清空 answer.txt 裡面所有的 \r 的話，可以使用以下指令 tr -d '\r’ answer.txt # 遇到這個隱形的bug真是難得的好玩經驗，分享給大家 :)
Read more »

[ML筆記] Batch Normalization

圖片
Batch Normalization 本篇為台大電機系李宏毅老師 Machine Learning and having it Deep and Structured (2017)  課程筆記 上課影片： https://www.youtube.com/watch?v=BZh1ltr5Rkg 先從 Feature scaling 或是稱作 Feature Normalization 說起 假設 x1 跟 x2 的數值差距很大 x1 值的範圍 1,2,3,4, ... x2 值的範圍 100, 200, 300, … x1 的 weight 是 w1，x2 的 weight 是 w2 w1 前面乘的值比較小，所以他對於結果的影響比較小 w2 前面乘的值比較大，所以他對於結果的影響比較大
Read more »

[ML筆記] Ensemble - Bagging, Boosting & Stacking

圖片
ML Lecture 27: Ensemble 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=tH9FH1DH5n0 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html Ensemble 方法其實就是 “團隊合作” 好幾個模型一起上的方法 假如我們手上有一堆 Classifier ，這些 Classifier 每個都有不同的屬性， 要把他們集合起來一起合作，集合再一起需要用比較好的方法 以下來介紹一些 Ensemble 的方法 Bagging
Read more »

[筆記] 統計實習(1) SAS 基礎用法 (匯入資料並另存SAS新檔，SUBSTR，計算總和與平均，BMI)

圖片
使用版本 SAS 9.3 繁體中文 OS: windows xp 匯入資料並另存成SAS新檔 step 1: 匯入資料 step 2: 選擇匯入檔案類型 step 3: 去資料夾 Browse 找尋要匯入的資料檔案 (這裡我命名為Man) step 4: 選好檔案後按OK step 5: 然後按Next step 6: 成功匯入excel資料  (我命名為 Man)，欲找尋這個檔案在哪 -> 按左側的資料館 step 7: 再選Work資料夾 step 8: 就會看到剛剛被我命名的 Man 檔案資料 step 9: 做些簡單的資料分析，在Editor視窗中寫code             Data test;             set man;             run;             以上code做的事會把這個 man (大小寫沒差)資料表複製一份，另命名成 test 存起來 step 10: 要複製另存成SAS檔，使用libname語法 後面放 目錄名稱'檔案路徑'               這裡的目錄名稱為 J 路徑為 '   ' 之中。                      step 11: 如此的code寫完，按下小人圖示提交執行程式 step 12: 會發現資料館裡面，多了一個名稱為 J 的資料夾目錄 step 13: 在 J 資料夾目錄裡面會成功看到被複製出來的名稱為 test 的資料 step 14: 實際跑到剛剛在 '   ' 之中的路徑看，也會看到test資料 SAS SUBSTR的用法 substr (sub string)顧名思義就是將一串文字當中切割出來一條子字串 語法為 新Table欄位名稱 = SUBSTR( Table欄位名稱 , 起始bit位置 , 要往後多少位元 ) 常用於將日期年月日分別切割出來變成數字來運算 step 1: 在Editor當中輸入語法 以第一橫排 16/10/1986為例 要取得日期DAY要從time欄位的第1個bit開始往後切長度
Read more »