基于python的numpy深度解析

一、numpy概述

numpy（Numerical Python）提供了python對(duì)多維數(shù)組對(duì)象的支持：ndarray，具有矢量運(yùn)算能力，快速、節(jié)省空間。numpy支持高級(jí)大量的維度數(shù)組與矩陣運(yùn)算，此外也針對(duì)數(shù)組運(yùn)算提供大量的數(shù)學(xué)函數(shù)庫(kù)。

二、創(chuàng)建ndarray數(shù)組

ndarray：N維數(shù)組對(duì)象（矩陣），所有元素必須是相同類型。ndarray屬性：ndim屬性，表示維度個(gè)數(shù)；shape屬性，表示各維度大?。籨type屬性，表示數(shù)據(jù)類型。

創(chuàng)建ndarray數(shù)組函數(shù)：

代碼示例：

# -*- coding: utf-8 -*- import numpy; print '使用列表生成一維數(shù)組' data = [1,2,3,4,5,6] x = numpy.array(data) print x #打印數(shù)組 print x.dtype #打印數(shù)組元素的類型 print '使用列表生成二維數(shù)組' data = [[1,2],[3,4],[5,6]] x = numpy.array(data) print x #打印數(shù)組 print x.ndim #打印數(shù)組的維度 print x.shape #打印數(shù)組各個(gè)維度的長(zhǎng)度。shape是一個(gè)元組 print '使用zero/ones/empty創(chuàng)建數(shù)組:根據(jù)shape來創(chuàng)建' x = numpy.zeros(6) #創(chuàng)建一維長(zhǎng)度為6的，元素都是0一維數(shù)組 print x x = numpy.zeros((2,3)) #創(chuàng)建一維長(zhǎng)度為2，二維長(zhǎng)度為3的二維0數(shù)組 print x x = numpy.ones((2,3)) #創(chuàng)建一維長(zhǎng)度為2，二維長(zhǎng)度為3的二維1數(shù)組 print x x = numpy.empty((3,3)) #創(chuàng)建一維長(zhǎng)度為2，二維長(zhǎng)度為3,未初始化的二維數(shù)組 print x print '使用arrange生成連續(xù)元素' print numpy.arange(6) # [0,1,2,3,4,5,] 開區(qū)間 print numpy.arange(0,6,2) # [0, 2，4]

三、指定ndarray數(shù)組元素的類型

NumPy數(shù)據(jù)類型：

代碼示例：

print '生成指定元素類型的數(shù)組:設(shè)置dtype屬性' x = numpy.array([1,2.6,3],dtype = numpy.int64) print x # 元素類型為int64 print x.dtype x = numpy.array([1,2,3],dtype = numpy.float64) print x # 元素類型為float64 print x.dtype print '使用astype復(fù)制數(shù)組，并轉(zhuǎn)換類型' x = numpy.array([1,2.6,3],dtype = numpy.float64) y = x.astype(numpy.int32) print y # [1 2 3] print x # [ 1. 2.6 3. ] z = y.astype(numpy.float64) print z # [ 1. 2. 3.] print '將字符串元素轉(zhuǎn)換為數(shù)值元素' x = numpy.array(['1','2','3'],dtype = numpy.string_) y = x.astype(numpy.int32) print x # ['1' '2' '3'] print y # [1 2 3] 若轉(zhuǎn)換失敗會(huì)拋出異常 print '使用其他數(shù)組的數(shù)據(jù)類型作為參數(shù)' x = numpy.array([ 1., 2.6,3. ],dtype = numpy.float32); y = numpy.arange(3,dtype=numpy.int32); print y # [0 1 2] print y.astype(x.dtype) # [ 0. 1. 2.]

四、ndarray的矢量化計(jì)算

矢量運(yùn)算：相同大小的數(shù)組鍵間的運(yùn)算應(yīng)用在元素上矢量和標(biāo)量運(yùn)算：“廣播”— 將標(biāo)量“廣播”到各個(gè)元素

代碼示例：

print 'ndarray數(shù)組與標(biāo)量/數(shù)組的運(yùn)算' x = numpy.array([1,2,3]) print x*2 # [2 4 6] print x>2 # [False False True] y = numpy.array([3,4,5]) print x+y # [4 6 8] print x>y # [False False False]

五、ndarray數(shù)組的基本索引和切片

一維數(shù)組的索引：與Python的列表索引功能相似

多維數(shù)組的索引：

arr[r1:r2, c1:c2]

arr[1,1] 等價(jià) arr[1][1]

[:] 代表某個(gè)維度的數(shù)據(jù)

代碼示例：

print 'ndarray的基本索引' x = numpy.array([[1,2],[3,4],[5,6]]) print x[0] # [1,2] print x[0][1] # 2,普通python數(shù)組的索引 print x[0,1] # 同x[0][1]，ndarray數(shù)組的索引 x = numpy.array([[[1, 2], [3,4]], [[5, 6], [7,8]]]) print x[0] # [[1 2],[3 4]] y = x[0].copy() # 生成一個(gè)副本 z = x[0] # 未生成一個(gè)副本 print y # [[1 2],[3 4]] print y[0,0] # 1 y[0,0] = 0 z[0,0] = -1 print y # [[0 2],[3 4]] print x[0] # [[-1 2],[3 4]] print z # [[-1 2],[3 4]] print 'ndarray的切片' x = numpy.array([1,2,3,4,5]) print x[1:3] # [2,3] 右邊開區(qū)間 print x[:3] # [1,2,3] 左邊默認(rèn)為 0 print x[1:] # [2,3,4,5] 右邊默認(rèn)為元素個(gè)數(shù) print x[0:4:2] # [1,3] 下標(biāo)遞增2 x = numpy.array([[1,2],[3,4],[5,6]]) print x[:2] # [[1 2],[3 4]] print x[:2,:1] # [[1],[3]] x[:2,:1] = 0 # 用標(biāo)量賦值 print x # [[0,2],[0,4],[5,6]] x[:2,:1] = [[8],[6]] # 用數(shù)組賦值 print x # [[8,2],[6,4],[5,6]]

六、ndarray數(shù)組的布爾索引和花式索引

布爾索引：使用布爾數(shù)組作為索引。arr[condition]，condition為一個(gè)條件/多個(gè)條件組成的布爾數(shù)組。

布爾型索引代碼示例：

print 'ndarray的布爾型索引' x = numpy.array([3,2,3,1,3,0]) # 布爾型數(shù)組的長(zhǎng)度必須跟被索引的軸長(zhǎng)度一致 y = numpy.array([True,False,True,False,True,False]) print x[y] # [3,3,3] print x[y==False] # [2,1,0] print x>=3 # [ True False True False True False] print x[~(x>=3)] # [2,1,0] print (x==2)|(x==1) # [False True False True False False] print x[(x==2)|(x==1)] # [2 1] x[(x==2)|(x==1)] = 0 print x # [3 0 3 0 3 0]

花式索引：使用整型數(shù)組作為索引。

花式索引代碼示例：

print 'ndarray的花式索引:使用整型數(shù)組作為索引' x = numpy.array([1,2,3,4,5,6]) print x[[0,1,2]] # [1 2 3] print x[[-1,-2,-3]] # [6,5,4] x = numpy.array([[1,2],[3,4],[5,6]]) print x[[0,1]] # [[1,2],[3,4]] print x[[0,1],[0,1]] # [1,4] 打印x[0][0]和x[1][1] print x[[0,1]][:,[0,1]] # 打印01行的01列 [[1,2],[3,4]] # 使用numpy.ix_()函數(shù)增強(qiáng)可讀性 print x[numpy.ix_([0,1],[0,1])] #同上 打印01行的01列 [[1,2],[3,4]] x[[0,1],[0,1]] = [0,0] print x # [[0,2],[3,0],[5,6]]

七、ndarray數(shù)組的轉(zhuǎn)置和軸對(duì)換

數(shù)組的轉(zhuǎn)置/軸對(duì)換只會(huì)返回源數(shù)據(jù)的一個(gè)視圖，不會(huì)對(duì)源數(shù)據(jù)進(jìn)行修改。

代碼示例：

print 'ndarray數(shù)組的轉(zhuǎn)置和軸對(duì)換' k = numpy.arange(9) #[0,1,....8] m = k.reshape((3,3)) # 改變數(shù)組的shape復(fù)制生成2維的，每個(gè)維度長(zhǎng)度為3的數(shù)組 print k # [0 1 2 3 4 5 6 7 8] print m # [[0 1 2] [3 4 5] [6 7 8]] # 轉(zhuǎn)置(矩陣)數(shù)組：T屬性 : mT[x][y] = m[y][x] print m.T # [[0 3 6] [1 4 7] [2 5 8]] # 計(jì)算矩陣的內(nèi)積 xTx print numpy.dot(m,m.T) # numpy.dot點(diǎn)乘 # 高維數(shù)組的軸對(duì)象 k = numpy.arange(8).reshape(2,2,2) print k # [[[0 1],[2 3]],[[4 5],[6 7]]] print k[1][0][0] # 軸變換 transpose 參數(shù):由軸編號(hào)組成的元組 m = k.transpose((1,0,2)) # m[y][x][z] = k[x][y][z] print m # [[[0 1],[4 5]],[[2 3],[6 7]]] print m[0][1][0] # 軸交換 swapaxes (axes：軸)，參數(shù):一對(duì)軸編號(hào) m = k.swapaxes(0,1) # 將第一個(gè)軸和第二個(gè)軸交換 m[y][x][z] = k[x][y][z] print m # [[[0 1],[4 5]],[[2 3],[6 7]]] print m[0][1][0] # 使用軸交換進(jìn)行數(shù)組矩陣轉(zhuǎn)置 m = numpy.arange(9).reshape((3,3)) print m # [[0 1 2] [3 4 5] [6 7 8]] print m.swapaxes(1,0) # [[0 3 6] [1 4 7] [2 5 8]]

八、ndarray通用函數(shù)

通用函數(shù)（ufunc）是一種對(duì)ndarray中的數(shù)據(jù)執(zhí)行元素級(jí)運(yùn)算的函數(shù)。

一元ufunc：

一元ufunc代碼示例：

print '一元ufunc示例' x = numpy.arange(6) print x # [0 1 2 3 4 5] print numpy.square(x) # [ 0 1 4 9 16 25] x = numpy.array([1.5,1.6,1.7,1.8]) y,z = numpy.modf(x) print y # [ 0.5 0.6 0.7 0.8] print z # [ 1. 1. 1. 1.]

二元ufunc：

二元ufunc代碼示例：

print '二元ufunc示例' x = numpy.array([[1,4],[6,7]]) y = numpy.array([[2,3],[5,8]]) print numpy.maximum(x,y) # [[2,4],[6,8]] print numpy.minimum(x,y) # [[1,3],[5,7]]

九、NumPy的where函數(shù)使用

np.where(condition, x, y)，第一個(gè)參數(shù)為一個(gè)布爾數(shù)組，第二個(gè)參數(shù)和第三個(gè)參數(shù)可以是標(biāo)量也可以是數(shù)組。

代碼示例：

print 'where函數(shù)的使用' cond = numpy.array([True,False,True,False]) x = numpy.where(cond,-2,2) print x # [-2 2 -2 2] cond = numpy.array([1,2,3,4]) x = numpy.where(cond>2,-2,2) print x # [ 2 2 -2 -2] y1 = numpy.array([-1,-2,-3,-4]) y2 = numpy.array([1,2,3,4]) x = numpy.where(cond>2,y1,y2) # 長(zhǎng)度須匹配 print x # [1,2,-3,-4] print 'where函數(shù)的嵌套使用' y1 = numpy.array([-1,-2,-3,-4,-5,-6]) y2 = numpy.array([1,2,3,4,5,6]) y3 = numpy.zeros(6) cond = numpy.array([1,2,3,4,5,6]) x = numpy.where(cond>5,y3,numpy.where(cond>2,y1,y2)) print x # [ 1. 2. -3. -4. -5. 0.]

十、ndarray常用的統(tǒng)計(jì)方法

可以通過這些基本統(tǒng)計(jì)方法對(duì)整個(gè)數(shù)組/某個(gè)軸的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)計(jì)算。

代碼示例：

print 'numpy的基本統(tǒng)計(jì)方法' x = numpy.array([[1,2],[3,3],[1,2]]) #同一維度上的數(shù)組長(zhǎng)度須一致 print x.mean() # 2 print x.mean(axis=1) # 對(duì)每一行的元素求平均 print x.mean(axis=0) # 對(duì)每一列的元素求平均 print x.sum() #同理 12 print x.sum(axis=1) # [3 6 3] print x.max() # 3 print x.max(axis=1) # [2 3 2] print x.cumsum() # [ 1 3 6 9 10 12] print x.cumprod() # [ 1 2 6 18 18 36]

用于布爾數(shù)組的統(tǒng)計(jì)方法：

sum : 統(tǒng)計(jì)數(shù)組/數(shù)組某一維度中的True的個(gè)數(shù)

any： 統(tǒng)計(jì)數(shù)組/數(shù)組某一維度中是否存在一個(gè)/多個(gè)True

all：統(tǒng)計(jì)數(shù)組/數(shù)組某一維度中是否都是True

代碼示例：

print '用于布爾數(shù)組的統(tǒng)計(jì)方法' x = numpy.array([[True,False],[True,False]]) print x.sum() # 2 print x.sum(axis=1) # [1,1] print x.any(axis=0) # [True,False] print x.all(axis=1) # [False,False]

使用sort對(duì)數(shù)組/數(shù)組某一維度進(jìn)行就地排序（會(huì)修改數(shù)組本身）。

代碼示例：

print '.sort的就地排序' x = numpy.array([[1,6,2],[6,1,3],[1,5,2]]) x.sort(axis=1) print x # [[1 2 6] [1 3 6] [1 2 5]] #非就地排序：numpy.sort()可產(chǎn)生數(shù)組的副本

十一、ndarray數(shù)組的去重以及集合運(yùn)算

代碼示例：（方法返回類型為一維數(shù)組（1d）)

print 'ndarray的唯一化和集合運(yùn)算' x = numpy.array([[1,6,2],[6,1,3],[1,5,2]]) print numpy.unique(x) # [1,2,3,5,6] y = numpy.array([1,6,5]) print numpy.in1d(x,y) # [ True True False True True False True True False] print numpy.setdiff1d(x,y) # [2 3] print numpy.intersect1d(x,y) # [1 5 6]

十二、numpy中的線性代數(shù)

import numpy.linalg 模塊。線性代數(shù)（linear algebra）

常用的numpy.linalg模塊函數(shù)：

代碼示例：

print '線性代數(shù)' import numpy.linalg as nla print '矩陣點(diǎn)乘' x = numpy.array([[1,2],[3,4]]) y = numpy.array([[1,3],[2,4]]) print x.dot(y) # [[ 5 11][11 25]] print numpy.dot(x,y) # # [[ 5 11][11 25]] print '矩陣求逆' x = numpy.array([[1,1],[1,2]]) y = nla.inv(x) # 矩陣求逆（若矩陣的逆存在） print x.dot(y) # 單位矩陣 [[ 1. 0.][ 0. 1.]] print nla.det(x) # 求行列式

十三、numpy中的隨機(jī)數(shù)生成

import numpy.random模塊。

常用的numpy.random模塊函數(shù)：

代碼示例：

print 'numpy.random隨機(jī)數(shù)生成' import numpy.random as npr x = npr.randint(0,2,size=100000) #拋硬幣 print (x>0).sum() # 正面的結(jié)果 print npr.normal(size=(2,2)) #正態(tài)分布隨機(jī)數(shù)數(shù)組 shape = (2,2)

十四、ndarray數(shù)組重塑

代碼示例:

print 'ndarray數(shù)組重塑' x = numpy.arange(0,6) #[0 1 2 3 4] print x #[0 1 2 3 4] print x.reshape((2,3)) # [[0 1 2][3 4 5]] print x #[0 1 2 3 4] print x.reshape((2,3)).reshape((3,2)) # [[0 1][2 3][4 5]] y = numpy.array([[1,1,1],[1,1,1]]) x = x.reshape(y.shape) print x # [[0 1 2][3 4 5]] print x.flatten() # [0 1 2 3 4 5] x.flatten()[0] = -1 # flatten返回的是拷貝 print x # [[0 1 2][3 4 5]] print x.ravel() # [0 1 2 3 4 5] x.ravel()[0] = -1 # ravel返回的是視圖（引用） print x # [[-1 1 2][3 4 5]] print "維度大小自動(dòng)推導(dǎo)" arr = numpy.arange(15) print arr.reshape((5, -1)) # 15 / 5 = 3

十五、ndarray數(shù)組的拆分與合并

代碼示例：

print '數(shù)組的合并與拆分' x = numpy.array([[1, 2, 3], [4, 5, 6]]) y = numpy.array([[7, 8, 9], [10, 11, 12]]) print numpy.concatenate([x, y], axis = 0) # 豎直組合 [[ 1 2 3][ 4 5 6][ 7 8 9][10 11 12]] print numpy.concatenate([x, y], axis = 1) # 水平組合 [[ 1 2 3 7 8 9][ 4 5 6 10 11 12]] print '垂直stack與水平stack' print numpy.vstack((x, y)) # 垂直堆疊:相對(duì)于垂直組合 print numpy.hstack((x, y)) # 水平堆疊：相對(duì)于水平組合 # dstack：按深度堆疊 print numpy.split(x,2,axis=0) # 按行分割 [array([[1, 2, 3]]), array([[4, 5, 6]])] print numpy.split(x,3,axis=1) # 按列分割 [array([[1],[4]]), array([[2],[5]]), array([[3],[6]])] # 堆疊輔助類 import numpy as np arr = np.arange(6) arr1 = arr.reshape((3, 2)) arr2 = np.random.randn(3, 2) print 'r_用于按行堆疊' print np.r_[arr1, arr2] ''' [[ 0. 1. ] [ 2. 3. ] [ 4. 5. ] [ 0.22621904 0.39719794] [-1.2201912 -0.23623549] [-0.83229114 -0.72678578]] ''' print 'c_用于按列堆疊' print np.c_[np.r_[arr1, arr2], arr] ''' [[ 0. 1. 0. ] [ 2. 3. 1. ] [ 4. 5. 2. ] [ 0.22621904 0.39719794 3. ] [-1.2201912 -0.23623549 4. ] [-0.83229114 -0.72678578 5. ]] ''' print '切片直接轉(zhuǎn)為數(shù)組' print np.c_[1:6, -10:-5] ''' [[ 1 -10] [ 2 -9] [ 3 -8] [ 4 -7] [ 5 -6]] '''

十六、數(shù)組的元素重復(fù)操作

代碼示例：

print '數(shù)組的元素重復(fù)操作' x = numpy.array([[1,2],[3,4]]) print x.repeat(2) # 按元素重復(fù) [1 1 2 2 3 3 4 4] print x.repeat(2,axis=0) # 按行重復(fù) [[1 2][1 2][3 4][3 4]] print x.repeat(2,axis=1) # 按列重復(fù) [[1 1 2 2][3 3 4 4]] x = numpy.array([1,2]) print numpy.tile(x,2) # tile瓦片：[1 2 1 2] print numpy.tile(x, (2, 2)) # 指定從低維到高維依次復(fù)制的次數(shù)。 # [[1 2 1 2][1 2 1 2]]