譯者:AI研習(xí)社(季一帆)
雙語原文鏈接:NumPy Illustrated: The Visual Guide to NumPy
是一個廣泛適用的Python數(shù)據(jù)處理庫,, 等庫都基于numpy。同時,在、、等深度許欸小框架中,了解numpy將顯著提高數(shù)據(jù)共享和處理能力,甚至無需過多更改就可以在運行計算。
n維數(shù)組是NumPy的核心概念,這樣的好處,盡管一維和而為數(shù)組的處理方式有些差異,但多數(shù)不同維數(shù)組的操作是一樣的。本文將對以下三個部分展開介紹:
向量——一維數(shù)組
矩陣——二維數(shù)組
3維及更高維數(shù)組
本文受JayAlammar的文章“ A Visual Intro to NumPy”的啟發(fā),并對其做了更詳細豐富的介紹。
numpy數(shù)組 vs. Python列表
乍看上去,NumPy數(shù)組與Python列表極其相似。它們都用來裝載數(shù)據(jù),都能夠快速添加或獲取元素,插入和移除元素則比較慢。
當然相比python列表,numpy數(shù)組可以直接進行算術(shù)運算:
除此之外,numpy數(shù)組還具有以下特點:
更緊湊,高維時尤為明顯
向量化后運算速度比列表更快
在末尾添加元素時不如列表高效
元素類型一般比較固定
其中,O(N)表示完成操作所需的時間與數(shù)組大小成正比(請見),O(1)表示操作時間與數(shù)組大小無關(guān)(詳見)。
1.向量與1維數(shù)組向量初始化
通過Python列表可以創(chuàng)建NumPy數(shù)組,如下將列表元素轉(zhuǎn)化為一維數(shù)組:
注意,確保列表元素類型相同,否則dtype=’object‘,將影響運算甚至產(chǎn)生語法錯誤。
由于在數(shù)組末尾沒有預(yù)留空間以快速添加新元素,NumPy數(shù)組無法像Python列表那樣增長,因此,通常的做法是在變長Python列表中準備好數(shù)據(jù),然后將其轉(zhuǎn)換為NumPy數(shù)組,或是使用np.zeros或np.empty預(yù)先分配必要的空間:
通過以下方法可以創(chuàng)建一個與某一變量形狀一致的空數(shù)組:
不止是空數(shù)組,通過上述方法還可以將數(shù)組填充為特定值:
在NumPy中,還可以通過單調(diào)序列初始化數(shù)組:
如果您需要[0., 1., 2.]這樣的浮點數(shù)組,可以更改arange輸出的類型,即arange(3).astype(float),但有更好的方法:由于arange函數(shù)對類型敏感,因此參數(shù)為整數(shù)類型,它生成的也是整數(shù)類型,如果輸入float類型arange(3.),則會生成浮點數(shù)。
arange浮點類型數(shù)據(jù)不是非常友好:
上圖中,0.1對我們來說是一個有限的十進制數(shù),但對計算機而言,它是一個二進制無窮小數(shù),必須四舍五入為一個近似值。因此,將小數(shù)作為arange的步長可能導(dǎo)致一些錯誤??梢酝ㄟ^以下兩種方式避免如上錯誤:一是使間隔末尾落入非整數(shù)步數(shù),但這會降低可讀性和可維護性;二是使用linspace,這樣可以避免四舍五入的錯誤影響,并始終生成要求數(shù)量的元素。但使用linspace時尤其需要注意最后一個的數(shù)量參數(shù)設(shè)置,由于它計算點數(shù)量,而不是間隔數(shù)量,因此上圖中數(shù)量參數(shù)是11,而不是10。
隨機數(shù)組的生成如下:
向量索引
對于數(shù)組數(shù)據(jù)的訪問,numpy提供了便捷的訪問方式:
上圖中,除“fancy indexing”外,其他所有索引方法本質(zhì)上都是`views`:它們并不存儲數(shù)據(jù),如果原數(shù)組在被索引后發(fā)生更改,則會反映出原始數(shù)組中的更改。
上述所有這些方法都可以改變原始數(shù)組,即允許通過分配新值改變原數(shù)組的內(nèi)容。這導(dǎo)致無法通過切片來復(fù)制數(shù)組:
此外,還可以通過布爾索引從NumPy數(shù)組中獲取數(shù)據(jù),這意味著可以使用各種邏輯運算符:
和與其他Python使用類似
注意,不可以使用`3 《= a 《= 5`這樣的Python“三元”比較。
如上所述,布爾索引是可寫的。如下圖np.where和np.clip兩個專有函數(shù)。
向量操作
NumPy的計算速度是其亮點之一,其向量運算操作接近C++級別,避免了Python循環(huán)耗時較多的問題。NumPy允許像普通數(shù)字一樣操作整個數(shù)組:
在python中,a//b表示a div b(除法的商),x**n表示 x?
浮點數(shù)的計算也是如此,numpy能夠?qū)肆繌V播到數(shù)組:
numpy提供了許多數(shù)學(xué)函數(shù)來處理矢量:
向量點乘(內(nèi)積)和叉乘(外積、向量積)如下:
numpy也提供了如下三角函數(shù)運算:
數(shù)組整體進行四舍五入:
floor向上取整,ceil向下取整,round四舍五入
np.around與np.round是等效的,這樣做只是為了避免 from numpy import *時與Python aroun的沖突(但一般的使用方式是import numpy as np)。當然,你也可以使用a.round。
numpy還可以實現(xiàn)以下功能:
以上功能都存在相應(yīng)的nan-resistant變體:例如,等
在numpy中,排序函數(shù)功能有所閹割:
對于一維數(shù)組,可以通過反轉(zhuǎn)結(jié)果來解決reversed函數(shù)缺失的不足,但在2維數(shù)組中該問題變得棘手。
查找向量中的元素
不同于Python列表,NumPy數(shù)組沒有索引方法。
index中的方括號表示j或i&j可以省略
可以通過np.where(a==x)[0] [0]查找元素,但這種方法很不pythonic,哪怕需要查找的項在數(shù)組開頭,該方法也需要遍歷整個數(shù)組。
使用Numba實現(xiàn)加速查找,next((i[0] for i, v in np.ndenumerate(a) if v==x), -1),在最壞的情況下,它的速度要比where慢。
如果數(shù)組是排好序的,使用v = np.(a, x); return v if a[v]==x else -1時間復(fù)雜度為O(log N),但在這之前,排序的時間復(fù)雜度為O(N log N)。
實際上,通過C實現(xiàn)加速搜索并不是困難,問題是浮點數(shù)據(jù)比較。
浮點數(shù)比較
np.allclose(a, b)用于容忍誤差之內(nèi)的浮點數(shù)比較。
np.allclose假定所有比較數(shù)字的尺度為1。如果在納秒級別上,則需要將默認atol參數(shù)除以1e9:np.allclose(1e-9,2e-9, atol=1e-17)==False。
math.isclose不對要比較的數(shù)字做任何假設(shè),而是需要用戶提供一個合理的abs_tol值(np.allclose默認的atol值1e-8足以滿足小數(shù)位數(shù)為1的浮點數(shù)比較,即math.isclose(0.1+0.2–0.3, abs_tol=1e-8)==True。
此外,對于絕隊偏差和相對偏差,np.allclose依然存在一些問題。例如,對于某些值a、b, allclose(a,b)!=allclose(b,a),而在math.isclose中則不存在這些問題。查看GitHub上的和相應(yīng)的了解更多信息。
2.矩陣和二維數(shù)組
過去,NumPy中曾有一個專用的matrix類,但現(xiàn)在已被棄用,因此在下文中矩陣和2維數(shù)組表示同一含義。
矩陣的初始化語法與向量類似:
如上要使用雙括號,因為第二個位置參數(shù)(可選)是為dtype(也接受整數(shù))保留的。
隨機矩陣的生成也與向量類似:
二維數(shù)組的索引語法要比嵌套列表更方便:
“view”表示數(shù)組切片時并未進行任何復(fù)制,在修改數(shù)組后,相應(yīng)更改也將反映在切片中。
軸參數(shù)
在求和等操作中,NumPy可以實現(xiàn)跨行或跨列的操作。為了適用任意維數(shù)的數(shù)組,NumPy引入了axis的概念。axis參數(shù)的值實際上就是維度數(shù)量,如第一個維是axis=0 ,第二維是axis=1,依此類推。因此,在2維數(shù)組中,axis=0指列方向,axis=1指行方向。
矩陣運算
除了+,-,*,/,//和**等數(shù)組元素的運算符外,numpy提供了@運算符計算矩陣乘積:
類似前文介紹的標量廣播機制,numpy同樣可以通過廣播機制實現(xiàn)向量與矩陣,或兩個向量之間的混合運算:
注意,上圖最后一個示例是對稱的逐元素乘法。使用矩陣乘法@可以計算非對稱線性代數(shù)外積,兩個矩陣互換位置后計算內(nèi)積:
行向量與列向量
根據(jù)前文可知,在2維數(shù)組中,行向量和列向量被區(qū)別對待。通常NumPy會盡可能使用單一類型的1維數(shù)組(例如,2維數(shù)組a的第j列a[:, j]是1維數(shù)組)。默認情況下,一維數(shù)組在2維操作中被視為行向量,因此,將矩陣乘行向量時,使用形狀(n,)或(1,n)的向量結(jié)果一致。有多種方法可以從一維數(shù)組中得到列向量,但并不包括transpose:
使用newaxis更新數(shù)組形狀和索引可以將1維數(shù)組轉(zhuǎn)化為2維列向量:
其中,-1表示在reshape是該維度自動決定,方括號中的None等同于np.newaxis,表示在指定位置添加一個空軸。
因此,NumPy中共有三種類型的向量:1維數(shù)組,2維行向量和2維列向量。以下是兩兩類型轉(zhuǎn)換圖:
根據(jù)廣播規(guī)則,一維數(shù)組被隱式解釋為二維行向量,因此通常不必在這兩個數(shù)組之間進行轉(zhuǎn)換,對應(yīng)圖中陰影化區(qū)域。
嚴格來說,除一維外的所有數(shù)組的大小都是一個向量(如a.shape == [1,1,1,5,1,1]),因此numpy的輸入類型是任意的,但上述三種最為常用。可以使用np.reshape將一維矢量轉(zhuǎn)換為這種形式,使用np.squeeze可將其恢復(fù)。這兩個功能都通過view發(fā)揮作用。
矩陣操作
矩陣的拼接有以下兩種方式:
圖示操作僅適用于矩陣堆疊或向量堆疊,而一維數(shù)組和矩陣的混合堆疊只有通過才可實現(xiàn),會導(dǎo)致維度不匹配錯誤。因為前文提到將一維數(shù)組作為行向量,而不是列向量。為此,可以將其轉(zhuǎn)換為行向量,或使用專門的函數(shù)執(zhí)行此操作:
與stack對應(yīng)的是split:
矩陣復(fù)制有兩種方式:類似粘貼復(fù)制;相當于分頁打印。
delete可以刪除特定的行或列:
相應(yīng)插入操作為insert:
與hstack一樣,append函數(shù)無法自動轉(zhuǎn)置1D數(shù)組,因此需要重新調(diào)整向量形狀或添加維數(shù),或者使用column_stack:
如果僅僅是向數(shù)組的邊界添加常量值,pad函數(shù)是足夠的:
Meshgrids
廣播機制使得meshgrids變得容易。例如需要下圖所示(但尺寸大得多)的矩陣:
上述兩種方法由于使用了循環(huán),因此都比較慢。MATLAB通過構(gòu)建meshgrid處理這種問題。
meshgrid函數(shù)接受任意一組索引,通過切片和索引生成完整的索引范圍,然后,函數(shù)根據(jù)I和J實現(xiàn)運算。
在NumPy中有一種更好的方法,無需在內(nèi)存中存儲整個I和J矩陣(雖然meshgrid已足夠優(yōu)秀,僅存儲對原始向量的引用),僅存儲形狀矢量,然后通過廣播規(guī)實現(xiàn)其余內(nèi)容的處理:
如果沒有indexing =’ij‘參數(shù),那么meshgrid將更改參數(shù)的順序,即J,I=np.meshgrid(j,i)——一種用于可視化3D繪圖的“xy”模式(祥見該文檔)。
除了在二維或三維網(wǎng)格上初始化函數(shù)外,網(wǎng)格還可以用于索引數(shù)組:
以上方法在稀疏網(wǎng)格中同樣適用。
矩陣統(tǒng)計
就像sum函數(shù),numpy提供了矩陣不同軸上的, , mean/median/percentile, 等函數(shù)。
np.amin等同于np.min,這樣做同樣是為了避免from numpy import *可能的歧義。
2維及更高維中的argmin和argmax函數(shù)分別返回最小和最大值的索引,通過unravel_index函數(shù)可以將其轉(zhuǎn)換為二維坐標:
和同樣也可作用于特定維度:
矩陣排序
雖然在前文中,axis參數(shù)適用于不同函數(shù),但在二維數(shù)組排序中影響較?。?/p>
你通常不需要上述這樣的排序矩陣,axis不是key參數(shù)的替代。但好在NumPy提供了其他功能,這些功能允許按一列或幾列進行排序:
1、a[a [:,0] .argsort]表示按第一列對數(shù)組進行排序:
其中,argsort返回排序后的原始數(shù)組的索引數(shù)組。
可以重復(fù)使用該方法,但千萬不要搞混:
a = a[a[:,2].argsort]
a = a[a[:,1].argsort(kind=’stable‘)]
a = a[a[:,0].argsort(kind=’stable‘)]
2、函數(shù)lexsort可以像上述這樣對所有列進行排序,但是它總是按行執(zhí)行,并且排序的行是顛倒的(即從下到上),其用法如下:
a[np.lexsort(np.flipud(a[2,5].T))],首先按第2列排序,然后按第5列排序;a[np.lexsort(np.flipud(a.T))],從左到右依次排序各列。
其中,沿上下方向翻轉(zhuǎn)矩陣(沿axis = 0方向,與a [::-1,。。.]等效,其中。。.表示“其他所有維度”),注意區(qū)分它與,fliplr用于1維數(shù)組。
3、sort函數(shù)還有一個order參數(shù),但該方法極不友好,不推薦學(xué)習(xí)。
4、在pandas中排序也是不錯的選擇,因為在pandas中操作位置確定,可讀性好且不易出錯:
- pd.DataFrame(a).sort_values(by=[2,5]).to_numpy,先按第2列排序,再按第5列排序。
-pd.DataFrame(a).sort_values.to_numpy,按從左到右的順序?qū)λ辛羞M行排序。
3、3維及更高維數(shù)組
通過重塑1維向量或轉(zhuǎn)換嵌套Python列表來創(chuàng)建3維數(shù)組時,索引分別對應(yīng)(z,y,x)。索引z是平面編號,(y,x)坐標在該平面上移動:
通過上述索引順序,可以方便的保留灰度圖像,a[i]表示第i個圖像。
但這樣的索引順序并不具有廣泛性,例如在處理RGB圖像時,通常使用(y,x,z)順序:首先是兩個像素坐標,然后才是顏色坐標(中的RGB,中的BGR):
這樣可以方便地定位特定像素,如a[i,j]給出像素(i,j)的RGB元組。
因此,幾何形狀的創(chuàng)建實際取決于你對域的約定:
顯然,hstack,vstack或dstack之類的NumPy函數(shù)并不一定滿足這些約定,其默認的索引順序是(y,x,z),RGB圖像順序如下:
如果數(shù)據(jù)不是這樣的布局,使用concatenate命令可以方便的堆疊圖像,并通過axis參數(shù)提供索引號:
如果不考慮軸數(shù),可以將數(shù)組轉(zhuǎn)換hstack和相應(yīng)形式:
這種轉(zhuǎn)換非常方便,該過程只是混合索引的順序重排,并沒有實際的復(fù)制操作。
通過混合索引順序可實現(xiàn)數(shù)組轉(zhuǎn)置,掌握該方法將加深你對3維數(shù)據(jù)的了解。根據(jù)確定的軸順序,轉(zhuǎn)置數(shù)組平面的命令有所不同:對于通用數(shù)組,交換索引1和2,對于RGB圖像交換0和1:
注意,(a.T)的默認軸參數(shù)會顛倒索引順序,這不同于上述述兩種索引順序。
廣播機制同樣適用多維數(shù)組,更多詳細信息可參閱筆記“ ”。
最后介紹(Einstein summation)函數(shù),這將使你在處理多維數(shù)組時避免很多Python循環(huán),代碼更為簡潔:
該函數(shù)對重復(fù)索引的數(shù)組求和。在一般情況下,使用np.tensordot(a,b,axis=1)就可以,但在更復(fù)雜的情況下,einsum速度更快,讀寫更容易。
如果你想看看自己的NumPy水平到底如何,可以在GitHub上進行練習(xí)——例如。
對于本文未介紹到的NumPy常用功能,歡迎各位讀者通過、給我留言,我將進一步完善本文!
-
核心
+關(guān)注
關(guān)注
0文章
44瀏覽量
15010 -
矩陣
+關(guān)注
關(guān)注
0文章
417瀏覽量
34413 -
向量
+關(guān)注
關(guān)注
0文章
55瀏覽量
11631
發(fā)布評論請先 登錄
相關(guān)推薦
評論