TransBigData與數(shù)據(jù)中的預(yù)處理

1、TransBigData簡(jiǎn)介

TransBigData是一個(gè)為交通時(shí)空大數(shù)據(jù)處理、分析和可視化而開(kāi)發(fā)的Python包。TransBigData為處理常見(jiàn)的交通時(shí)空大數(shù)據(jù)（如出租車GPS數(shù)據(jù)、共享單車數(shù)據(jù)和公交車GPS數(shù)據(jù)等）提供了快速而簡(jiǎn)潔的方法。TransBigData為交通時(shí)空大數(shù)據(jù)分析的各個(gè)階段提供了多種處理方法,代碼簡(jiǎn)潔、高效、靈活、易用，可以用簡(jiǎn)潔的代碼實(shí)現(xiàn)復(fù)雜的數(shù)據(jù)任務(wù)。

目前，TransBigData主要提供以下方法：

數(shù)據(jù)預(yù)處理：對(duì)數(shù)據(jù)集提供快速計(jì)算數(shù)據(jù)量、時(shí)間段、采樣間隔等基本信息的方法，也針對(duì)多種數(shù)據(jù)噪聲提供了相應(yīng)的清洗方法。

數(shù)據(jù)柵格化：提供在研究區(qū)域內(nèi)生成、匹配多種類型的地理柵格（矩形、三角形、六邊形及geohash柵格）的方法體系，能夠以向量化的方式快速算法將空間點(diǎn)數(shù)據(jù)映射到地理柵格上。

數(shù)據(jù)可視化：基于可視化包keplergl，用簡(jiǎn)單的代碼即可在Jupyter Notebook上交互式地可視化展示數(shù)據(jù)。

軌跡處理：從軌跡數(shù)據(jù)GPS點(diǎn)生成軌跡線型，軌跡點(diǎn)增密、稀疏化等。

地圖底圖、坐標(biāo)轉(zhuǎn)換與計(jì)算：加載顯示地圖底圖與各類特殊坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換。

特定處理方法：針對(duì)各類特定數(shù)據(jù)提供相應(yīng)處理方法，如從出租車GPS數(shù)據(jù)中提取訂單起訖點(diǎn)，從手機(jī)信令數(shù)據(jù)中識(shí)別居住地與工作地，從地鐵網(wǎng)絡(luò)GIS數(shù)據(jù)構(gòu)建網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)并計(jì)算最短路徑等。

TransBigData可以通過(guò)pip或者conda安裝，在命令提示符中運(yùn)行下面代碼即可安裝：

pipinstall-Utransbigdata

安裝完成后，在Python中運(yùn)行如下代碼即可導(dǎo)入TransBigData包。

importtransbigdataastbd

2、數(shù)據(jù)預(yù)處理

TransBigData與數(shù)據(jù)處理中常用的Pandas和GeoPandas包能夠無(wú)縫銜接。首先我們引入Pandas包并讀取出租車GPS數(shù)據(jù)：

importpandasaspd

#讀取數(shù)據(jù)
data=pd.read_csv('TaxiData-Sample.csv',header=None)
data.columns=['VehicleNum','time','lon','lat','OpenStatus','Speed']
data.head()

結(jié)果如圖2所示：

▲圖2 出租車GPS數(shù)據(jù)

然后，引入GeoPandas包，讀取研究范圍的區(qū)域信息并展示：

importgeopandasasgpd

#讀取研究范圍區(qū)域信息
sz=gpd.read_file(r'sz/sz.shp')
sz.plot()

結(jié)果如圖3所示：

▲圖3 研究范圍的區(qū)域信息

TransBigData包集成了交通時(shí)空數(shù)據(jù)的一些常用預(yù)處理方法。其中，tbd.clean_outofshape方法輸入數(shù)據(jù)和研究范圍區(qū)域信息，能夠剔除研究范圍外的數(shù)據(jù)。而tbd.clean_taxi_status方法則可以剔除出租車GPS數(shù)據(jù)中載客狀態(tài)瞬間變化的記錄。在使用預(yù)處理方法時(shí)需要傳入數(shù)據(jù)表中重要信息列所對(duì)應(yīng)的列名，代碼如下：

#數(shù)據(jù)預(yù)處理

#剔除研究范圍外的數(shù)據(jù)，計(jì)算原理是在方法中先柵格化后柵格匹配研究范圍后實(shí)現(xiàn)對(duì)應(yīng)。因此這里需要同時(shí)定義柵格大小，越小則精度越高
data=tbd.clean_outofshape(data,sz,col=['lon','lat'],accuracy=500)

#剔除出租車數(shù)據(jù)中載客狀態(tài)瞬間變化的數(shù)據(jù)
data=tbd.clean_taxi_status(data,col=['VehicleNum','time','OpenStatus'])

經(jīng)過(guò)上面代碼的處理，我們就已經(jīng)將出租車GPS數(shù)據(jù)中研究范圍以外的數(shù)據(jù)和載客狀態(tài)瞬間變化的數(shù)據(jù)予以剔除。

3、數(shù)據(jù)柵格化

柵格形式（地理空間上相同大小的網(wǎng)格）是表達(dá)數(shù)據(jù)分布最基本的方法，GPS數(shù)據(jù)經(jīng)過(guò)柵格化后，每個(gè)數(shù)據(jù)點(diǎn)都含有其所在的柵格信息。采用柵格表達(dá)數(shù)據(jù)的分布時(shí)，其表示的分布情況與真實(shí)情況接近。

TransBigData工具為我們提供了一套完整、快速、便捷的柵格處理體系。用TransBigData進(jìn)行柵格劃分時(shí)，首先需要確定柵格化的參數(shù)（可以理解為定義了一個(gè)柵格坐標(biāo)系），參數(shù)可以幫助我們快速進(jìn)行柵格化：

#定義研究范圍邊界
bounds=[113.75,22.4,114.62,22.86]

#通過(guò)邊界獲取柵格化參數(shù)
params=tbd.area_to_params(bounds,accuracy=1000)
params

輸出：

{'slon': 113.75,
'slat': 22.4,
'deltalon': 0.00974336289289822,
'deltalat': 0.008993210412845813,
'theta': 0,
'method': 'rect',
'gridsize': 1000}

此時(shí)輸出的柵格化參數(shù)params的內(nèi)容存儲(chǔ)了柵格坐標(biāo)系的原點(diǎn)坐標(biāo)（slon、slat）、單個(gè)柵格的經(jīng)緯度長(zhǎng)寬 （deltalon、deltalat）、柵格的旋轉(zhuǎn)角度（theta）、柵格的形狀（method參數(shù)，其值可以是方形rect、三角形tri和六邊形hexa）以及柵格的大?。╣ridsize參數(shù)，單位為米）。

取得柵格化參數(shù)后，我們便可以用TransBigData中提供的方法對(duì)GPS數(shù)據(jù)進(jìn)行柵格匹配、生成等操作。

完整的柵格處理方法體系如圖4所示：

▲圖4 TransBigData所提供的柵格處理體系

使用tbd.GPS_to_grid方法能夠?yàn)槊恳粋€(gè)出租車GPS點(diǎn)生成，該方法會(huì)生成編號(hào)列LONCOL與 LATCOL，由這兩列共同指定所在的柵格：

#將GPS數(shù)據(jù)對(duì)應(yīng)至柵格，將生成的柵格編號(hào)列賦值到數(shù)據(jù)表上作為新的兩列
data['LONCOL'],data['LATCOL']=tbd.GPS_to_grids(data['lon'],data['lat'],params)

下一步，聚合集計(jì)每一柵格內(nèi)的數(shù)據(jù)量，并為柵格生成地理幾何圖形，構(gòu)建GeoDataFrame：

#聚合集計(jì)柵格內(nèi)數(shù)據(jù)量

grid_agg=data.groupby(['LONCOL','LATCOL'])['VehicleNum'].count().reset_index()

#生成柵格的幾何圖形
grid_agg['geometry']=tbd.grid_to_polygon([grid_agg['LONCOL'],grid_agg['LATCOL']],params)

#轉(zhuǎn)換為GeoDataFrame
grid_agg=gpd.GeoDataFrame(grid_agg)

#繪制柵格
grid_agg.plot(column='VehicleNum',cmap='autumn_r')

結(jié)果如圖5所示：

▲圖5 數(shù)據(jù)柵格化的結(jié)果

對(duì)于一個(gè)正式的數(shù)據(jù)可視化圖來(lái)說(shuō)，我們還需要添加底圖、色條、指北針和比例尺。TransBigData也提供了相應(yīng)的功能，代碼如下：

importmatplotlib.pyplotasplt
fig=plt.figure(1,(8,8),dpi=300)
ax=plt.subplot(111)
plt.sca(ax)

#添加行政區(qū)劃邊界作為底圖
sz.plot(ax=ax,edgecolor=(0,0,0,0),facecolor=(0,0,0,0.1),linewidths=0.5)

#定義色條位置
cax=plt.axes([0.04,0.33,0.02,0.3])
plt.title('Datacount')
plt.sca(ax)

#繪制數(shù)據(jù)
grid_agg.plot(column='VehicleNum',cmap='autumn_r',ax=ax,cax=cax,legend=True)

#添加指北針和比例尺
tbd.plotscale(ax,bounds=bounds,textsize=10,compasssize=1,accuracy=2000,rect=[0.06,0.03],zorder=10)
plt.axis('off')
plt.xlim(bounds[0],bounds[2])
plt.ylim(bounds[1],bounds[3])
plt.show()

結(jié)果如圖6所示：

▲圖6 tbd包繪制的出租車GPS數(shù)據(jù)分布

4、訂單起訖點(diǎn)OD提取與聚合集計(jì)

針對(duì)出租車GPS數(shù)據(jù)，TransBigData提供了直接從數(shù)據(jù)中提取出出租車訂單起訖點(diǎn)（OD）信息的方法，代碼如下：

#從GPS數(shù)據(jù)提取OD

oddat=tbd.taxigps_to_od(data,col=['VehicleNum','time','Lng','Lat','OpenStatus'])
oddata

結(jié)果如圖7所示：

▲圖7 tbd包提取的出租車OD

TransBigData包提供的柵格化方法可以讓我們快速地進(jìn)行柵格化定義，只需要修改accuracy參數(shù)，即可快速定義不同大小粒度的柵格。我們重新定義一個(gè)2km*2km的柵格坐標(biāo)系，將其參數(shù)傳入tbd.odagg_grid方法對(duì)OD進(jìn)行柵格化聚合集計(jì)并生成GeoDataFrame：

#重新定義柵格，獲取柵格化參數(shù)
params=tbd.area_to_params(bounds,accuracy=2000)

#柵格化OD并集計(jì)
od_gdf=tbd.odagg_grid(oddata,params)
od_gdf.plot(column='count')

結(jié)果如圖8所示：

▲圖8 tbd集計(jì)的柵格OD

添加地圖底圖，色條與比例尺指北針：

#創(chuàng)建圖框
importmatplotlib.pyplotasplt
fig=plt.figure(1,(8,8),dpi=300)
ax=plt.subplot(111)
plt.sca(ax)

#添加行政區(qū)劃邊界作為底圖
sz.plot(ax=ax,edgecolor=(0,0,0,1),facecolor=(0,0,0,0),linewidths=0.5)

#繪制colorbar
cax=plt.axes([0.05,0.33,0.02,0.3])
plt.title('Datacount')
plt.sca(ax)

#繪制OD
od_gdf.plot(ax=ax,column='count',cmap='Blues_r',linewidth=0.5,vmax=10,cax=cax,legend=True)

#添加比例尺和指北針
tbd.plotscale(ax,bounds=bounds,textsize=10,compasssize=1,accuracy=2000,rect=[0.06,0.03],zorder=10)
plt.axis('off')
plt.xlim(bounds[0],bounds[2])
plt.ylim(bounds[1],bounds[3])
plt.show()

結(jié)果如圖9所示：

▲ 圖9 TransBigData繪制的柵格OD數(shù)據(jù)

同時(shí)，TransBigData包也提供了將OD直接聚合集計(jì)到區(qū)域間的方法：

#OD集計(jì)到區(qū)域

#方法1：在不傳入柵格化參數(shù)時(shí)，直接用經(jīng)緯度匹配
od_gdf=tbd.odagg_shape(oddata,sz,round_accuracy=6)

#方法2：傳入柵格化參數(shù)時(shí)，程序會(huì)先柵格化后匹配以加快運(yùn)算速度，數(shù)據(jù)量大時(shí)建議使用
od_gdf=tbd.odagg_shape(oddata,sz,params=params)
od_gdf.plot(column='count')

結(jié)果如圖10所示：

▲圖10 tbd集計(jì)的小區(qū)OD

加載地圖底圖并調(diào)整出圖參數(shù)：

#創(chuàng)建圖框
importmatplotlib.pyplotasplt
importplot_map
fig=plt.figure(1,(8,8),dpi=300)
ax=plt.subplot(111)
plt.sca(ax)

#添加行政區(qū)劃邊界作為底圖
sz.plot(ax=ax,edgecolor=(0,0,0,0),facecolor=(0,0,0,0.2),linewidths=0.5)

#繪制colorbar
cax=plt.axes([0.05,0.33,0.02,0.3])
plt.title('count')
plt.sca(ax)

#繪制OD
od_gdf.plot(ax=ax,vmax=100,column='count',cax=cax,cmap='autumn_r',linewidth=1,legend=True)

#添加比例尺和指北針
tbd.plotscale(ax,bounds=bounds,textsize=10,compasssize=1,accuracy=2000,rect=[0.06,0.03],zorder=10)
plt.axis('off')
plt.xlim(bounds[0],bounds[2])
plt.ylim(bounds[1],bounds[3])
plt.show()

結(jié)果如圖11所示：

▲ 圖11區(qū)域間OD可視化結(jié)果

5、交互可視化

在TransBigData中，我們可以對(duì)出租車數(shù)據(jù)使用簡(jiǎn)單的代碼在jupyter notebook中快速進(jìn)行交互可視化。這些可視化方法底層依托了keplergl包，可視化的結(jié)果不再是靜態(tài)的圖片，而是能夠與鼠標(biāo)響應(yīng)交互的地圖應(yīng)用。

tbd.visualization_data方法可以實(shí)現(xiàn)數(shù)據(jù)分布的可視化，將數(shù)據(jù)傳入該方法后，TransBigData會(huì)首先對(duì)數(shù)據(jù)點(diǎn)進(jìn)行柵格集計(jì)，然后生成數(shù)據(jù)的柵格，并將數(shù)據(jù)量映射至顏色上。代碼如下：

#可視化數(shù)據(jù)點(diǎn)分布
tbd.visualization_data(data,col=['lon','lat'],accuracy=1000,height=500)

結(jié)果如圖12所示：

▲ 圖12數(shù)據(jù)分布的柵格可視化

對(duì)于出租車數(shù)據(jù)中所提取出的出行OD，也可使用tbd.visualization_od方法實(shí)現(xiàn)OD的弧線可視化。該方法也會(huì)對(duì)OD數(shù)據(jù)進(jìn)行柵格聚合集計(jì)，生成OD弧線，并將不同大小的OD出行量映射至不同顏色。代碼如下：

#可視化數(shù)據(jù)點(diǎn)分布
tbd.visualization_od(oddata,accuracy=2000,height=500)

結(jié)果如圖13所示：

▲ 圖13 OD分布的弧線可視化

對(duì)個(gè)體級(jí)的連續(xù)追蹤數(shù)據(jù)，tbd.visualization_trip方法可以將數(shù)據(jù)點(diǎn)處理為帶有時(shí)間戳的軌跡信息并動(dòng)態(tài)地展示，代碼如下：

#動(dòng)態(tài)可視化軌跡

tbd.visualization_trip(data,col=['lon','lat','VehicleNum','time'],height=500)

結(jié)果圖14所示。點(diǎn)擊其中的播放鍵，可以看到出租車運(yùn)行的動(dòng)態(tài)軌跡效果。

▲ 圖14出租車軌跡動(dòng)態(tài)可視化