AQI分析與預測-1

一.項目背景

AQI（air Quality Index）指空氣質(zhì)量指數(shù)，用來衡量空氣清潔或者污染程度。值
越小，表示空氣質(zhì)量越好。近年來因為環(huán)境問題，空氣質(zhì)量越來越受到人們重視。

二.實現(xiàn)過程

1.數(shù)據(jù)加載
  1）讀取數(shù)據(jù)
  2）查看數(shù)據(jù)

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings


sns.set(style="darkgrid", font_scale=1.2)
plt.rcParams["font.family"] = "SimHei"
plt.rcParams["axes.unicode_minus"] = False
warnings.filterwarnings("ignore")


#讀取文件
data = pd.read_csv("data.csv")
#輸出數(shù)據(jù)形狀
print(data.shape)
#查看數(shù)據(jù)
data.head()

2.數(shù)據(jù)清洗
  1）缺失值處理
  2）異常值處理
  3）重復值處理

1）缺失值處理
   》》查看缺失值
   》》缺失值填充

#計算缺失值比例
t = data.isnull().sum()
#鏈接數(shù)據(jù)
t = pd.concat([t, t / len(data)], axis=1)
#設置列名稱
t.columns = ["缺失值數(shù)量", "缺失值比例"]
#顯示表格
display(t)

#計算降雨量偏度，偏度較小
print(data["Precipitation"].skew())
#繪制圖形
sns.distplot(data["Precipitation"].dropna())

#用中位數(shù)填充缺失值
data.fillna({"Precipitation": data["Precipitation"].median()}, inplace=True)
#計算缺失值
data.isnull().sum()

2）異常值處理
   》》查看異常值
   》》異常值處理

#查看數(shù)據(jù)分布情況
data.describe()

#繪制圖形
sns.distplot(data["GDP"])
#輸出GDP峰值，偏度較大
print(data["GDP"].skew())

#計算均值和標準差
mean, std = data["GDP"].mean(), data["GDP"].std()
#計算下限與上限
lower, upper = mean - 3 * std, mean + 3 * std
#均值
print("均值：", mean)
#標準差
print("標準差：", std)
#下限
print("下限：", lower)
#上限
print("上限：", upper)
#獲取在3倍標準差之外的數(shù)據(jù)。
data["GDP"][(data["GDP"] < lower) | (data["GDP"] > upper)]

#繪制箱線圖
sns.boxplot(data=data["GDP"])

#初始畫布
fig, ax = plt.subplots(1, 2)
#設置畫布大小
fig.set_size_inches(15, 5)
#繪制直方圖
sns.distplot(data["GDP"], ax=ax[0])
#繪制對數(shù)直方圖
sns.distplot(np.log(data["GDP"]), ax=ax[1])

3）重復值處理
   》》查看重復值
   》》刪除重復值

#發(fā)現(xiàn)重復值。
print(data.duplicated().sum())
#查看哪些記錄出現(xiàn)了重復值。
data[data.duplicated(keep=False)]

#刪除重復值
data.drop_duplicates(inplace=True)
#統(tǒng)計重復值
data.duplicated().sum()

3.數(shù)據(jù)分析
  1）空氣質(zhì)量最好/最差的5個城市
  2）臨海城市是否空氣質(zhì)量優(yōu)于內(nèi)陸城市
  3）空氣質(zhì)量受那些因素影響
  4）關于空氣質(zhì)量驗證

1）空氣質(zhì)量最好/最差的5個城市
   》》篩選數(shù)據(jù)
   》》按照AQI排序
   》》繪圖觀察

#空氣質(zhì)量最好的5個城市


#篩選數(shù)據(jù)，按照AQI升序排列，
t = data[["City", "AQI"]].sort_values("AQI")
#篩選數(shù)據(jù)
t = t.iloc[:5]
#顯示數(shù)據(jù)
display(t)
#旋轉(zhuǎn)x軸標簽
plt.xticks(rotation=30)
#繪制柱狀圖
sns.barplot(x="City", 
            y="AQI", 
            data=t)

我們發(fā)現(xiàn)空氣質(zhì)量最好的5個城市：
  1.韶關市
  2.南平市
  3.梅州市
  4.基隆市
  5.三明市

#空氣質(zhì)量最差的5個城市


#篩選數(shù)據(jù)，按照AQI降序排列
t = data[["City", "AQI"]].sort_values("AQI", ascending=False)
#篩選前5條數(shù)據(jù)
t = t.iloc[:5]
#顯示數(shù)據(jù)
display(t)
#旋轉(zhuǎn)x軸標簽
plt.xticks(rotation=45)
sns.barplot(x="City",
            y="AQI", 
            data=t)

我們發(fā)現(xiàn)空氣質(zhì)量最差的5個城市：
  1.北京市
  2.朝陽市
  3.保定市
  4.錦州市
  5.焦作市

對于AQI，對空氣質(zhì)量進行等級劃分，劃分表轉(zhuǎn)如下

# 編寫函數(shù)，將AQI轉(zhuǎn)換為對應的等級。
def value_to_level(AQI):
    if AQI >= 0 and AQI <= 50:
        return "一級"
    elif AQI >= 51 and AQI <= 100:
        return "二級"
    elif AQI >= 101 and AQI <= 150:
        return "三級"
    elif AQI >= 151 and AQI <= 200:
        return "四級"
    elif AQI >= 201 and AQI <= 300:
        return "五級"
    else:
        return "六級"
#轉(zhuǎn)換等級
level = data["AQI"].apply(value_to_level)
#輸出統(tǒng)計
print(level.value_counts())
#繪制條形圖觀察數(shù)值
sns.countplot(x=level,
              order=["一級", "二級", "三級", "四級", "五級", "六級"])

2）臨海城市是否空氣質(zhì)量優(yōu)于內(nèi)陸城市
   》》數(shù)量統(tǒng)計
   》》分布統(tǒng)計
   》》統(tǒng)計分析

繪制全國城市空氣質(zhì)量指數(shù)分布圖


#繪制散點圖
sns.scatterplot(x="Longitude",
                y="Latitude", 
                hue="AQI",
                palette=plt.cm.RdYlGn_r, 
                data=data)

1）數(shù)量統(tǒng)計
我們統(tǒng)計下臨海城市與內(nèi)陸城市數(shù)量


#輸出統(tǒng)計值
print(data["Coastal"].value_counts())
#繪制直方圖
sns.countplot(x="Coastal", 
              data=data)

2）分布統(tǒng)計
我們觀察下臨海城市與內(nèi)陸城市散點分布


sns.stripplot(x="Coastal",
              y="AQI",
              data=data) 


結論:沿海城市空氣質(zhì)量普遍好于內(nèi)陸城市

3）對以上結論進行統(tǒng)計分析
   》》參數(shù)檢驗
   》》非參數(shù)檢驗

參數(shù)檢驗
  》》正態(tài)分布檢驗
  》》方差齊性檢驗
  》》兩獨立樣本t檢驗

from scipy import stats


#分別獲取臨海與內(nèi)陸城市兩個樣本的AQI值。
coastal = data[data["Coastal"] == "是"]["AQI"]
inland = data[data["Coastal"] == "否"]["AQI"]
#初始畫布與坐標系
fig, ax = plt.subplots(1, 2)
#設置畫布大小
fig.set_size_inches(15, 5)
#繪制兩個樣本的分布。
sns.distplot(coastal, ax=ax[0])
sns.distplot(inland, ax=ax[1])

1.正態(tài)分布檢驗
  》》繪制數(shù)據(jù)分布圖
  》》繪制PP圖和QQ圖
  》》使用假設檢驗

PP圖與QQ圖
PP圖（Probability-Probability plot）與QQ圖（Quantile-Quantile plot）本質(zhì)上基本是相同的。用于檢驗樣本數(shù)據(jù)的分布是否符合某個分布（默認為正態(tài)分布）。
PP圖：通過累積概率密度來檢測。
  x軸：根據(jù)傳遞的數(shù)據(jù)數(shù)量（n），計算x軸的繪制位置（x坐標），值為（1/n+1, 2/n+1, …… n/n+1）。
  y軸：將樣本數(shù)據(jù)排序，然后進行標準化（減均值除以標準差），計算樣本數(shù)據(jù)在理論分布下的cdf值（累積概率密度）。


QQ圖：通過分布百分比對應的數(shù)值來檢測。
  x軸：根據(jù)傳遞的數(shù)據(jù)數(shù)量（n），計算值（1/n+1, 2/n+1, …… n/n+1）的值。然后對每個值，計算在理論分布下的ppf值（cdf的逆運算，即根據(jù)累積概率密度求解對應
的位置）。
  y軸：將數(shù)值排序，將每個數(shù)值標準化。

import statsmodels.api as sm


def plot_pp_qq(d):
    """
    繪制PP圖與QQ圖的函數(shù)。
    Parameters
    ----------
    d : array-like
    要繪制的數(shù)值。
    """
    #初始化坐標系與畫布
    fig, ax = plt.subplots(1, 2)
    #設置尺寸大小
    fig.set_size_inches(15, 5)
    #標準化
    scale_data = (d - d.mean()) / d.std()
    #創(chuàng)建ProbPlot對象，用于繪制pp圖與qq圖
    #data：樣本數(shù)據(jù)。
    #dist：分布，默認為正態(tài)分布。數(shù)據(jù)data會與該分布進行對比
    p= sm.ProbPlot(data=scale_data, 
                   dist=stats.norm)
    #繪制pp圖
    p.ppplot(line="45",
             ax=ax[0])
    #設置名稱
    ax[0].set_title("PP圖")
    #繪制qq圖
    p.qqplot(line="45",
             ax=ax[1])
    #設置名稱
    ax[1].set_title("QQ圖")
    #顯示圖形
    plt.show()

#繪制沿海城市圖形
plot_pp_qq(coastal)

#繪制內(nèi)陸城市圖形
plot_pp_qq(inland)

進行是否正態(tài)分布檢驗?

#原假設：觀測值來自于正態(tài)分布的總體。
#備則假設：觀測值并非來自正態(tài)分布的總體。
print(stats.normaltest(coastal))
print(stats.normaltest(inland))


結論:很遺憾,兩樣本正態(tài)分布可能性為0

接下來我們處理方法:
  》》將分布轉(zhuǎn)換為正態(tài)分布
  》》使用非參數(shù)檢驗
  》》樣本容量較大時,可以近似使用z檢驗

#將數(shù)據(jù)轉(zhuǎn)換為正態(tài)分布
bc_coastal, _ = stats.boxcox(coastal)
bc_inland, _ = stats.boxcox(inland)

#初始畫布與坐標系
fig, ax = plt.subplots(1, 2)
#設置畫布大小
fig.set_size_inches(15, 5)
#繪制兩個樣本的分布。
sns.distplot(bc_coastal, ax=ax[0])
sns.distplot(bc_inland, ax=ax[1])

#繪制轉(zhuǎn)換后的pp圖與qq圖
plot_pp_qq(bc_coastal)

#繪制轉(zhuǎn)換后的pp圖與qq圖
plot_pp_qq(bc_inland)

#再次進行正態(tài)性檢驗
print(stats.normaltest(bc_coastal))
print(stats.normaltest(bc_inland))

# 進行方差齊性（方差是否相等）檢驗。為后續(xù)的兩樣本t檢驗服務。
# 原假設：多個樣本的方差相等。
# 備則假設：多個樣本的方差不等。
stats.levene(bc_coastal, bc_inland)


結論:方差不等。

# 進行兩樣本t檢驗。
# equal_var：方差是否齊性（相等）。
# 原假設：兩獨立樣本均值相等。
# 備則假設：兩獨立樣本均值不等。
r = stats.ttest_ind(bc_coastal, bc_inland, equal_var=False)
print(r)


結論:兩獨立樣本均值不等,說明沿海城市空氣質(zhì)量普遍好于內(nèi)陸城市。

#非參數(shù)檢驗


# 曼-惠特尼檢驗。應該僅在每個樣本容量 > 20時使用。
# 原假設：兩個樣本服從相同的分布。
# 備則假設：兩個樣本服從不同的分布。
print(stats.mannwhitneyu(coastal, inland))
# 威爾科克森秩和檢驗。
# 原假設：兩個樣本服從相同的分布。
# 備則假設：兩個樣本服從不同的分布。
print(stats.ranksums(coastal, inland))


結論:兩個樣本服從不同的分布。

近似使用z檢驗:當樣本量足夠大時,即使總體不服從正態(tài)分布,也可以使用z檢驗進行檢驗.


#方差齊性檢驗
stats.levene(coastal, inland)
結論:方差相同

#進行t檢驗
r = stats.ttest_ind(coastal, inland, equal_var=True)
#輸出結果
print(r)


結論:兩獨立樣本均值不等,與之前結論一致,更進一步說明沿海城市空氣質(zhì)量普遍好于內(nèi)陸城市。