Pandas profiling數(shù)據(jù)庫的功能及解決方案

Pandas 庫功能非常強(qiáng)大，特別有助于數(shù)據(jù)分析與處理，并為幾乎所有操作提供了完整的解決方案。一種常見的Pandas函數(shù)是pandas describe。它向用戶提供數(shù)據(jù)集所有特征的描述性統(tǒng)計(jì)摘要，盡管其比較常用，但它仍然沒有提供足夠詳細(xì)的功能。

Pandas profiling可以彌補(bǔ)pandas describe沒有詳細(xì)數(shù)據(jù)報(bào)告生成的不足。它為數(shù)據(jù)集提供報(bào)告生成，并為生成的報(bào)告提供許多功能和自定義。在本文中，我們將探索這個(gè)庫，查看提供的所有功能，以及一些高級(jí)用例和集成，這些用例和集成可以對(duì)從數(shù)據(jù)框創(chuàng)建令人驚嘆的報(bào)告!

安裝

與其他所有 python 包一樣，可以通過 pip 包管理器輕松安裝 Pandas 分析：

pipinstallpandas-profiling

它也可以通過 Conda 包管理器安裝：

condaenvcreate-npandas-profiling
condaactivatepandas-profiling
condainstall-cconda-forgepandas-profiling

數(shù)據(jù)集和設(shè)置

看下如何啟動(dòng)pandas_profiling庫并從數(shù)據(jù)框中生成報(bào)告了。首先導(dǎo)入一個(gè)將為其生成報(bào)告的數(shù)據(jù)集。該數(shù)據(jù)集包含State_name、District_name、Crop_year、Season、Crop、Area 和 Production的農(nóng)業(yè)數(shù)據(jù)集。

數(shù)據(jù)集獲取：
https://www.kaggle.com/divyosmi2009/crop-production-in-india-statevise?select=crop_production.csv

importpandasaspd
df=pd.read_csv("crop_production.csv")

在討論pandas_profiling之前，先看看數(shù)據(jù)幀的Pandas describe函數(shù)輸出：

df.describe(include='all')

注意我使用了describe函數(shù)的include參數(shù)設(shè)置為"all"，強(qiáng)制 pandas 包含要包含在摘要中的數(shù)據(jù)集的所有數(shù)據(jù)類型。字符串類型值伴隨有諸如unique、top 和 freq等選項(xiàng)。

導(dǎo)入 pandas_profiling

frompandas_profilingimportProfileReport

分析DataFrame有兩種方法：

1. 可以在 Pandas DataFrame上調(diào)用'.profile_report()'函數(shù)。此函數(shù)不是 Pandas API 的一部分，但只要導(dǎo)入profiling庫，它就會(huì)將此函數(shù)添加到DataFrame對(duì)象中。
2. 可以將DataFrame對(duì)象傳遞給profiling函數(shù)，然后調(diào)用創(chuàng)建的函數(shù)對(duì)象以開始生成分析文件。

無論采用哪種方式，都將獲得相同的輸出報(bào)告。我正在使用第二種方法為導(dǎo)入的農(nóng)業(yè)數(shù)據(jù)集生成報(bào)告。

profile=ProfileReport(df)
profile

報(bào)告部分

現(xiàn)在我們一起一一探索生產(chǎn)報(bào)告的所有部分。

1. 概述 Overview

此部分包含 3 個(gè)選項(xiàng)卡：Overview, Warnings, 和 Reproduction。

該Overview包括總體統(tǒng)計(jì)的。這包括變量數(shù)（數(shù)據(jù)框的特征或列）、觀察數(shù)（數(shù)據(jù)框的行）、缺失單元格、缺失單元格百分比、重復(fù)行、重復(fù)行百分比和內(nèi)存中的總大小。

該Warnings選項(xiàng)卡由任何類型的相關(guān)基數(shù)，相關(guān)性與其他變量，缺失值零，偏態(tài)變量，以及其他Warnings。

該reproduction標(biāo)簽只顯示相關(guān)的報(bào)告生成的信息。它顯示分析的開始和結(jié)束時(shí)間、生成報(bào)告所用的時(shí)間、pandas_profiling 的版本以及配置下載選項(xiàng)。

我們將在本文的高級(jí)用例部分討論配置文件。

2. 變量

報(bào)告的這一部分詳細(xì)分析了數(shù)據(jù)集的所有變量/列/特征。顯示的信息因變量的數(shù)據(jù)類型而異。

數(shù)值變量

對(duì)于數(shù)值數(shù)據(jù)類型特征，可以獲得有關(guān)不同值、缺失值、最小值-最大值、平均值和負(fù)值計(jì)數(shù)的信息。還可以獲得直方圖形式的小表示值。

切換按鈕來展開的Statistics, Histogram, Common values, Extreme values選項(xiàng)卡。

統(tǒng)計(jì)選項(xiàng)卡包括：

1. 分位數(shù)統(tǒng)計(jì)：Min-Max、百分位數(shù)、中位數(shù)、范圍和 IQR（四分位間距）。
2. 描述性統(tǒng)計(jì)：標(biāo)準(zhǔn)偏差、方差系數(shù)、峰度、均值、偏度、方差和單調(diào)性。

直方圖選項(xiàng)卡顯示變量的頻率或數(shù)值數(shù)據(jù)的分布。通用值選項(xiàng)卡基本上是變量的value_counts，同時(shí)顯示為計(jì)數(shù)和百分比頻率。

字符串變量

對(duì)于字符串類型變量，您將獲得不同（唯一）值、不同百分比、缺失、缺失百分比、內(nèi)存大小以及所有具有計(jì)數(shù)表示的唯一值的水平條表示。

它還會(huì)報(bào)告與變量相關(guān)的任何警告，而不管其數(shù)據(jù)類型如何

切換按鈕擴(kuò)展到Overview, Categories, Words, and Characters選項(xiàng)卡。

字符串類型值的概覽選項(xiàng)卡顯示最大-最小中值平均長度、總字符、不同字符、不同類別、唯一和來自數(shù)據(jù)集的樣本。

類別選項(xiàng)卡顯示直方圖，有時(shí)顯示特征值計(jì)數(shù)的餅圖。該表包含值、計(jì)數(shù)和百分比頻率。

在以表格和直方圖格式呈現(xiàn)數(shù)據(jù)的方式方面，單詞和字符選項(xiàng)卡與類別選項(xiàng)卡的作用相同，但它可以更深入地處理小寫、大寫、標(biāo)點(diǎn)符號(hào)，特殊字符類別也很重要！

3. 相關(guān)性

相關(guān)性用于描述兩個(gè)變量相互協(xié)調(diào)移動(dòng)的程度。在熊貓分析報(bào)告中，可以訪問 5 種類型的相關(guān)系數(shù)：Pearson's r、Spearman's ρ、Kendall's τ、Phik (φk) 和 Cramér's V (φc)。

還可以單擊切換按鈕以獲取有關(guān)各種相關(guān)系數(shù)的詳細(xì)信息。

4. 缺失值

生成的報(bào)告還包含數(shù)據(jù)集中缺失值的可視化。您將獲得 3 種類型的圖：計(jì)數(shù)、矩陣和樹狀圖。計(jì)數(shù)圖是一個(gè)基本的條形圖，以 x 軸作為列名，條形的長度代表存在的值的數(shù)量（沒有空值）。類似的還有矩陣和樹狀圖。

5. 樣本

此部分顯示數(shù)據(jù)集的前 10 行和最后 10 行。

如何保存報(bào)告？

到目前為止，我們已經(jīng)了解了如何僅使用一行代碼或函數(shù)生成DataFrame報(bào)告，以及報(bào)告包含的所有功能。我們可能有興趣將此分析導(dǎo)出到外部文件，以便可以將其與其他應(yīng)用程序集成或?qū)⑵浒l(fā)布到 Web 上。

可以將此報(bào)告保存在

1. HTML格式
2. JSON 格式

任何格式的保存功能都保持不變，只需在保存時(shí)更改文件擴(kuò)展名。要保存報(bào)告，請(qǐng)?jiān)谂渲梦募?duì)象上調(diào)用 **.to_file()**函數(shù)：

profile.to_file("Analysis.html")
profile.to_file("Analysis.json")

高級(jí)用法

Pandas profiling生成的報(bào)告是一個(gè)完整的分析，除了 DataFrame 對(duì)象之外，沒有用戶的任何輸入。報(bào)告的所有元素都是自動(dòng)選擇的，默認(rèn)值是首選。

報(bào)告中可能有一些您不想包含的元素，或者您需要為最終報(bào)告添加自己的元數(shù)據(jù)。這個(gè)庫的高級(jí)用法來了。您可以通過更改默認(rèn)配置來控制報(bào)告的各個(gè)方面。

我們可以自定義報(bào)告的一些方法。

添加元數(shù)據(jù)

您可以添加“title”, “description”, “creator”, “author”, “URL”, “copyright_year”, and “copyright_holder”等信息。此信息將出現(xiàn)在數(shù)據(jù)集概述部分。對(duì)于此元數(shù)據(jù)，將創(chuàng)建一個(gè)名為“dataset”的新選項(xiàng)卡。要將此數(shù)據(jù)添加到報(bào)告中，請(qǐng)?jiān)?ProfileReport 函數(shù)中使用 dataset 參數(shù)并將此數(shù)據(jù)作為字典傳遞：

profile=ProfileReport(df,
title="AgricultureData",
dataset={
"description":"Thisprofilingreportwasgeneratedfor數(shù)據(jù)STUDIO",
"copyright_holder":"數(shù)據(jù)STUDIO",
"copyright_year":"2021",
"url":"https://t.1yb.co/HqGX",
},)
profile

我們還可以使用 variables 參數(shù)添加有關(guān)數(shù)據(jù)集中使用的變量的信息。這將具有描述的字典作為鍵和值作為另一個(gè)具有鍵值對(duì)的字典，其中鍵是變量名稱，值作為變量的描述。

variables={
"descriptions":{
"State_Name":"州名",
"District_Name":"區(qū)名",
"Crop_Year":"播種的年份",
"Season":"作物年",
"Crop":"播種的是哪種作物？",
"Area":"作物分配了多少面積？",
"Production":"產(chǎn)量多少",
}
}

當(dāng)您將其添加到ProfileReport函數(shù)時(shí)，將在概覽部分下創(chuàng)建一個(gè)名為“variables”的單獨(dú)選項(xiàng)卡：

報(bào)表的控制參數(shù)

假設(shè)你不想顯示所有類型的相關(guān)系數(shù)。你可以通過使用相關(guān)性配置來簡(jiǎn)單地禁用其他系數(shù)。這也是一個(gè)字典對(duì)象，可以傳遞給ProfileReport函數(shù)：

profile=ProfileReport(df,
title="AgricultureData",
correlations={
"pearson":{"calculate":True},
"spearman":{"calculate":False},
"kendall":{"calculate":False},
"phi_k":{"calculate":False},
})

同樣，您可以自定義報(bào)告的每個(gè)部分、HTML 格式、圖表等等。

集成

在通過配置報(bào)告的各個(gè)方面使您的報(bào)告令人驚嘆后，你可能希望以任何方式發(fā)布它?；蛟S，你可以將其導(dǎo)出為 HTML 格式并上傳到網(wǎng)絡(luò)。但是還有一些其他方法可以使你的報(bào)告脫穎而出。

Jupyter 筆記本中的小部件

在你的 Jupyter 筆記本中運(yùn)行panda profiling時(shí)，你將僅在代碼單元格中呈現(xiàn) HTML。這干擾了用戶的體驗(yàn)。你可以讓它像一個(gè)小部件一樣易于訪問并提供緊湊的視圖。為此，只需在你的配置文件對(duì)象上調(diào)用**.to_widgets()**：

Streamlit app

我們也可以將此報(bào)告作為Streamlit app的一部分。Streamlit 是一個(gè)功能強(qiáng)大的軟件包，可以用最少的代碼構(gòu)建GUI Web app。這些應(yīng)用程序是交互式的，幾乎與所有設(shè)備兼容。您可以按照以下代碼將你的報(bào)告作為streamlit app的一部分：

第 1 步：安裝 streamlit_pandas_profiling

pipinstallstreamlit-pandas-profiling

第 2 步：創(chuàng)建一個(gè) Python 文件并以此格式編寫代碼

importpandasaspd
importpandas_profiling
importstreamlitasst
fromstreamlit_pandas_profilingimportst_profile_report
frompandas_profilingimportProfileReport

df=pd.read_csv("cropsdata.csv",na_values=['='])

profile=ProfileReport(df,
title="AgricultureData",
dataset={
"description":"Thisprofilingreportwasgeneratedfor數(shù)據(jù)STUDIO",
"copyright_holder":"數(shù)據(jù)STUDIO",
"copyright_year":"2021",
"url":"https://t.1yb.co/HqGX",
},
variables={
"descriptions":{
"State_Name":"州名",
"District_Name":"區(qū)名",
"Crop_Year":"播種的年份",
"Season":"作物年",
"Crop":"播種的是哪種作物？",
"Area":"作物分配了多少面積？",
"Production":"產(chǎn)量多少",
}}
)

st.title("PandasProfilinginStreamlit!")
st.write(df)
st_profile_report(profile)

第 3 步：運(yùn)行 Streamlit 應(yīng)用程序

在終端中，輸入：

streamlitrun.py

寫在最后

在本文中，我們一起了解了一個(gè)新工具“Pandas Profiling”——從 Pandas DataFrame 生成報(bào)告的一站式解決方案。我們探索了此工具的所有功能、不同部分及其內(nèi)容。然后我們繼續(xù)保存生成的報(bào)告，稍后，我們查看了該庫的一些高級(jí)用例，最后集成了Streamlit應(yīng)用程序，使報(bào)告更具前景和互動(dòng)性。

參考審核編輯：郭婷