配用電大數(shù)據(jù)的清洗方法和基于配用電大數(shù)據(jù)的短期負(fù)荷預(yù)測(cè)方法

1.研究背景

隨著配電網(wǎng)信息化建設(shè)的推進(jìn)，配電網(wǎng)在日常運(yùn)行中產(chǎn)生了大量的配用電數(shù)據(jù)，但一直以來(lái)這些數(shù)據(jù)并未得到充分的挖掘和有效的利用。如今電改政策試點(diǎn)、售電側(cè)放開(kāi)對(duì)電力客戶服務(wù)提出了更高的要求，電力行業(yè)市場(chǎng)化進(jìn)程的深入也對(duì)電力負(fù)荷預(yù)測(cè)提出了更高的要求。目前，國(guó)內(nèi)外專家和學(xué)者已經(jīng)在大數(shù)據(jù)負(fù)荷預(yù)測(cè)領(lǐng)域展開(kāi)了研究工作，也取得了一些成果。

江蘇居住區(qū)配電一體化系統(tǒng)的全面建成、用電信息采集系統(tǒng)(下稱“用采系統(tǒng)”)的全面覆蓋，積累了自2009年以來(lái)全省47萬(wàn)配變、26萬(wàn)專變、3700萬(wàn)用戶的負(fù)荷和電量數(shù)據(jù)，營(yíng)銷系統(tǒng)保存著自2009年以來(lái)全省26萬(wàn)大用戶的業(yè)擴(kuò)報(bào)裝、增容、減容數(shù)據(jù)，江蘇省電力公司氣象信息系統(tǒng)積累了自2006年以來(lái)全省13地市71個(gè)氣象站的10min/點(diǎn)溫度、濕度、雨量、風(fēng)速等氣象數(shù)據(jù)，上述數(shù)據(jù)總量已累計(jì)達(dá)到180TB，且仍然在以每日30GB的速度快速增長(zhǎng)。如何充分利用這些數(shù)據(jù)資源，挖掘負(fù)荷、電量、業(yè)擴(kuò)、氣象、經(jīng)濟(jì)等因素的關(guān)系，建立更加精準(zhǔn)的負(fù)荷和電量影響模型，提高短期負(fù)荷預(yù)測(cè)的精確度，是本文的重點(diǎn)研究?jī)?nèi)容。

本文分析了大數(shù)據(jù)負(fù)荷預(yù)測(cè)方法的優(yōu)勢(shì)，介紹了配用電大數(shù)據(jù)的清洗方法，構(gòu)建了多維負(fù)荷和電量模型，實(shí)現(xiàn)了基于配用電大數(shù)據(jù)的短期負(fù)荷預(yù)測(cè)方法，并且結(jié)合實(shí)際計(jì)算結(jié)果，驗(yàn)證了方法的準(zhǔn)確性。

2.大數(shù)據(jù)負(fù)荷預(yù)測(cè)方法的優(yōu)勢(shì)

傳統(tǒng)負(fù)荷預(yù)測(cè)方法大致可以分為統(tǒng)計(jì)算法和智能算法，統(tǒng)計(jì)算法包括時(shí)間序列模型、決策樹(shù)、回歸算法、隨機(jī)森林等，智能算法包括人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、貝葉斯理論等基本算法及其改進(jìn)算法，但上述方法由于建模時(shí)選取的樣本較小，歷史數(shù)據(jù)的選取直接影響負(fù)荷預(yù)測(cè)的效果。大數(shù)據(jù)負(fù)荷預(yù)測(cè)方法存在以下3點(diǎn)優(yōu)勢(shì):

(1)考慮的影響因素更全。影響負(fù)荷走勢(shì)的因素眾多，主要包括兩大類型：用戶用電行為中體現(xiàn)的隨機(jī)性，以及外部氣象因素和節(jié)假日的影響。

(2)數(shù)據(jù)的時(shí)間跨度更長(zhǎng)。大數(shù)據(jù)負(fù)荷預(yù)測(cè)方法選取了時(shí)間跨度更長(zhǎng)的歷史數(shù)據(jù)，用于發(fā)現(xiàn)負(fù)荷數(shù)據(jù)隨月、季、年周期發(fā)生的變化規(guī)律。

(3)數(shù)據(jù)的空間粒度更細(xì)。大數(shù)據(jù)負(fù)荷預(yù)測(cè)方法所采用的負(fù)荷數(shù)據(jù)粒度可以細(xì)化到地區(qū)、行業(yè)、變壓器、線路、臺(tái)區(qū)、用戶等各個(gè)級(jí)別。

3.數(shù)據(jù)源建設(shè)

江蘇電力大數(shù)據(jù)平臺(tái)以營(yíng)配集成、用電信息采集、省地縣一體化電量系統(tǒng)為基礎(chǔ)，結(jié)合外部氣象和經(jīng)濟(jì)數(shù)據(jù)，建成了江蘇配用電大數(shù)據(jù)中心，為江蘇配用電大數(shù)據(jù)分析工作提供了豐富的數(shù)據(jù)資源。

3.1配用電大數(shù)據(jù)的來(lái)源與分類

配用電大數(shù)據(jù)中心的數(shù)據(jù)體系架構(gòu)如圖1所示。數(shù)據(jù)主要來(lái)源于營(yíng)配集成、用電信息采集系統(tǒng)、調(diào)度省地縣一體化電量系統(tǒng)，以及外部的氣象數(shù)據(jù)和宏觀經(jīng)濟(jì)數(shù)據(jù)。

圖1 配用電大數(shù)據(jù)中心的數(shù)據(jù)體系架構(gòu)

3.2配用電大數(shù)據(jù)的預(yù)處理

從大數(shù)據(jù)平臺(tái)目前集成的所有數(shù)據(jù)類型來(lái)看，“臟數(shù)據(jù)”主要有3種大類型，11個(gè)小類，如表1所示。

表1 “臟數(shù)據(jù)”類型

3.2.1數(shù)據(jù)缺失/異常的清洗方法

數(shù)據(jù)缺失/異常的清洗主要采用了替代法和插值法。

(1)插值法。負(fù)荷數(shù)據(jù)缺點(diǎn)(異常)較少時(shí)，可以基于當(dāng)日負(fù)荷曲線，采用插值法(如拉格朗日插值、三次樣條插值等）實(shí)現(xiàn)負(fù)荷曲線的補(bǔ)全。

(2)替代法。負(fù)荷數(shù)據(jù)缺點(diǎn)(異常)較多，無(wú)法采用插值法時(shí)，可以用相似日(工作日選取上一周工作日，周末選取上一周周末)同一時(shí)段負(fù)荷數(shù)據(jù)替代；電量數(shù)據(jù)缺點(diǎn)(異常)較多時(shí)，可以用相似日(工作日選取上一月工作日，周末選取上一月周末)的電量數(shù)據(jù)替代。

3.2.2數(shù)據(jù)不同步的清洗方法

數(shù)據(jù)不同步的情況下，通常采用平均值法、強(qiáng)制同步法進(jìn)行數(shù)據(jù)清洗。

(1)平均值法。由于極少部分終端采集頻率為48點(diǎn)/日，因此需要將48點(diǎn)負(fù)荷數(shù)據(jù)擴(kuò)展為96點(diǎn)負(fù)荷數(shù)據(jù)，可以采用平均值法進(jìn)行數(shù)據(jù)擴(kuò)展。

(2)強(qiáng)制同步法。溫度數(shù)據(jù)為10min/點(diǎn)，而負(fù)荷數(shù)據(jù)15min/點(diǎn)，強(qiáng)制將00:10的溫度數(shù)據(jù)與00:15的負(fù)荷數(shù)據(jù)匹配，00:30的溫度數(shù)據(jù)與00:30的負(fù)荷數(shù)據(jù)匹配，00:40的溫度數(shù)據(jù)與00:45的負(fù)荷數(shù)據(jù)集匹配，以此類推。

4.多維用電影響因素模型的構(gòu)建

4.1模型構(gòu)建的總體思路

由于經(jīng)濟(jì)數(shù)據(jù)發(fā)布頻率太低，而且經(jīng)濟(jì)環(huán)境在一段時(shí)間內(nèi)相對(duì)于氣象因素而言比較穩(wěn)定，因此本文只考慮氣象因素和節(jié)假日建立用電影響因素模型。用電影響因素模型的總體構(gòu)建思路如圖2所示。

圖2 用電影響因素模型構(gòu)建思路

模型構(gòu)建思路主要包括以下4個(gè)步驟：

(1)原始數(shù)據(jù)收集和清洗;

(2)相關(guān)因素分析;

(3)數(shù)據(jù)標(biāo)準(zhǔn)化處理;

(4)用電影響模型構(gòu)建。

4.2相關(guān)因素分析

用電量受氣象因素、節(jié)假日、經(jīng)濟(jì)形勢(shì)等眾多因素的影響，由于經(jīng)濟(jì)數(shù)據(jù)發(fā)布頻率太低，而且經(jīng)濟(jì)環(huán)境在一段時(shí)間內(nèi)相對(duì)于氣象因素而言比較穩(wěn)定，因此這里只考慮氣象因素和節(jié)假日與用電量的相關(guān)性。

目前氣象信息考慮溫度、濕度、雨量、云量、氣壓、風(fēng)速六項(xiàng)指標(biāo)，采用式(1)的相關(guān)性計(jì)算方法分別對(duì)各影響因素進(jìn)行分析：

式中：xi為用戶第i天的日用電量數(shù)據(jù)；x為用戶n天的日用電量平均值；yi為第i天的影響因素?cái)?shù)據(jù)(例如溫度、濕度等)；y為n天的影響因素?cái)?shù)據(jù)平均值。

4.3數(shù)據(jù)標(biāo)準(zhǔn)化處理

在構(gòu)建用電影響因素模型之前，需要通過(guò)計(jì)算選取合適的基準(zhǔn)電量(負(fù)荷)，實(shí)現(xiàn)電量(負(fù)荷)數(shù)據(jù)的標(biāo)幺化，便于后期直觀地分析各影響因素對(duì)電量(負(fù)荷)的影響率。數(shù)據(jù)標(biāo)準(zhǔn)化處理主要包括以下幾個(gè)步驟：

(1)按度劃分溫度區(qū)間，將各溫度區(qū)間對(duì)應(yīng)的電量(負(fù)荷)數(shù)據(jù)歸并，得到各溫度區(qū)間內(nèi)的平均電量(負(fù)荷)。

(2)繪制電量(負(fù)荷)-溫度曲線，并采用七點(diǎn)平滑算法平滑曲線。

(3)按點(diǎn)計(jì)算(2)中曲線斜率，選擇曲線中較為平緩的溫度區(qū)間，計(jì)算該溫度區(qū)間內(nèi)的平均電量(負(fù)荷)，作為基準(zhǔn)電量(負(fù)荷)。

(4)采用(3)中的基準(zhǔn)電量(負(fù)荷)，標(biāo)準(zhǔn)化所有電量(負(fù)荷)數(shù)據(jù)。

圖3 南京商業(yè)電量－溫度曲線

圖4 蘇州居民電量－溫度曲線

4.4行業(yè)用電影響模型

由3.1可知，用電影響模型包括電量溫度影響模型、電量業(yè)擴(kuò)影響模型、電量節(jié)假日影響模型、負(fù)荷溫度影響模型和負(fù)荷節(jié)假日影響模型，限于篇幅，這里主要介紹行業(yè)負(fù)荷溫度影響模型和行業(yè)電量節(jié)假日影響模型的構(gòu)建方法。

4.4.1行業(yè)負(fù)荷溫度影響模型

(1)首先根據(jù)3.3的計(jì)算方法得到待計(jì)算行業(yè)的基準(zhǔn)負(fù)荷(基準(zhǔn)負(fù)荷為全年工作日96點(diǎn)負(fù)荷平均值Pi，其中i取值為1~96。

(2)逐日逐點(diǎn)計(jì)算負(fù)荷影響率：

式中：ｄ表示工作日編號(hào)，Ｒ(d,i)為第d個(gè)工作日第i個(gè)點(diǎn)的負(fù)荷影響率。

(3)將溫度劃分為>40、＜-4、－4～40這45個(gè)檔位，將所有工作日的96點(diǎn)負(fù)荷影響率歸類到對(duì)應(yīng)的溫度檔位，形成45×96的溫度—負(fù)荷影響率序列S(d,i,t)，其中下標(biāo)t為溫度標(biāo)簽。

(4)逐一對(duì)S(d,i,t)中的數(shù)據(jù)集合求平均值，得到溫度綜合影響率C(i,t)，若S(d,i,t)中某一格數(shù)據(jù)樣本太少，則溫度范圍上下擴(kuò)展１ ℃ ，重新計(jì)算溫度綜合影響率，若果數(shù)據(jù)樣本依然過(guò)少，則將該點(diǎn)的溫度綜合影響率交給后續(xù)的模型擬合算法完成。

(5)形成負(fù)荷-溫度綜合影響率矩陣C(i,t)后，通過(guò)插值法修補(bǔ)殘缺數(shù)據(jù)點(diǎn)，通過(guò)平滑算法平抑模型中的異常數(shù)據(jù)點(diǎn)，最終得到負(fù)荷溫度影響模型。

(6)由于負(fù)荷數(shù)據(jù)更新較快，且過(guò)于久遠(yuǎn)的歷史數(shù)據(jù)不具備參考價(jià)值，因此負(fù)荷溫度影響模型每月根據(jù)新增數(shù)據(jù)更新。

4.4.2行業(yè)電量節(jié)假日影響模型

以年為計(jì)算周期，計(jì)算每年所有節(jié)假日期間，行業(yè)日電量相對(duì)于節(jié)假日前正常電量的影響率，其計(jì)算流程如下：

(1)根據(jù)實(shí)時(shí)節(jié)假日放假時(shí)間及調(diào)休安排，配置節(jié)假日信息表，為了顯示節(jié)假對(duì)電量的連續(xù)影響趨勢(shì)，應(yīng)在實(shí)際節(jié)假日的基礎(chǔ)上前后多配置1ｄ，對(duì)于春節(jié)這個(gè)特殊節(jié)假日，前后多配置一周。

(2)找節(jié)假日前最近5個(gè)工作日，計(jì)算這5個(gè)工作日的平均用電量，將該電量作為基準(zhǔn)電量。

(3)根據(jù)下式計(jì)算節(jié)假日期間每天的電量影響率：

其中：Rd為節(jié)假日第d天的行業(yè)電量影響率；Ad為節(jié)假日第d天的行業(yè)用電量；Ad~5為節(jié)假日前的5個(gè)工作日的行業(yè)平均用電量。

5.短期負(fù)荷預(yù)測(cè)的實(shí)現(xiàn)與應(yīng)用

由于江蘇全省用戶數(shù)量高達(dá)4000萬(wàn)，若全省網(wǎng)供負(fù)荷預(yù)測(cè)分解過(guò)細(xì)(到用戶)工作量太大，且用戶負(fù)荷隨機(jī)性較強(qiáng)，預(yù)測(cè)精確度反而較低。實(shí)踐表明，將全省網(wǎng)供負(fù)荷分解到行業(yè)級(jí)即可得到令人滿意的精確度，且計(jì)算量也在合理的范圍內(nèi)。圖5為基于配用電大數(shù)據(jù)的短期網(wǎng)供負(fù)荷預(yù)測(cè)方法。

圖5 基于配用電大數(shù)據(jù)的短期網(wǎng)供負(fù)荷預(yù)測(cè)方法示意圖

在傳統(tǒng)方法中，誤差逆向傳播神經(jīng)網(wǎng)絡(luò)(back propagation,BP)算法應(yīng)用廣泛、適應(yīng)性強(qiáng)，以BP算法為傳統(tǒng)方法的代表，與本文提出的大數(shù)據(jù)方法進(jìn)行比較。圖6為BP算法和大數(shù)據(jù)方法的全省網(wǎng)供負(fù)荷預(yù)測(cè)誤差率。

(1)最近相似日選取；

(2)相似日氣象因素剔除；

(3)預(yù)測(cè)日氣象因素加成；

(4)節(jié)假日因素考慮；

(5)構(gòu)建負(fù)荷占比模型；

(6)實(shí)現(xiàn)網(wǎng)供負(fù)荷預(yù)測(cè)。

圖6 短期網(wǎng)供負(fù)荷預(yù)測(cè)結(jié)果

6.結(jié)語(yǔ)

本文基于配用電大數(shù)據(jù)開(kāi)展了大量的研究工作，主要進(jìn)行了：

(1)配用電大數(shù)據(jù)的清洗。基于配用電大數(shù)據(jù)的特點(diǎn)以及實(shí)際業(yè)務(wù)的需要，分析了配用電大數(shù)據(jù)中“臟數(shù)據(jù)”的來(lái)源和類型，針對(duì)性地提出了數(shù)據(jù)清洗方法。

(2)基于配用電大數(shù)據(jù)，構(gòu)建了行業(yè)負(fù)荷溫度影響模型和行業(yè)電量節(jié)假日影響模型，為后期開(kāi)展短期負(fù)荷預(yù)測(cè)打下基礎(chǔ)。

(3)提出了基于大數(shù)據(jù)的短期負(fù)荷預(yù)測(cè)方法?；诙嗑S用電影響因素模型，開(kāi)展了分地區(qū)、行業(yè)的短期網(wǎng)供負(fù)荷預(yù)測(cè)，計(jì)算結(jié)果表明基于配用電大數(shù)據(jù)的網(wǎng)供負(fù)荷預(yù)測(cè)有著較高的準(zhǔn)確性，可以為電網(wǎng)運(yùn)行和規(guī)劃提供數(shù)據(jù)支撐。