基于OpenTSDB數(shù)據(jù)庫(kù)的測(cè)風(fēng)塔管理系統(tǒng)開(kāi)發(fā)研究

文 | 包文峰，郭慧斌，張志俊，臧艷艷

現(xiàn)階段，在風(fēng)能資源的開(kāi)發(fā)和利用中，測(cè)風(fēng)塔處于十分重要的地位，通過(guò)測(cè)風(fēng)塔獲得風(fēng)能資源數(shù)據(jù)是前期風(fēng)能資源選址的重要途徑。但是，隨著風(fēng)電場(chǎng)測(cè)風(fēng)數(shù)據(jù)量增多，測(cè)風(fēng)塔基本地理信息，不同高度通道的風(fēng)向、風(fēng)速、風(fēng)頻、氣溫、氣壓等基礎(chǔ)數(shù)據(jù)的管理都遇到了重大挑戰(zhàn)，存在因測(cè)風(fēng)塔廠家數(shù)據(jù)格式多樣性、通信信號(hào)中斷、設(shè)備損壞以及人工處理分析效率低下引起的數(shù)據(jù)缺失、管理困難、質(zhì)量偏差等問(wèn)題。

目前全國(guó)已設(shè)立了數(shù)以萬(wàn)計(jì)的風(fēng)電場(chǎng)測(cè)風(fēng)塔，但通過(guò)測(cè)風(fēng)塔實(shí)測(cè)值計(jì)算出的產(chǎn)能與運(yùn)行值偏差較大，造成極大資源浪費(fèi)。測(cè)風(fēng)數(shù)據(jù)缺失或異常會(huì)為后期數(shù)據(jù)質(zhì)量篩選、數(shù)據(jù)修正、數(shù)據(jù)插補(bǔ)、長(zhǎng)期訂正等過(guò)程引入很大的不確定性，通常1%風(fēng)速的不確定性會(huì)帶來(lái)超過(guò)3%發(fā)電量的上下浮動(dòng)，而對(duì)于某些對(duì)投資效益進(jìn)行嚴(yán)控的大型風(fēng)電企業(yè)，資本金回報(bào)收益率通常在8%至10%。那么，由于測(cè)風(fēng)數(shù)據(jù)造成的3%發(fā)電量不確定度可能就決定了風(fēng)電場(chǎng)能否盈利。在市場(chǎng)的競(jìng)爭(zhēng)中，風(fēng)能資源選擇的優(yōu)劣程度直接影響著業(yè)主的投資效益。所以，測(cè)風(fēng)塔數(shù)據(jù)對(duì)整機(jī)企業(yè)和業(yè)主都具備重要的意義。

針對(duì)測(cè)風(fēng)塔數(shù)據(jù)管理的問(wèn)題，本文詳細(xì)介紹了基于微服務(wù)架構(gòu)開(kāi)發(fā)的測(cè)風(fēng)塔管理系統(tǒng)。該系統(tǒng)可以實(shí)現(xiàn)測(cè)風(fēng)塔高效管理，具備數(shù)據(jù)自動(dòng)采集、處理及分析功能，并能獲得高質(zhì)量的分析報(bào)告。

測(cè)風(fēng)塔管理系統(tǒng)方案設(shè)計(jì)與實(shí)現(xiàn)

一、分布式時(shí)序數(shù)據(jù)存儲(chǔ)方案

測(cè)風(fēng)塔管理系統(tǒng)要求對(duì)數(shù)據(jù)進(jìn)行秒級(jí)處理、不間斷存儲(chǔ)分析和處理，數(shù)據(jù)庫(kù)只有具備上述基本功能特性才能滿(mǎn)足使用要求。時(shí)序型數(shù)據(jù)庫(kù)OpenTSDB是通過(guò)HBase存儲(chǔ)所有的時(shí)序以構(gòu)建一個(gè)分布式、可伸縮的時(shí)間序列數(shù)據(jù)庫(kù)。它支持秒級(jí)數(shù)據(jù)采集、永久存儲(chǔ)，可以做容量規(guī)劃，可以從大規(guī)模的集群（包括集群中的網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、應(yīng)用程序）中獲取相應(yīng)的metrics并進(jìn)行存儲(chǔ)、索引以及服務(wù)，從而使這些數(shù)據(jù)更容易讓人理解，如網(wǎng)格化、圖形化等。

基于以上特性，本系統(tǒng)采用OpenTSDB作為業(yè)務(wù)數(shù)據(jù)存儲(chǔ)方案，系統(tǒng)架構(gòu)如圖1所示。采集層通過(guò)郵箱對(duì)測(cè)風(fēng)塔數(shù)據(jù)進(jìn)行采集；數(shù)據(jù)存儲(chǔ)/處理/分析層通過(guò)Spark Streaming、Impala、Spark等將復(fù)雜算法最終推送到文件系統(tǒng)、數(shù)據(jù)庫(kù)，實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、處理和分析功能；服務(wù)層通過(guò)多維分析將結(jié)果在展示層進(jìn)行數(shù)據(jù)可視化。

根據(jù)現(xiàn)場(chǎng)實(shí)際情況，測(cè)風(fēng)塔一般需要采集1～2年的數(shù)據(jù)方可為工程實(shí)際場(chǎng)景提供分析結(jié)論。測(cè)風(fēng)塔數(shù)據(jù)按不同種類(lèi)分為風(fēng)速、風(fēng)向、氣溫、氣壓、空氣密度等，這些數(shù)據(jù)種類(lèi)分別通過(guò)不同的數(shù)據(jù)通道進(jìn)行記錄，風(fēng)速、溫度和濕度、氣壓每個(gè)通道又細(xì)分為均值、最大值、最小值、標(biāo)準(zhǔn)差四個(gè)基礎(chǔ)統(tǒng)計(jì)指標(biāo)，風(fēng)向每個(gè)通道分為均值和標(biāo)準(zhǔn)差統(tǒng)計(jì)指標(biāo)。假設(shè)某一測(cè)風(fēng)塔有風(fēng)速、風(fēng)向、溫度和濕度、大氣壓四類(lèi)傳感器，三個(gè)高度層。通常情況下，一個(gè)測(cè)風(fēng)塔設(shè)立1個(gè)溫度和濕度傳感器，1個(gè)大氣壓傳感器，每層各1個(gè)風(fēng)速、風(fēng)向傳感器。測(cè)風(fēng)塔每10分鐘存儲(chǔ)一次采樣數(shù)據(jù)點(diǎn)，一天共存儲(chǔ)144次。計(jì)算可知，每個(gè)測(cè)風(fēng)塔每年將產(chǎn) 生 144×（3×4+3×2+1×4+1×4）×365=136萬(wàn)個(gè)數(shù)據(jù)點(diǎn)。以歷史與現(xiàn)存測(cè)風(fēng)塔作為管理對(duì)象，假定總測(cè)風(fēng)塔數(shù)為500臺(tái)，則需要管理的總數(shù)據(jù)點(diǎn)量將近6.8億。隨著對(duì)測(cè)風(fēng)數(shù)據(jù)采集精度、頻次的提高，此數(shù)據(jù)量將繼續(xù)呈爆炸式增長(zhǎng)，例如將測(cè)風(fēng)數(shù)據(jù)的采集頻次提高至工業(yè)SCADA級(jí)，或者將測(cè)風(fēng)數(shù)據(jù)用于工業(yè)控制策略輔助，則每年產(chǎn)生的數(shù)據(jù)點(diǎn)量將達(dá)到0.4萬(wàn)億，即每秒寫(xiě)入量將達(dá)到1.29萬(wàn)。面對(duì)如此龐大的數(shù)據(jù)量，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)及分析工具無(wú)法提供有效的秒級(jí)讀寫(xiě)支撐，而采用OpenTSDB時(shí)序數(shù)據(jù)庫(kù)的系統(tǒng)，可以支持秒級(jí)存儲(chǔ)，并且具有可擴(kuò)展、高吞吐量、容錯(cuò)的特點(diǎn)，所以從根本上規(guī)避了該問(wèn)題。

二、自動(dòng)化業(yè)務(wù)流程實(shí)現(xiàn)

測(cè)風(fēng)塔數(shù)據(jù)一般需要經(jīng)過(guò)數(shù)據(jù)產(chǎn)生、收集、處理等幾個(gè)階段后方可為數(shù)據(jù)分析提供支撐，傳統(tǒng)模式下的業(yè)務(wù)流程如圖2 所示，數(shù)據(jù)收集和處理均采用人工方式，隨著測(cè)風(fēng)塔數(shù)量的增加，不僅處理效率低下，而且增加人力成本。

圖1 系統(tǒng)整體架構(gòu)

圖2 傳統(tǒng)模式下的測(cè)風(fēng)業(yè)務(wù)流程

圖3 測(cè)風(fēng)塔管理系統(tǒng)業(yè)務(wù)流程

圖4 傳統(tǒng)模式與測(cè)風(fēng)塔管理平臺(tái)對(duì)比

測(cè)風(fēng)塔管理系統(tǒng)業(yè)務(wù)流程見(jiàn)圖3，測(cè)風(fēng)塔管理系統(tǒng)自動(dòng)定時(shí)（用戶(hù)可自由選擇定時(shí)周期）接收測(cè)風(fēng)塔數(shù)據(jù)郵件，自動(dòng)統(tǒng)計(jì)郵件缺失情況，自動(dòng)解析測(cè)風(fēng)數(shù)據(jù)，自動(dòng)統(tǒng)計(jì)數(shù)據(jù)完整性，根據(jù)預(yù)定義數(shù)據(jù)評(píng)估策略自動(dòng)識(shí)別異常數(shù)據(jù)，當(dāng)數(shù)據(jù)缺失或異常率超過(guò)預(yù)定義基準(zhǔn)線時(shí)自動(dòng)向用戶(hù)報(bào)警提示，并對(duì)原始數(shù)據(jù)進(jìn)行自動(dòng)化數(shù)據(jù)標(biāo)記及數(shù)據(jù)插補(bǔ)前完整性與相關(guān)性測(cè)算，提高數(shù)據(jù)準(zhǔn)確度，并減小插補(bǔ)造成的失真；自動(dòng)完成對(duì)原始數(shù)據(jù)的多維度預(yù)處理及預(yù)統(tǒng)計(jì)，大幅度縮短統(tǒng)計(jì)分析的時(shí)間周期。

圖5 測(cè)風(fēng)塔郵箱綁定

傳統(tǒng)方式的弊端主要表現(xiàn)為，一方面，測(cè)風(fēng)塔原始數(shù)據(jù)及中間過(guò)程數(shù)據(jù)均散落在處理人員的單機(jī)中，最終轉(zhuǎn)入服務(wù)器的只有處理后的結(jié)果，中間過(guò)程數(shù)據(jù)大多未能進(jìn)行有效留存；另一方面，測(cè)風(fēng)塔數(shù)據(jù)的單機(jī)處理及分析模式并不利于團(tuán)隊(duì)協(xié)同作業(yè)。由兩種業(yè)務(wù)流程的對(duì)比（圖4）可知，系統(tǒng)化的方案從數(shù)據(jù)源頭上以系統(tǒng)本身作為接收方，用戶(hù)團(tuán)隊(duì)成員均在同一平臺(tái)上進(jìn)行數(shù)據(jù)處理及分析，為中間過(guò)程數(shù)據(jù)留存及協(xié)同一體化工作流程提供了天然的基礎(chǔ)，實(shí)現(xiàn)了測(cè)風(fēng)塔數(shù)據(jù)的精細(xì)化管理。

測(cè)風(fēng)塔管理系統(tǒng)的應(yīng)用實(shí)踐

一、數(shù)據(jù)采集功能

測(cè)風(fēng)塔管理系統(tǒng)支持多種郵箱和通道配置及附件上傳功能。在平臺(tái)中，測(cè)風(fēng)塔管理功能與全國(guó)地圖頁(yè)面測(cè)風(fēng)塔庫(kù)相互聯(lián)動(dòng)，統(tǒng)一調(diào)配；快捷便利實(shí)現(xiàn)項(xiàng)目的增、刪、改、查等功能；可滿(mǎn)足使用者對(duì)精細(xì)管理的要求。

如圖5所示，系統(tǒng)可以錄入新建測(cè)風(fēng)塔基本信息，包括測(cè)風(fēng)塔編號(hào)、名稱(chēng)、標(biāo)識(shí)、所屬項(xiàng)目、經(jīng)緯度等。系統(tǒng)支持csv文件和手動(dòng)添加兩種通道上傳方式。系統(tǒng)能夠自動(dòng)解析csv文件，提供文件存儲(chǔ)功能，管理者可將測(cè)風(fēng)塔文件、安裝報(bào)告、驗(yàn)收?qǐng)?bào)告和標(biāo)準(zhǔn)報(bào)告等上傳至系統(tǒng)存儲(chǔ)，避免文件的亂放亂傳。

二、數(shù)據(jù)處理功能

測(cè)風(fēng)塔管理系統(tǒng)支持將txt、csv等格式文件統(tǒng)一轉(zhuǎn)入時(shí)序數(shù)據(jù)庫(kù)進(jìn)行解析存儲(chǔ)。平臺(tái)嚴(yán)格遵循《風(fēng)電場(chǎng)風(fēng)能資源測(cè)量方法》（GB/T18709―2002）等有關(guān)規(guī)范、標(biāo)準(zhǔn)及規(guī)定，保證了數(shù)據(jù)處理結(jié)果的可靠性。用戶(hù)通過(guò)選擇項(xiàng)目、測(cè)風(fēng)塔編號(hào)及不同高度通道等，可以查看該測(cè)風(fēng)塔原始數(shù)據(jù)。在原始數(shù)據(jù)圖上，通過(guò)操作鼠標(biāo)可查看任意時(shí)間點(diǎn)的風(fēng)速以及縮放數(shù)據(jù)事件范圍，如圖6所示。通過(guò)點(diǎn)擊不同功能按鈕，可以進(jìn)行原始數(shù)據(jù)查看、磁偏角修正、數(shù)據(jù)篩選、塔影修正、剪切推算和代表年訂正功能操作。此外，還能提供管理者對(duì)修正后數(shù)據(jù)的查看功能。例如：界面完整性功能按鈕以彈框形式展示完整性?xún)?nèi)容（圖7），通過(guò)數(shù)據(jù)自定義及處理，界面展現(xiàn)該列數(shù)據(jù)完整性狀態(tài)細(xì)節(jié)，并支持管理者對(duì)該條數(shù)據(jù)信息的下載。

圖6 原始數(shù)據(jù)查看

圖7 數(shù)據(jù)處理功能完整性展示

三、數(shù)據(jù)分析功能

測(cè)風(fēng)塔管理系統(tǒng)基于風(fēng)能資源處理規(guī)范，在數(shù)據(jù)分析模塊中根據(jù)管理者需求，對(duì)測(cè)風(fēng)塔采集到的數(shù)據(jù)進(jìn)行定制化分析、計(jì)算，并予以直觀顯示，包含風(fēng)速、風(fēng)向、空氣密度、風(fēng)功率密度、風(fēng)切變、湍流等風(fēng)能資源指標(biāo)。管理者對(duì)多項(xiàng)目同步管理時(shí)，通過(guò)選擇項(xiàng)目、測(cè)風(fēng)塔編號(hào)，設(shè)定時(shí)間范圍，可以查看風(fēng)速、風(fēng)向、空氣密度、風(fēng)功率密度、風(fēng)切變、湍流等風(fēng)能資源指標(biāo)。例如：風(fēng)速曲線分析模塊，支持管理者對(duì)選定時(shí)間范圍內(nèi)風(fēng)速曲線、日變化、月變化、年變化和韋布爾分布的查看，如圖8所示；風(fēng)向曲線分析模塊，支持管理者對(duì)風(fēng)向曲線、風(fēng)向玫瑰圖、月變化和年變化的查看，如圖9所示。

結(jié)論及展望

科學(xué)高效的測(cè)風(fēng)塔管理系統(tǒng)在風(fēng)能資源開(kāi)發(fā)利用中有著重要的意義。根據(jù)目前測(cè)風(fēng)塔管理系統(tǒng)對(duì)已有數(shù)千臺(tái)測(cè)風(fēng)塔的實(shí)際管理能力可以看出，采用時(shí)序型數(shù)據(jù)庫(kù)OpenTSDB數(shù)據(jù)存儲(chǔ)方案的測(cè)風(fēng)塔管理系統(tǒng)表現(xiàn)出了強(qiáng)大的管理能力，實(shí)現(xiàn)了自動(dòng)化業(yè)務(wù)流程，完成了數(shù)據(jù)自動(dòng)采集、篩選、分析、存儲(chǔ)和提醒，提高了管理效率，為數(shù)據(jù)的安全提供了保障。

圖8 風(fēng)速曲線分析

圖9 風(fēng)向曲線分析

但是，該系統(tǒng)目前主要應(yīng)用在前期風(fēng)能資源選址中，缺乏與其他平臺(tái)的聯(lián)動(dòng)。下一步的研究工作可以圍繞將該系統(tǒng)擴(kuò)展至整個(gè)風(fēng)能資源前、中、后三個(gè)周期的整體平臺(tái)開(kāi)展。例如，將分散式管理平臺(tái)和項(xiàng)目管理平臺(tái)等與該系統(tǒng)進(jìn)行集成，搭建風(fēng)能資源一站式整體解決方案；在平臺(tái)架構(gòu)的基礎(chǔ)上開(kāi)發(fā)新的功能，例如增加平準(zhǔn)化度電成本（LCOE）、氣象信息等。