王凌 劉霄 呂結



摘要:基于20世紀70年代末開始進行的四川省氣象檔案館館藏歷史氣象觀測記錄檔案的數字化,分析總結出從試點嘗試到科學化規模化管理、從人工錄入到依靠先進設備和IT技術高質量高效率數據轉換的數字化發展歷程;介紹采用多種數字化技術研發形成的部分氣象檔案數字化成果,并通過具體實例分析數字化成果在氣象業務和氣候變化、災害預警等科研服務中的數據支撐應用;對氣象記錄檔案的數字化未來進行了有益思考和展望。
關鍵詞:氣象記錄檔案;數字化;數據化;成果應用;發展趨勢
一、引言
氣象觀測記錄檔案(以下簡稱記錄檔案)是使用各種觀探測手段獲取的關于大氣狀態、天氣氣候現象及其變化過程的記錄以及各類衍生記錄[1]。這些長期積累的記錄檔案是氣象部門的寶貴財富,是國家檔案的重要組成部分,是現代氣象業務建設和氣候及環境變化科學研究的關鍵性基礎資源,也能為其他相關行業發展提供重要的科學支撐[2]。
四川省氣象檔案館館藏包括近200個氣象臺站1855年以來約60萬冊各類紙質氣象觀測記錄檔案,有地面、高空、農氣、酸雨、凍土等多種類型;觀測簿、報表、自記紙等多種記錄類別;手寫文字、數字、符號和機械繪制圖形曲線等多種記錄方式,涉及范圍廣泛、記錄形式多樣、格式內容復雜、載體規格各異、館藏數量巨大。但囿于傳統紙質載體的限制,檔案的利用多局限于查閱、抄錄、手工加工訂制,嚴重制約了檔案利用效率和服務水平。同時,隨著歲月流逝,紙質檔案原件都不同程度出現了酸化、脆變、破損、字跡磨蝕等現象。隨著氣象業務現代化不斷推進、極端天氣氣候事件日益增多、氣候變化研究持續深入、檔案意識和維權意識不斷增強,氣象檔案的支撐作用和利用需求越來越凸顯,因此紙質氣象檔案亟須搶救性保護和數字化處理。
所謂數字化就是使用手工錄入或計算機軟、硬件技術將資料載體上的信息提取出來轉換為可編輯、可處理、符合一定格式和質量要求的數據文件并存儲在電子介質上,以便進行信息檢索利用、加工制作成數據產品提供數據服務[3]。數字化建設過程中,既要保證檔案原件的安全,又要實現載體轉換和數據信息的提取,技術難度很大[4]。20世紀70年代末以來,在中國氣象局統籌安排下,根據檔案利用頻率、珍貴程度、理化狀態等因素有計劃有步驟開展館藏檔案數字化工作,取得了一些階段性的成果,為后續檔案數據化和在線提供利用奠定了堅實基礎。
二、氣象檔案數字化發展階段
從20世紀70年代末至今,四川省氣象檔案的數字化工作大致經歷了起步、持續和快速發展三個階段。
(一)起步階段(1978-1990)
四川省氣象局于1978年開始使用紙帶穿孔方式,對建站以來的氣象記錄月報表進行信息化處理,形成信息化紙帶和卡片;1986年以美國產CCS400微機為信息化專用設備,將紙帶數據和卡片數據自動記入磁盤(帶)保存,數據由ASCII碼字符自動轉換為EBCDIC碼字符,形成標準格式數據提供交換使用。1987年后,利用APPLE微型計算機,以人工錄入的方式,逐步對省域內國家基本站建站以來人工觀測所有要素和一般站部分要素進行信息化處理[5]。到20世紀90年代中期基本完成了全省國家站地面氣象觀測記錄檔案的數字化錄入,形成全國統一規范格式的氣象記錄月報文件(A0/A1文件,見圖1)存檔并提供服務。
(二)持續發力(1991-2008)
這一時期,隨著中國氣象局關于地面、高空、輻射等觀測記錄數字化標準格式的陸續發布,氣象記錄檔案數字化工作日趨規范化、科學化。四川省氣象局逐步通過格式轉換、網絡收集、人工錄入等方式,完成高空、輻射類記錄檔案的信息化處理,2001年開始對館藏降水自記紙進行數字化處理,至2005年底,完成全省42個基本(準)氣象站約20萬頁降水自記紙的數字化工作,形成圖像文件數據集和小時、分鐘降水數據集[5]。與此同時還進行了四川省地面氣象觀測臺站建站以來所有人工觀測項目的定時觀測值、部分自記觀測整點值的數字化錄入。四川省氣象檔案數字化成果數據量在這一時期穩步增長。
在起步階段和持續階段,氣象記錄檔案數字化多限于紙帶穿孔、鍵盤錄入等人工手段,技術含量和工作效率較低,但多年不懈的持續努力,為后續數字化積累了豐富的基礎資源和業務經驗,長期以來形成并執行的數字化成果質量控制和報送制度,保證了數字化檔案資源的可靠性。
(三)快速發展(2009年以來)
隨著計算機和信息技術日新月異,現代化設備不斷更新換代,為氣象記錄檔案的大批量數字化提供了可行的物質基礎;行業內外對時間序列更長、時空分辨率更高的氣象觀測數據需求越來越迫切,氣象檔案數字化工作得到了管理部門的持續關注和更多的經費支持[2]。2009年以來,氣象檔案數字化工作得以更快速更有效的推進,呈現以下鮮明特點。
1.未動先謀,操作規范
由中國氣象局牽頭,針對不同類型觀測簿(表)和自記紙的不同格式和特點先后制定了《高空記錄表圖像掃描技術規定》《EL型電接風自記紙數據提取技術規定》《GBT_31165-2014_降水自記紙記錄數字化》等一系列的數字化技術規范、操作規程、數字標準格式和行業標準,使得數字化工作有據可循。
2.? 業務外包,管理科學
根據每年的數字化支持經費和業務需求,僅僅依靠本單位檔案技術人員開展數字化工作,已經無法適應規模化生產和效益化產出的需求,各省氣象局開始引進第三方專業數字化公司承擔檔案數字化業務,科學規范數字化流程。氣象檔案技術人員對外包公司承擔的數字化服務按照標準和規范進行監督、管理,并對數字化成果進行質檢和數據集成。新的業務模式從流程、技術到管理都具有較高的科學性,保證了檔案實體和信息的安全,實現了規模化和效益化雙贏。
3.? 技術優良,專業突出
隨著信息技術的發展和先進設備的層出不窮,使得紛繁復雜的氣象記錄檔案的數字化有了越來越可靠的技術支持。例如滾筒掃描儀提高了掃描速度;大型掃描儀實現了大幅面天氣圖非拼接式掃描;無接觸、零邊距掃描儀能更好地保護珍貴檔案;利用圖像識別等先進的IT技術開發的個性化專用軟件系統,提升自記跡線識別的準確率,使得數字化質量和效率同步提高。圖2為利用專門開發的自動識別軟件對EL風自記紙跡線逐張跟蹤提取的示意圖。
4.? 持續發力,成果豐富
2009年以來,四川省氣象局采用圖像掃描、人工錄入、專用軟件數據提取等多種技術手段完成了近1100萬頁各類氣象記錄檔案的數字化處理(見表1),對象涵蓋館藏地面、高空、農氣、酸雨觀測月(年)報表,地面單要素月(年)報表,各類自記記錄紙(氣壓、氣溫、濕度、降水、風向風速),酸雨觀測簿以及高空觀測記錄表等,進一步完善和豐富了四川省基礎氣象數據資源。
三、氣象檔案數字化成果及應用
(一)數字化成果概況
根據不同類別記錄檔案的特點,通過掃描、人工錄入、數據轉換、軟件識別等技術方法,形成可供計算機直接識讀、編輯的數據文件,按照相應的技術規范,制作成包含數據文件實體、元數據信息的數字化產品。
經過多年持續不斷的數字化建設,四川省氣象檔案館已經形成了一批涵蓋地面、高空、輻射、酸雨、農業氣象各方面觀測記錄的數字化成果,包括數字化掃描圖像文件數據集、數字文件數據集、臺站沿革數據集等60余個數據集(見表2)。
(二)數字化成果應用
陸續完成的氣象檔案數字化產品,最大限度實現了歷史氣象記錄信息的可用性,豐富了氣象檔案資源體系,為極端氣候監測、氣象災害預警預報、氣候變化與評估、決策氣象服務及科學研究提供了重要而快捷的數據保障[5],收到顯著經濟效益和社會效益。
1. 為氣象基礎數據產品提供強力支撐
氣候標準值能夠反映氣候狀況的基本特征,30年氣候資料統計整編是氣象部門重要的基礎業務工作。氣象部門于20世紀80年代、 2011-2013年和2021年分別開展了3次氣候資料統計整編工作,分別形成了1951-1980年、1981-2010年、2011-2020年全國氣候標準值。數字化成果為統計整編提供大量直接可用的數據資源,統計整編對數字化成果進行再次系統檢測校正,進一步提高了數據的準確性和可靠性。同時,依托豐富的數字化成果,四川省氣象局研發了四川省大風、霧霾等專題數據集和特色數據集;國家氣象信息中心利用地面、高空、輻射觀測記錄數字化成果研制了全國氣候整編產品、均一化產品、網格化產品等氣象數據集。氣象記錄檔案數字化成果及其衍生產品,滿足用戶對氣象數據在時間序列、時空分辨率、獲取容易度、使用簡便性等方面的個性化需求。
2. 為氣候業務和科學研究提供豐富資源
氣象記錄檔案的數字化,為氣候變化業務、科研和服務提供了更長時間序列、更高時空密度的數據產品,在《氣候影響評價報告》《氣候變化監測報告》編制、《四川省氣候綜合圖集》制作、四川省氣象災害綜合風險普查、風能資源綜合評估、氣象臺站遷撤評估以及其他行業和領域中起到重要的數據支撐作用。例如:
(1)《四川省氣候綜合圖集》編制
利用省內156個國家氣象站歷史觀測記錄的數字化成果,結合自動站觀測數據,經過統計、計算、分析、整編而成《四川省氣候綜合圖集》(見圖3)。全集配圖500余幅,形象直觀地介紹了四川省氣象要素分布、氣候變化、氣象資源、氣象災害詳情,為業務、科研、決策、防災減災提供易用、可信資源。
(2)四川省暴雨強度公式制修訂
四川省氣象局對館藏85萬頁降水自記紙先后進行圖像掃描、數據提取后形成四川省分鐘和小時降水強度數據集,在2017年四川省暴雨強度公式制作和修訂項目中得到充分利用,展現了數據化資源的獨特優勢。
以雅安為例,按照相關技術規范,利用四川省分鐘和小時降水強度數據集中雅安主城區暴雨強度數據,對5分鐘、10分鐘、15分鐘等15時段降水極值的概率分布進行擬合,對單一重現期暴雨強度公式、區間參數公式進行推求,并對計算結果進行比較分析,最終確定暴雨強度公式。該公式遵循“不漏場次、不漏最大值”的挑選降雨場次的原則,統計樣本準確可靠,為城市發展、經濟建設、防災減災提供可靠參考依據。(摘自四川省氣候中心、雅安市氣象局《雅安市主城區暴雨強度公式編制報告》)
四、思考與展望
雖然經過多年的數字化,研發了部分基礎數據產品,但是仍有大量的歷史氣象檔案亟待拯救、數字化和進一步開發利用。由于歷史氣象記錄檔案的復雜性、數字化人才缺乏等因素,氣象檔案數字化技術、管理手段和服務能力相對于其他氣象業務還存在較大差距。安全、高效、高質量地開展氣象記錄檔案的數字化,提供快捷、全面、準確、個性化氣象檔案服務成為氣象檔案業務的重要任務。
(一)適應信息技術智能化要求,培養高素質氣象檔案人才隊伍
隨著新型科學技術和現代化管理水平的發展,未來氣象檔案數字化將利用人工智能等先進的IT技術解決氣象檔案數字化中的質量、效率問題,屆時需要高素質檔案人才投身到安全、有序、高效的大規模數字化管理工作,承擔技術方案制定、技術把關、疑難處理和質量控制等具體工作。現階段,一批懂歷史業務、熟悉相關規范和技術的老氣象檔案工作者相繼退休,一批具有新知的青年人亟需被培養成能熟練掌握和應用歷史氣象業務、規范、技術的氣象檔案業務骨干。
(二)適應檔案利用精細化需求,建立高分辨率和長時序的數據產品
完成的降水自記紙跡線提取和正在開展的EL型風向風速自記紙跡線提取數字化工作,形成或將要形成歷史上自有該要素記錄以來的分鐘和小時觀測數據集。,接下來,將陸續開展氣溫、氣壓、相對濕度、達因風自記紙以及新中國成立前氣象觀測記錄檔案的數據化工作。以將要進行的達因型風自記記錄提取為例,將完成四川省近7萬頁達因風觀測自記紙的跡線提取,建立1分鐘、2分鐘、10分鐘平均的分鐘風向風速數據以及日最大、極大風速及對應風向數據。風數據的高分辨率和長時序,可為風力資源開發利用、城市建設、輸變電線路建設等提供直接可用的重要基礎數據。未來將會有更多高時間分辨率和長連續時序的數據產品面世,滿足用戶對氣象數據利用的精度需求,發揮前所未有的重要作用。
(三)適應檔案利用便捷化需求,深度挖掘歷史氣象檔案的服務能力
多年來持續不斷的數字化工作,催生了一批較為豐富的氣象檔案數字化產品,極大豐富了四川省乃至全國館藏數字檔案資源,為數字氣象檔案館建設以及氣象大數據云平臺系統建設提供了寶貴的可直接利用的基礎數據資源。為適應檔案利用便捷化、個性化趨勢,增加氣象檔案利用的深度和廣度,提高其利用率,不久將會實現數字氣象檔案資源規范、安全、用戶體驗良好的線上管理和利用服務,一站登錄、跨省跨館互訪互借將不再是奢望。
作者單位:王凌? ?劉霄? ?呂結? ? 四川省氣象探測數據中心(四川省氣象檔案館)
參? 考? 文? 獻
[1] 臧海佳,吳顯中,李星玉,等.氣象檔案拯救指南[S].推薦性行標.QX/T 201-2013.
[2]范邵華,余予,鞠曉慧,任芝花.氣象檔案數字化進展及應用[J].氣象科技進展,2018,8(01):64-70+78.
[3] 吳忠義.中國氣候資料工作概況[M].北京:氣象出版社,2005.
[4] 蘭平,臧海佳.歷史紙質氣象檔案數字化技術策略初步分析[J].應用氣象學報,2006,17(04):478-482.
[5] 四川省地方志編纂委員會.四川省志氣象志(1986-2005)[M].北京:方志出版社,2013.