面向工作流編程的Python數據管理技術比較分析

楊雪琪 肖宇

摘要：在工作流編程中，個人經常面臨數據管理方法的選擇。文章重點闡述了基于文件和基于數據庫的數據管理方法，并分析了三種數據管理技術的各自優缺點。從數據量大小、數據安全性、數據更新頻率、數據共享范圍等四個維度構建了數據管理技術的選擇方法。最后給出了數據管理技術選擇建議：對于小數量、低安全性、不更新數據、不共享數據的工作流數據，建議采用人工管理的方式；對于中等數據量或有一定安全性共享性要求或需與他小范圍共享數據的工作流，建議使用基于文件的數據管理方法；否則，建議選擇基于數據庫的數據管理方法。

關鍵詞：數據管理；數據庫；Python；編程；工作流

中圖分類號：TP311.13-4; G642.0? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）30-0068-03

開放科學（資源服務）標識碼（OSID）：

1 引言

隨著計算機編程語言和軟件技術的發展，越來越多的高校學生、從業者與科研人員等非專業計算機編程人員借助高級編程語言（例如：Python、R和Julia等）完成工作流，從而可自由地測試與實現他們的想法[1]。值得注意的是，在編程過程中，大部分非專業編程人員往往缺乏數據管理意識，因此可能造成計算資源的浪費和數據安全問題。特別是在大數據時代，日常數據掛歷工作面臨著諸多挑戰[2-3]。本文分析了不同應用場景下的數據管理方法選擇，以幫助非專業編程人員更好地完成他們的工作流。

通常情況下，程序接收外界輸入，經過一系列處理過程之后，輸出數據至外界。該過程涉及數據管方法的選擇。在計算機技術不同發展階段，產生了人工管理、文件管理和數據庫管理等三種不同的數據管理方法[3]。在人工管理階段，程序與數據之間具有強耦合性，數據通過硬編碼嵌于程序中。這種管理方法適用于具有特殊用途且不需經常變更數據的程序；在文件管理階段，程序與數據解綁，輸入與輸出數據以文件的形式保存于外界；在數據庫管理階段，程序與數據具有松耦合，程序包含與數據庫交互的語句，可根據狀態實現與數據庫的動態交互。

人工管理方法僅適用于小數據量、缺乏外部存儲設備支持的應用，數據的增、刪、改等操作均需在源程序中完成，因此靈活性和合作潛力差，并不推薦在工作流編程實踐中使用。因此，以下將重點介紹分析基于文件和數據庫的數據管理技術在Python工作流編程中的適用場景。

2 基于文件的數據管理技術

通過文件與外界交互數據是當今編程實踐中最常用的方法之一。在日常工作流中，通常將文件（例如：txt、csv、json等格式）輸入到程序中，最后再以文件形式輸出數據。

基于文件的數據管理方法具有學習成本低、兼容性強、易與他人分享等優點。首先，該管理方法依賴于操作系統或者需與對應文件格式的軟件共同使用。常見日常辦公軟件（例如：Excel和瀏覽器等）存在于大部分個人電腦中，因此可以用戶之間可以方便地進行數據文件的共享與合作。此外，這些外部軟件的使用方法被大部分用戶掌握，因此不需要額外的學習成本，與用戶現有使用習慣兼容性強。最后，文件的形式豐富，可以靈活地存儲各種類型的非結構化數據。

基于文件的數據管理方法具有運行性能低下、安全性低、數據一致性差等缺點。然而，外部文件需一次性讀入計算機內存中，因此在一定程度上會影響到程序的運行性能。隨著數據量的增大，這種影響將逐步增加。此外，在將數據寫出文件時，文件數據的組織形式因文件創建者而異，從而需要額外的數據說明文件的組織形式。再者，文件難以被多個應用在同一時間共同使用，數據操作需在程序內部完成，文件數據也容易在傳遞過程中被篡改。最后，文件易于復制，因此可能帶來數據不一致、數據冗余和數據安全性等問題。

結合以上所述優缺點，基于文件的數據管理技術適用于數據安全性要求低、數據更新頻率低的小型個人項目。例如，小計算量的科學研究輸出數據的存儲應用和個人財物管理應用等。

在Python編程環境下，可以利用內置函數open（）讀取或生成文件對象實例，利用read（）、readlines（）等方法逐字符或逐行讀取數據，利用write（）或writelines（）等方法將數據寫入到文件。此外，第三方科學計算庫numpy和pandas提供有讀取或寫入各種文件格式的方法。

3 基于數據庫的數據管理技術

數據庫是計算機科學的重要分支之一，是數據管理技術發展的高級階段。按數據邏輯組織形式，數據庫可以分為層次數據庫、網狀數據庫、關系型數據庫、文檔型數據庫和鍵值對型數據庫等[4-5]。此外，近年來也出現了針對特定領域的數據庫，例如圖形圖像數據庫和圖數據庫等。無論是哪一種數據庫，均提供有數據增、刪、改、查等工具。大部分數據庫支持多個數據應用的并發訪問和遠程訪問，且為主流編程語言提供了數據操作接口。因此，基于數據庫的數據管理技術可以依賴于數據庫管理系統提供的強大數據管理功能開展更安全、更具擴展性的數據管理活動。

開源關系型數據庫MySQL和文檔型數據庫MongoDB在業界的應用尤為廣泛，支持文檔也非常豐富。MySQL數據庫提供了社區開源版本，可以在個人電腦上自由下載和安裝配置。該數據庫提供了一系列的安全控制技術，例如用戶管理、權限控制、事務管理和數據庫備份等。MySQL的數據操作主要依賴于SQL語言，因此具有一定的技術門檻。MongoDB數據庫采用BSON形式存儲數據，具有專門的數據操縱語言，且提供了用戶管理、權限控制、事務管理和數據庫備份等基本功能。相比較而言，MySQL適用于結構化數據的存儲，進行數據庫操作之前，需要設定數據模式；MongoDB適用于非結構化數據的存儲，可靈活地存儲數據。

在工作流編程應用中，利用數據庫可很好地幫助完成數據管理工作。例如，對于計算密集型的大規模仿真模擬工作，可以預先將需探索的模型參數存入至MongoDB數據庫中，將參數對應的任務狀態分別設為未評估、正在評估和已完成評估等，然后由多臺計算機遠程訪問該數據庫，讀取未評估狀態的參數組合，在粗粒度上實現多臺不限平臺計算機組合的并行計算，從而加速完成模擬任務。在程序運行過程中，也可監控和查看任務的完成度和狀態。

根據以上優缺點，基于數據庫的數據管理技術適用于具有一定數據庫基礎或者學習意愿強的用戶。雖然具有一定的門檻，使用數據庫可以使用戶不用考慮文件管理方法中可能存在的各種問題。此外，該數據管理技術適用于需要多臺電腦讀取、更新頻率高、存在多用戶合作生成數據的應用場景。例如，大型仿真實驗運行過程中的數據管理。

在Python編程環境下，存在與各主流數據庫連接的第三方模塊，例如 PyMySQL和PyMong等。這些模塊都遵循Python提供的統一接口標準，因此學習成本較低，操作簡便。具體而言，對于數據模式較為單一、可不考慮數據組織形式的工作流，可采用無須預先設定數據模式的非關系型數據庫作為數據管理工具；對于數據模式較為復雜的工作流，建議先設計數據模式，然后通過非關系型或關系型數據庫作為數據管理工具。

4 三種數據管理技術的選擇

在日常工作流中，需要根據任務的相關性選擇相應的數據管理技術。數據管理技術選擇的影響要素主要包括數據量大小、數據安全性、數據更新頻率、數據共享范圍等四個維度，具體選擇建議見表1。注意，有些選項存在著重疊，用戶可以根據當前的環境酌情考慮數據管理技術。

對于小數量、低安全性、不更新數據、不共享數據的工作流數據，建議采用人工管理的方式，將數據融入程序中。這樣操作的理由在于，后兩個數據管理技術需要依賴于外部的應用或者程序，一旦外界環境遭遇了不測情況，則數據將遭受損失，從而影響到工作流的正常運行。

對于中數據量或中安全性或低頻更新數據或需小范圍共享的工作量數據，在數據庫不可獲取的情況下，建議采用基于文件的管理技術。與人工管理方法相比，該方法將程序與數據分離，可以實現數據的外部操作，從而在一定程度上增加了數據的自由度和安全性。數據文件可獨立地在同事之間共享，增加了便利性。

對于中大數據量或中高安全性或高頻更新或大范圍共享的工作流數據，建議采用基于數據庫的管理技術。相對其他兩種技術，該技術可以利用數據庫管理系統提供的數據操作、數據安全性和事務管理等先進的數據管理方法，從而可實現以數據為中心的建模與管理，甚至可以幫助規范工作流程。

5 結語

本文簡要分析了工作流中的人工管理、文件管理和數據庫管理等三種主流數據管理技術的優缺點，并針對工作流編程的特點提出了以下選擇建議：1）對于安全性和共享性要求不高、較少需要與他人合作、需與人共享結果的工作流，建議使用文件管理方法；2）對于安全性和共享性要求高、需多臺電腦寫作文完成的工作流，建議使用數據庫管理方法。最后，建議個人用戶提升數據安全意識，投入時間學習一定的數據庫管理技術，合理使用數據庫管理工作流數據，避免工作中不必要的數據損失。

參考文獻：

[1] 肖宇.Python在數據庫教學中的應用[J].電腦知識與技術，2020，16（6）：152-153.

[2] 荊曉鵬.大數據時代高校學生管理工作的挑戰及應對措施試析[J].輕工科技，2021，37（11）：105-106.

[3] 李文瓊.大數據時代背景下高校檔案信息化建設探究[J].蘭臺內外，2021（28）：1-3.

[4] 王珊，薩師煊.數據庫系統概論[M].5版.北京：高等教育出版社，2014.

[5] 閔昭浩，楊卓凡.NoSQL數據庫與關系型數據庫對比[J].電子技術與軟件工程，2021（14）：199-201.

【通聯編輯：李雅琪】