智能辦公自動化系統(tǒng)中的辦公海量數(shù)據(jù)快速查詢方法研究

摘要：由于現(xiàn)場數(shù)據(jù)快速查詢方法查詢速度較慢，查詢結(jié)果召回率較低，因此，提出智能辦公自動化系統(tǒng)中的辦公海量數(shù)據(jù)快速查詢方法的研究。以經(jīng)度、緯度和時間的三維方式對辦公海量數(shù)據(jù)進行存儲，以分區(qū)號、空間屬性、時間屬性等屬性為標準對特征數(shù)據(jù)進行分區(qū)管理，通過關(guān)聯(lián)元數(shù)據(jù)模型進行映射，從而完成目標數(shù)據(jù)的查詢工作。實驗結(jié)果顯示，數(shù)據(jù)數(shù)量在3 000以下的情況，本文提出的方法查詢時間不超過240 ms，且結(jié)果的召回率在97%以上。

關(guān)鍵詞：智能辦公自動化系統(tǒng) 海量數(shù)據(jù) 快速查詢 索引分區(qū)

Research on Fast Query Method of Massive Office Data in the Intelligent Office Automation System

ZHANG Xiaoqian

Computer Simulation， Beijing， 100048 China

Abstract： Due to the slow query speed and low recall rate of on-site data retrieval methods， this paper proposes a research on a fast query method for massive office data in intelligent office automation systems. The store massive office data in the three-dimensional manner based on longitude， latitude and time， and manage feature data by partitioning based on area codes， space attribute and time attribute， and other attributes. Mapping is carried out by associating metadata model to complete the query of target data. The experimental results show that the query time of the method proposed in the paper has a query time of no more than 240ms and a recall rate of the results is over 97% when the number of data is less than 3000.

Key Words： Intelligent office automation system; Massive data; Fast query; Index partition

近年來，通過智能系統(tǒng)儲存信息已成為現(xiàn)今各行業(yè)最普遍的信息存儲手段[1]。但是，隨著信息儲存量的增加，對數(shù)據(jù)庫中數(shù)據(jù)的查找工作無法做到實時和準確的查詢。智能辦公自動化系統(tǒng)應運而生，其通過集成先進的信息技術(shù)，為海量數(shù)據(jù)的快速查詢提供了強有力的支持。伴隨著可擴展性非關(guān)系型數(shù)據(jù)庫的不斷發(fā)展和進步，辦公系統(tǒng)中非結(jié)構(gòu)化的數(shù)據(jù)存儲數(shù)量不斷增加。研究智能辦公自動化系統(tǒng)中的辦公海量數(shù)據(jù)快速查詢方法已成為當下的關(guān)鍵[2]。為此，本文分析多種空間數(shù)據(jù)的存儲方式和分區(qū)管理方式，對數(shù)據(jù)快速查詢方法進行更新優(yōu)化，從而得到一個更加優(yōu)良的查詢方法，旨在使各行業(yè)企業(yè)能夠?qū)崟r、準確地做出數(shù)據(jù)分析，提高工作效率。

1辦公海量數(shù)據(jù)快速查詢方法的設(shè)計

1.1 存儲空間數(shù)據(jù)

利用智能辦公自動化系統(tǒng)將辦公海量數(shù)據(jù)以經(jīng)度、緯度和時間的三維方式進行分布，將需查詢的數(shù)據(jù)在三維中進行分布并存儲[3]。經(jīng)度和緯度根據(jù)數(shù)據(jù)特征隨意變換，從而將各個數(shù)據(jù)以一定的特征進行空間分布，數(shù)據(jù)分布虛擬圖如圖1所示。

通過賦予數(shù)據(jù)空間特征，把空間數(shù)據(jù)的幾何信息和非幾何信息進行列族存儲，以節(jié)省數(shù)據(jù)查找的時間。以“y+Layer”表示過濾列族的限定條件，對各數(shù)據(jù)的字符流信息進行存儲。

1.2 分區(qū)管理特征數(shù)據(jù)

數(shù)據(jù)存儲后，進行分區(qū)管理，以提高查詢效率。按照索引分區(qū)方法，以某種特定的規(guī)則或標準劃分為多個較小的、相對獨立的部分進行管理。

使用Geohash編碼處理空間數(shù)據(jù)，生成索引。通過對數(shù)據(jù)空間信息的分析[4]，將二維的經(jīng)緯度降條件轉(zhuǎn)換為字符串，形成數(shù)據(jù)庫的矩形區(qū)域。以時間維度數(shù)值作為索引分區(qū)的時空軌跡條件，利用圖1模型，對數(shù)據(jù)庫的全部信息進行覆蓋。（1）查詢數(shù)據(jù)問題。向查詢圖1某一點坐標進行轉(zhuǎn)換，產(chǎn)生大量的子查詢?nèi)蝿?。對于不均勻的?shù)據(jù)分布情況，根據(jù)數(shù)據(jù)的相差懸殊進行分區(qū)調(diào)整，利用范圍分區(qū)、哈希分區(qū)和列表分區(qū)等數(shù)據(jù)分區(qū)方式對數(shù)據(jù)進行分區(qū)管理。（2）數(shù)據(jù)分區(qū)鍵的選擇。選擇均勻分布數(shù)據(jù)且查詢頻率較高的字段作為分區(qū)鍵。設(shè)置合理分區(qū)數(shù)量，在進行跨分區(qū)查詢時[5]，協(xié)調(diào)多個分區(qū)的數(shù)據(jù)進行操作。具體數(shù)據(jù)分區(qū)管理規(guī)則如下：利用空間屬性與數(shù)據(jù)軌跡分布生成的分區(qū)號，按照分區(qū)號對數(shù)據(jù)進行分類，避免不同分區(qū)號的數(shù)據(jù)混合；根據(jù)數(shù)據(jù)的經(jīng)度、緯度特點，對數(shù)據(jù)進行管理，使相應數(shù)據(jù)在一定空間內(nèi)變化；根據(jù)數(shù)據(jù)軌跡點的產(chǎn)生時間進行管理；以各行業(yè)所需要特別注意的事項屬性作為分區(qū)條件，對行業(yè)內(nèi)專業(yè)數(shù)據(jù)進行管理。

1.3查詢目標數(shù)據(jù)

數(shù)據(jù)分區(qū)管理后，進行目標數(shù)據(jù)的查詢。首先，將初始數(shù)據(jù)進行保存，使用方法為分布式激振模型。構(gòu)建原始數(shù)據(jù)關(guān)聯(lián)模型，評估并判斷原始數(shù)據(jù)的關(guān)聯(lián)狀態(tài)，獲得數(shù)據(jù)庫輸出結(jié)果?，表達式為

式（1）中：表示掃描次數(shù)；表示數(shù)據(jù)節(jié)點集合；表示掃描的數(shù)據(jù)序號；表示數(shù)據(jù)特征函數(shù)；表示

關(guān)聯(lián)元數(shù)據(jù)。

對于數(shù)據(jù)庫內(nèi)原始數(shù)據(jù)，使用空間重構(gòu)與非線性時間序列相結(jié)合的方式，根據(jù)其關(guān)聯(lián)性特征進行分析[6]，以作為數(shù)據(jù)庫原始數(shù)據(jù)振動信號的時間序列集合，計算元數(shù)據(jù)關(guān)聯(lián)后概率數(shù)值：

式（2）中：表示數(shù)據(jù)編號；表示均衡概率；表示關(guān)聯(lián)概率。

在智能辦公自動化系統(tǒng)中的辦公海量數(shù)據(jù)快速查詢中，查詢數(shù)據(jù)軌跡對角線位置線段關(guān)聯(lián)近似點的確定性特征，公式為

式（3）中：表示對角線長度；表示查詢中的特征值；表示查詢追蹤軌跡對角線的關(guān)聯(lián)近似點數(shù)量；表示數(shù)據(jù)點之間關(guān)聯(lián)強度；表示數(shù)據(jù)點的平均半徑。

經(jīng)過以上分析，獲得元數(shù)據(jù)關(guān)聯(lián)查詢查準系數(shù)的表達式為

式（4）中：表示調(diào)整系數(shù)；表示數(shù)據(jù)點的高度；表示樣本數(shù)量。

根據(jù)上述計算，使用查詢條件向各個數(shù)據(jù)分區(qū)進行映射，得到其映射范圍。在此范圍內(nèi)，劃分具體覆蓋區(qū)域，根據(jù)數(shù)據(jù)分布范圍進行進一步的分辨，得到分類后的數(shù)據(jù)庫數(shù)據(jù)。將上述計算結(jié)果傳送至下個環(huán)節(jié)，將接收的數(shù)據(jù)按照順序存儲在緩沖區(qū)域內(nèi)，將這些數(shù)據(jù)組成一個新的序列，并根據(jù)兩個序列的線性關(guān)系設(shè)置閾值。綜上所示，得到數(shù)據(jù)查詢結(jié)果如下。

式（5）中：表示查詢器顯示內(nèi)容；表示查詢數(shù)據(jù)信息；表示查詢條件。

根據(jù)上述計算數(shù)值，進一步提升數(shù)據(jù)信息的召回率，從而完成智能辦公自動化系統(tǒng)中的辦公海量數(shù)據(jù)快速查詢。

2 實驗論證分析

2.1 實驗設(shè)置

為驗證本文提出的方法的整體有效性，對其進行了召回率和查詢時間的實驗。實驗環(huán)境設(shè)置如下：實驗前端主機CPU為Pentium 1.8 GHz，前端和終端網(wǎng)絡(luò)協(xié)議為TCP/IP，前端操作體系為Windows 2019，終端環(huán)境CPU為Pentium 1.8 GHz，終端操作體系為Windows XP。

實驗在一個包含5個數(shù)據(jù)庫的辦公文件中進行，5個數(shù)據(jù)庫的容量各不相同。將第5個數(shù)據(jù)庫的數(shù)據(jù)作為需要查詢的數(shù)據(jù)，將數(shù)據(jù)庫5中的300個數(shù)據(jù)以隨機原則分別分布在其他4個數(shù)據(jù)庫中，組成最新的4個數(shù)據(jù)庫進行查詢實驗。具體數(shù)據(jù)庫容量為：數(shù)據(jù)庫1容量3 000個，數(shù)據(jù)庫2容量1 800個，數(shù)據(jù)庫3容量2 500個，數(shù)據(jù)庫4容量1 000個。需要查詢的數(shù)據(jù)均為300個。

2.2 實驗結(jié)果分析

本文通過將上述數(shù)據(jù)庫用3種方法進行查詢，并統(tǒng)計查詢所用時間。3種方法查詢所用時間如圖2所示。

根據(jù)圖2對比結(jié)果可知，高官岳等人[1]提出的查詢方法受數(shù)據(jù)庫容量的影響，查詢時間變化較大，且查詢所用時間較多；易葉青等人[2]提出的查詢方法所需的查詢時間較多，所用時間在論文提出的查詢方法的2倍以上，且論文提出的查詢方法的查詢時間始終在240 ms以下，受數(shù)據(jù)庫容量的影響較小。因此，論文提出的查詢方法可以在很大程度上節(jié)約辦公海量數(shù)據(jù)查詢時間。

辦公海量數(shù)據(jù)快速查詢方法需要在時間和召回率上同時達到要求，因此，在上述實驗基礎(chǔ)上，對辦公海量數(shù)據(jù)查詢的召回率進行統(tǒng)計，作為信息檢索的重要評估指標，用于衡量查詢方法在檢索過程中能夠找到所有數(shù)據(jù)的能力。召回率指標越高，表明查詢方法查詢到的相關(guān)數(shù)據(jù)越準確，其漏檢的可能性越小。3種方法查詢召回率數(shù)值如表1所示。

表1數(shù)據(jù)顯示，隨數(shù)據(jù)庫容量和需查詢的工作量的變化，3種方法對辦公海量數(shù)據(jù)快速查詢的召回率數(shù)值不同，且論文提出的查詢方法明顯優(yōu)于另外兩種方法；在數(shù)據(jù)庫容量不超過3 000情況下，論文提出的查詢方法的召回率始終在97%以上，且隨實驗數(shù)據(jù)庫容量的增加，對其召回率的影響并不大；相比之下，高官岳等人[1]提出的查詢和易葉青等人[2]提出的查詢方法的數(shù)據(jù)查詢召回率較低。因此，使用論文提出的查詢方法可以相對準確地查詢辦公海量數(shù)據(jù)中所需數(shù)據(jù)，減小漏檢的可能性。

3 結(jié)語

通過結(jié)合索引技術(shù)、數(shù)據(jù)分區(qū)、緩存技術(shù)、搜索引擎集成、并行處理與分布式計算、數(shù)據(jù)分析與挖掘等技術(shù)的優(yōu)點，本文提出的查詢方法實現(xiàn)了智能辦公自動化系統(tǒng)中的辦公海量數(shù)據(jù)的快速查詢，實現(xiàn)了數(shù)據(jù)查詢工作的高效率目標，從而提供高效、準確的查詢體驗。由于本文提出的查詢方法僅在數(shù)據(jù)查詢速度和召回率上進行了優(yōu)化，因此，系統(tǒng)的可擴展性和穩(wěn)定性還存在一定的優(yōu)化空間。隨著系統(tǒng)的不斷升級，在未來的研究中，需要對查詢系統(tǒng)的可擴展性和穩(wěn)定性進行進一步的探究，使智能辦公自動化系統(tǒng)中的辦公海量數(shù)據(jù)快速查詢方法可以更加全面地為用戶服務。

參考文獻

[1]高官岳，孫傳恒，羅娜，等. 基于區(qū)塊鏈的農(nóng)產(chǎn)品供應鏈溯源數(shù)據(jù)多條件查詢優(yōu)化方法研究 [J]. 農(nóng)業(yè)機械學報， 2024， 55 （3）： 362-374.

[2]易葉青，易穎杰，劉云如，等. 面向電力物聯(lián)網(wǎng)流數(shù)據(jù)的一種具有隱私保護的KNN查詢方法 [J]. 計算機應用研究， 2024， 41 （4）： 1198-1207.

[3]邱濤，王嶼涵，鄧國鵬，等.面向圖數(shù)據(jù)的結(jié)構(gòu)化正則路徑查詢方法[J].計算機應用研究，2023，40（10）：3022-3027.

[4]劉宏新，張一鳴，解勇濤，等. 聯(lián)合收獲機知識庫數(shù)據(jù)多表聯(lián)合查詢方法研究 [J]. 農(nóng)業(yè)機械學報， 2023， 54 （5）： 150-162.

[5]趙鑫，萬英格，劉英博. 一種時序數(shù)據(jù)模式演化的跟蹤與查詢方法 [J]. 計算機研究與發(fā)展， 2022， 59 （9）： 1869-1886.

[6]張學旺，付康，葉財金，等. 面向醫(yī)療區(qū)塊鏈的新型輕節(jié)點數(shù)據(jù)查詢方法 [J]. 應用科學學報， 2022， 40 （4）： 600-610.