淺析國(guó)內(nèi)數(shù)據(jù)集檢索的數(shù)據(jù)源

王國(guó)碩 譚蓉 陳彥均

【摘 要】國(guó)內(nèi)數(shù)據(jù)集眾多，為了有效檢索數(shù)據(jù)集亟需面向基于垂直檢索的數(shù)據(jù)集檢索平臺(tái)。本文從數(shù)據(jù)集數(shù)據(jù)源形成，和國(guó)內(nèi)的數(shù)據(jù)集數(shù)據(jù)源分布情況進(jìn)行分析，并對(duì)數(shù)據(jù)集檢索存在的問(wèn)題進(jìn)行思考，同時(shí)為需要數(shù)據(jù)集的工作者提供參考。

【關(guān)鍵詞】數(shù)據(jù)集;數(shù)據(jù)開(kāi)放;數(shù)據(jù)集檢索

數(shù)據(jù)集是由數(shù)據(jù)組成的集合，隨機(jī)器學(xué)習(xí)而興起，在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，數(shù)據(jù)從未如此重要，不但應(yīng)用于機(jī)器學(xué)習(xí)等領(lǐng)域，也是各學(xué)科的科學(xué)研究者的重要數(shù)據(jù)來(lái)源。

數(shù)據(jù)集在數(shù)據(jù)集檢索平臺(tái)出現(xiàn)之前，需要去各個(gè)網(wǎng)站進(jìn)行站內(nèi)檢索，費(fèi)時(shí)費(fèi)力。但是除了檢索公開(kāi)的數(shù)據(jù)集外，想要獲得大量的數(shù)據(jù)非常困難。2012年，科瑞唯安公司推出數(shù)據(jù)集引用統(tǒng)計(jì)和共享平臺(tái)，主要分享科研過(guò)程中產(chǎn)生的數(shù)據(jù)集，依托著名文獻(xiàn)庫(kù)WebOfScience得到廣泛傳播。2018年9月，Google推出數(shù)據(jù)集檢索平臺(tái)（Dataset Search）的測(cè)試版，2020年1月才正式上線，搜索范圍涵蓋媒體、網(wǎng)站上存在的數(shù)據(jù)集。

國(guó)內(nèi)目前數(shù)據(jù)集平臺(tái)很多，尚缺少全網(wǎng)數(shù)據(jù)集的檢索，這里針對(duì)數(shù)據(jù)集檢索中數(shù)據(jù)源的問(wèn)題進(jìn)行淺析。

一、數(shù)據(jù)集的形成

數(shù)據(jù)集的形成早期依賴(lài)于科研過(guò)程中產(chǎn)生，后隨著我國(guó)數(shù)據(jù)應(yīng)用技術(shù)的提升和應(yīng)用范圍的擴(kuò)大，產(chǎn)生了各種政府、商業(yè)領(lǐng)域的大量數(shù)據(jù)集。

數(shù)據(jù)集形成多種多樣，為了了解數(shù)據(jù)集檢索中信息源的形成根源，這里以國(guó)內(nèi)外媒體在COVID-19疫情期間大量引用的霍普金斯大學(xué)的疫情儀表板為例。疫情儀表板依托的就是疫情的數(shù)據(jù)集，且來(lái)自各個(gè)國(guó)家。疫情數(shù)據(jù)雖然在各個(gè)平臺(tái)包括國(guó)內(nèi)的騰訊、阿里以及世界衛(wèi)生組織都有發(fā)布，但任一時(shí)間，經(jīng)常會(huì)看到各平臺(tái)的數(shù)據(jù)不盡相同。也就是各平臺(tái)相對(duì)獨(dú)立，并不是互相聯(lián)通，各自有自己的數(shù)據(jù)采集過(guò)程。在2020年1月份啟動(dòng)的時(shí)候，霍普金斯大學(xué)獲取各個(gè)國(guó)家的數(shù)據(jù)，主要還是依賴(lài)手工整理，更新的數(shù)量通常每天進(jìn)行早晚兩次，2月份采用半自動(dòng)化采集。數(shù)據(jù)源包括多個(gè)國(guó)家政府衛(wèi)生部門(mén)，以及數(shù)據(jù)匯總網(wǎng)站，包括1point3acres（一畝三分地論壇），Worldometers.info，BNO，和COVID跟蹤項(xiàng)目（檢測(cè)和住院），依靠當(dāng)?shù)匦l(wèi)生部門(mén)和當(dāng)?shù)孛襟w報(bào)道的組合，其中，中國(guó)的數(shù)據(jù)來(lái)自于丁香園社區(qū)。

經(jīng)過(guò)分析后，數(shù)據(jù)集檢索中面臨的幾個(gè)問(wèn)題：1.數(shù)據(jù)集在形成的過(guò)程中就分屬各個(gè)部門(mén)、網(wǎng)站甚至各個(gè)國(guó)家，最后也分屬在各個(gè)平臺(tái)上，沒(méi)有統(tǒng)一的檢索平臺(tái)，對(duì)很多科研人員查找數(shù)據(jù)造成困難。例如霍普金斯大學(xué)選擇在github上進(jìn)行開(kāi)放。2.通過(guò)例子可以看出，一份數(shù)據(jù)集通常包含了很多科研工作人員大量的心血，特別是涉及商業(yè)領(lǐng)域的數(shù)據(jù)集，如何開(kāi)放，哪些免費(fèi)也是要考慮的問(wèn)題。3.疫情數(shù)據(jù)除了在github上獲取，也會(huì)在其他網(wǎng)站找到數(shù)據(jù)集，但是很多不能確定是否權(quán)威，還有數(shù)據(jù)集質(zhì)量的問(wèn)題，很多數(shù)據(jù)集如果只是簡(jiǎn)單的清洗分本無(wú)法使用。

針對(duì)目前國(guó)內(nèi)數(shù)據(jù)集的情況，在沒(méi)有統(tǒng)一數(shù)據(jù)集檢索平臺(tái)的時(shí)候，優(yōu)先考慮現(xiàn)有數(shù)據(jù)集分布在哪些網(wǎng)站里。

二、國(guó)內(nèi)數(shù)據(jù)集的信息源

（一）政府機(jī)構(gòu)

從2014年廣東省成立了大數(shù)據(jù)管理局并發(fā)布廣州市政府?dāng)?shù)據(jù)統(tǒng)一開(kāi)放平臺(tái)之后，截至2019年上半年，我國(guó)已有82個(gè)各級(jí)的政府部門(mén)發(fā)布了數(shù)據(jù)開(kāi)放平臺(tái)，比2018年增加了78.2%，我國(guó)的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》中明確提出“推動(dòng)政府?dāng)?shù)據(jù)開(kāi)放共享”。所以，政府開(kāi)放數(shù)據(jù)是大勢(shì)所趨。從省級(jí)到低級(jí)，開(kāi)放了各種數(shù)據(jù)平臺(tái)，均提供了數(shù)據(jù)集下載的功能。

以成都市公共數(shù)據(jù)開(kāi)放平臺(tái)（http：//www.cddata.gov.cn）為例，2018年5月平臺(tái)正式開(kāi)通。截至2020年7月，共開(kāi)放1649個(gè)開(kāi)放目錄，1708個(gè)開(kāi)放數(shù)據(jù)集，涉及57個(gè)部門(mén)，具體105873807條數(shù)據(jù)，5106個(gè)數(shù)據(jù)文件，86個(gè)API，13個(gè)應(yīng)用。平臺(tái)提供了兩種方式獲取數(shù)據(jù)資源，分別是下載數(shù)據(jù)和在線調(diào)用API。平臺(tái)已經(jīng)提供的數(shù)據(jù)來(lái)源于各政府部門(mén)，可以通過(guò)各類(lèi)數(shù)據(jù)的元數(shù)據(jù)文件查看了解其來(lái)源，每類(lèi)數(shù)據(jù)都有其固定的更新周期，各部門(mén)會(huì)根據(jù)數(shù)據(jù)的更新周期進(jìn)行更新。

以具體數(shù)據(jù)集來(lái)看，例如“設(shè)計(jì)企業(yè)（市政）信用排名”數(shù)據(jù)集信息，該數(shù)據(jù)開(kāi)放狀態(tài)為普遍開(kāi)放，來(lái)源部門(mén)為成都市住房和城鄉(xiāng)建設(shè)局，數(shù)據(jù)量達(dá)到314894條，提供四種格式的下載，分別是XLS、XML、JSON、CSV。該數(shù)據(jù)集共包含10個(gè)字段，分別是主鍵、唯一標(biāo)識(shí)、企業(yè)名稱(chēng)、組織機(jī)構(gòu)碼或統(tǒng)一社會(huì)信用代碼、今日得分、今日排名、發(fā)布時(shí)間、提供日期、60日平均得分、60日排名，其中今日得分是定量數(shù)據(jù)。以具體一條數(shù)據(jù)來(lái)看，數(shù)據(jù)內(nèi)容詳細(xì)，沒(méi)有缺失字段。

（二）科研機(jī)構(gòu)

早期的數(shù)據(jù)集分享主要集中在科研機(jī)構(gòu)的科學(xué)數(shù)據(jù)集和學(xué)術(shù)文獻(xiàn)分享的數(shù)據(jù)。這一類(lèi)數(shù)據(jù)集的應(yīng)用收到開(kāi)放數(shù)據(jù)運(yùn)動(dòng)的影響。開(kāi)放數(shù)據(jù)的想法是，任何人都應(yīng)可以自由使用某些數(shù)據(jù)，并在不受版權(quán)、專(zhuān)利或其他限制的情況下隨意重新發(fā)布。”政府，組織和機(jī)構(gòu)發(fā)布可以完全訪問(wèn)數(shù)據(jù)的開(kāi)放數(shù)據(jù)已經(jīng)在我國(guó)積極推進(jìn)，如果科研機(jī)構(gòu)也開(kāi)放更多的科研數(shù)據(jù)，提供有組織，有據(jù)可查和及時(shí)的數(shù)據(jù)公開(kāi)方式，它將具有巨大的社會(huì)經(jīng)濟(jì)價(jià)值，并有助于個(gè)人和社區(qū)做出更好的決策，對(duì)職能部門(mén)的監(jiān)督只是表面功能之一，更大的價(jià)值在于可以推進(jìn)社會(huì)對(duì)數(shù)據(jù)進(jìn)行創(chuàng)新性應(yīng)用，這一點(diǎn)更符合“數(shù)據(jù)是拿來(lái)用的“的思維。

以中國(guó)科學(xué)院數(shù)據(jù)云門(mén)戶(hù)的資源學(xué)科創(chuàng)新平臺(tái)（http：//www.data.ac.cn/info/）為例，共開(kāi)放180個(gè)數(shù)據(jù)集，涵蓋了基礎(chǔ)地理數(shù)據(jù)、生態(tài)環(huán)境數(shù)據(jù)、社會(huì)經(jīng)濟(jì)數(shù)據(jù)、典型全球數(shù)據(jù)等類(lèi)別，以黃河泥沙水文數(shù)據(jù)集為例，雖然數(shù)據(jù)字段豐富，但是存在下載渠道沒(méi)有及時(shí)維護(hù)的情況。通過(guò)平臺(tái)的整體來(lái)看，大數(shù)據(jù)驅(qū)動(dòng)的資源學(xué)科創(chuàng)新示范平臺(tái)是面向重大科學(xué)問(wèn)題和國(guó)家發(fā)展戰(zhàn)略布局、經(jīng)濟(jì)社會(huì)重大需求的重要平臺(tái)，國(guó)內(nèi)的科研機(jī)構(gòu)也在積極推進(jìn)科研數(shù)據(jù)的開(kāi)放，只是數(shù)據(jù)集的具體下載等需求的滿(mǎn)足需要逐步進(jìn)行完善。

（三）商業(yè)機(jī)構(gòu)

商業(yè)機(jī)構(gòu)也是數(shù)據(jù)集下載的重要途經(jīng)，多樣性較強(qiáng)。既有政府推動(dòng)的項(xiàng)目也有企業(yè)的自行探索。例如，貴陽(yáng)大數(shù)據(jù)交易所就是2014年在貴州省政府、貴陽(yáng)市政府的支持下掛牌運(yùn)營(yíng)，是我國(guó)乃至全球第一家大數(shù)據(jù)交易所貴陽(yáng)大數(shù)據(jù)交易所，但是主要面向企業(yè)提供數(shù)據(jù)集的交易服務(wù)。

國(guó)內(nèi)存在一些致力的數(shù)據(jù)集服務(wù)的網(wǎng)站，該類(lèi)多為近幾年出現(xiàn)的創(chuàng)業(yè)公司提供的服務(wù)，以數(shù)據(jù)超市網(wǎng)站（http：//www.data-shop.net/）為例，該平臺(tái)的數(shù)據(jù)由定制的爬蟲(chóng)程序采集于互聯(lián)網(wǎng)，所有數(shù)據(jù)均為網(wǎng)站公開(kāi)的非隱私數(shù)據(jù)，任何人均可看到，以數(shù)據(jù)集的形式提供。該類(lèi)數(shù)據(jù)的商業(yè)性應(yīng)用更強(qiáng)，相當(dāng)于節(jié)省了用戶(hù)批量采集數(shù)據(jù)的時(shí)間，代替用戶(hù)進(jìn)行爬蟲(chóng)實(shí)施與部署，直接提供數(shù)據(jù)集，大部分是付費(fèi)服務(wù)，需要用戶(hù)進(jìn)行權(quán)衡。

很多商業(yè)網(wǎng)站提供免費(fèi)的致力于機(jī)器學(xué)習(xí)的數(shù)據(jù)集，例如百度的paddle和阿里的天池平臺(tái)。以阿里的天池平臺(tái)為例，截至2020年7月，提供的數(shù)據(jù)集有40個(gè)，注重?cái)?shù)據(jù)量和時(shí)效性。例如，平臺(tái)提供2019-nCoV 新型冠狀病毒基因測(cè)序數(shù)據(jù)、中文糖尿病標(biāo)注數(shù)據(jù)集、優(yōu)酷視頻增強(qiáng)和超分?jǐn)?shù)據(jù)集，囊括的多領(lǐng)域的數(shù)據(jù)集。綜合來(lái)看，創(chuàng)業(yè)公司的網(wǎng)站提供多面向市場(chǎng)以爬蟲(chóng)為主要獲取途徑的商業(yè)數(shù)據(jù)集，而有機(jī)器學(xué)習(xí)研究背景的公司會(huì)提供數(shù)據(jù)量較大適合深度學(xué)習(xí)領(lǐng)域應(yīng)用的數(shù)據(jù)集

三、國(guó)內(nèi)數(shù)據(jù)集檢索的思考

綜合上面的分析，針對(duì)國(guó)內(nèi)數(shù)據(jù)集檢索提出一些下列思考

（一）需要一個(gè)數(shù)據(jù)集垂直檢索平臺(tái)

國(guó)內(nèi)的數(shù)據(jù)集廣泛分布在政府機(jī)構(gòu)、科研機(jī)構(gòu)、商業(yè)機(jī)構(gòu)和媒體以及開(kāi)源網(wǎng)站上，構(gòu)建一個(gè)垂直檢索平臺(tái)，專(zhuān)注于數(shù)據(jù)集在全網(wǎng)的搜索，將提高檢索效率，同時(shí)讓更多有價(jià)值的數(shù)據(jù)集得到應(yīng)用。垂直檢索平臺(tái)的構(gòu)建從國(guó)外經(jīng)驗(yàn)來(lái)看，一般適合擁有搜索引擎技術(shù)且數(shù)據(jù)資源豐富的公司來(lái)實(shí)施。目前全世界范圍內(nèi)也在探索，但是各數(shù)據(jù)集檢索的平臺(tái)也在日益完善，從數(shù)據(jù)集的質(zhì)量和數(shù)量上穩(wěn)步提升，國(guó)內(nèi)可以借鑒可參考。

（二）數(shù)據(jù)集檢索需要規(guī)范元數(shù)據(jù)的著錄標(biāo)準(zhǔn)

可政府開(kāi)放數(shù)據(jù)早期遇到的難題相同，各個(gè)部門(mén)各自為戰(zhàn)，各自存儲(chǔ)了大量的數(shù)據(jù)，但是整合到同一個(gè)政府?dāng)?shù)據(jù)開(kāi)放平臺(tái)遇到的最大挑戰(zhàn)就是元數(shù)據(jù)的朱璐標(biāo)準(zhǔn)不統(tǒng)一的問(wèn)題，大幅降低了數(shù)據(jù)整合的效率。一個(gè)面向全網(wǎng)的數(shù)據(jù)集的垂直檢索平臺(tái)同樣面臨這樣的問(wèn)題，而且是各個(gè)類(lèi)型的機(jī)構(gòu)，數(shù)據(jù)集的元數(shù)據(jù)標(biāo)準(zhǔn)想統(tǒng)一難度更大。但是可以像都柏林核心元數(shù)據(jù)標(biāo)準(zhǔn)一樣，將幾個(gè)核心字段加以描述，同時(shí)有利于數(shù)據(jù)集的檢索，更容易被用戶(hù)發(fā)現(xiàn)，這樣可以驅(qū)動(dòng)數(shù)據(jù)集的提供者提高元數(shù)據(jù)的著錄質(zhì)量。

（三）知識(shí)產(chǎn)權(quán)問(wèn)題

涉及到數(shù)據(jù)開(kāi)發(fā)，都會(huì)考慮到哪些應(yīng)該開(kāi)放的問(wèn)題，特別是商業(yè)領(lǐng)域的數(shù)據(jù)，需要加強(qiáng)知識(shí)產(chǎn)權(quán)意識(shí)，科研數(shù)據(jù)集也應(yīng)該明確數(shù)據(jù)集所有者的權(quán)利，規(guī)范應(yīng)享有的基本權(quán)利。良好的知識(shí)產(chǎn)權(quán)保護(hù)體系更有利于數(shù)據(jù)集檢索的實(shí)施與數(shù)據(jù)集的利用。可以參考全世界范圍內(nèi)推廣的知識(shí)共享許可協(xié)議（簡(jiǎn)稱(chēng)CC協(xié)議），將其應(yīng)用于數(shù)據(jù)集的存儲(chǔ)領(lǐng)域，將有利于數(shù)據(jù)集檢索的實(shí)施，更快鎖定信息源并知曉數(shù)據(jù)集所有者該享有的權(quán)益。

【參考文獻(xiàn)】

[1]楊波趙揚(yáng)焦紅.國(guó)際主要科學(xué)數(shù)據(jù)集檢索平臺(tái)對(duì)比研究[J].情報(bào)工程，2020（01）：22-33

[2] 徐咪咪.我國(guó)政府開(kāi)放數(shù)據(jù)的元數(shù)據(jù)標(biāo)準(zhǔn)主題研究[J]. 江蘇科技信息.2020（02）：7-9

[3] Mapping COVID-19[EB/OL].[2020/1/23][2020/07/02]. https：//systems.jhu.edu/research/public-health/ncov.