大數據時代的食品安全檢測和預警

李夏冰+凌文婧

隨著互聯網以及其他產業數據量爆炸式的增長，大數據、云計算等概念越來越多地被人們提及。2012年，聯合國發布了大數據政務白皮書，指出大數據對于聯合國和各國政府來說是一個歷史性的機遇。公認的大數據四個特征為：數據量大（Volume）、類型繁多（Variety）、價值密度低（Value）、速度快時效高（Velocity）。這與食品安全監測所獲取的數據特征相符合。其中數據量大對應的是每天成千上萬種食品在生產、加工、銷售、檢疫時產生的海量數據；類型繁多對應的是食品監測數據類型的多樣化，如：分光光度值、氣相及液相色譜值、甲基紅試驗染色值、熒光光度值等等；而在這些海量的數據中，尋找潛藏的食品安全隱患和發展趨勢猶如大海撈針；食品作為快速消耗品，由于較短的保質期限制，在生產出來之后迅速被消費和消耗，因此食品安全監測數據的時效性非常重要。因此，海量的食品安全預警數據適合使用大數據的思維方式、處理手段進行分析和處理。使用大數據進行食品安全預警將成為食品安全監測手段發展的新趨勢。

大數據時代食品安全數據的特點

大數據時代，數據的顆粒度、維度、活性、規模、關聯度成為衡量數據價值最重要的性質。

數據的顆粒度反映的是數據的精細化程度，對于單個食品而言，單一的檢測指標往往難以反映該食品質量的全貌，2008發生的三聚氰胺事件，暴露了我國食品檢測手段及方式的漏洞，增加食品監測數據的顆粒度，有助于為食品安全提供更加全方位的信息。

數據的維度指的是數據來源的豐富性。信息時代，食品安全數據不僅限于企業和監管部門，計算機網絡信息、媒體報道、輿情資訊等等渠道，同樣能為食品安全監測和預警提供重要的數據來源。這些渠道為食品質量提供了最及時、最客觀的逆向反饋，許多食品質量問題在食品的加工銷售和運輸途中往往難以發覺，在消費者手中才得到了及時的揭露。近期暴露的食品安全問題有不少是由于消費者舉報，獲得媒體報道后才引起相關部門的調查和重視的，因此，網絡、媒體及大眾言論為食品生產企業和監管部門掌握第一手材料提供了可能，應當作為食品監測數據的來源之一。

數據的活性指的是數據被更新的頻次，從食品安全監測數據上看，數據的活性較大，表現在數據獲取頻繁：如一周一檢、一天一檢、不少生鮮食品甚至一小時一檢，這些頻繁獲取的數據在很大程度上增強了數據的活性、使得數據實時、可信、可靠。

數據的規模指的是數據量的大小，我們就液態牛奶從原奶到上市期間的檢驗數據為例，來估測其數據量大小：原奶運輸到工廠后需進行質量檢驗，檢驗指標共計117項，包括感官、滋味、氣味、理化特性、微生物含量等多個方面；牛奶在儲存之后需進行原奶檢驗，檢驗指標包括上述各類，附加對容器、倉儲條件的檢驗；在牛奶經過巴氏消毒后，需進行儲存檢驗，儲存檢驗參照巴氏殺菌乳國家標準，共有10項必檢，包括理化標準、微生物指標、感官指標、儲藏方式等；儲存檢驗后，進行保溫試驗，必檢的項目包括64項，外加風險監測項目44項。整個牛奶生產過程需要進過4個部分累計達到899項指標的檢驗。這些檢驗過程受到農業主管部門和質量監督部門的監管。在流通過程中，需進過工商部門、出入境檢驗檢疫部門的抽檢，合格后方能在超市上架或通過海關流通，期間需進過工商部門、出入境檢驗檢疫部門、媒體大眾等相關單位的監管和監督。工商部門檢驗的項目共計12項，出入境檢驗檢疫部門需檢驗的項目共計60項。筆者粗略估計了一下，單盒液態純牛奶從生產源頭到消費者手中，共需經歷檢驗最少六次抽查，總體971項指標，還不包括對奶牛和飼料的檢驗指標。我國2012年全年共計生產牛奶3744萬噸，按照每1ml牛奶的重量是1.0288，每盒牛奶250ml，每個檢測指標的儲存占4個字節。計算，一年僅因牛奶檢測而產生的數量量達到5.653×1014≈514T。這些數據生產出來后大多數被丟棄。

數據的關聯度指的是數據之間的相關程度，如上文所述，食品安全數據指標各不相似、表現了食品安全指標的方方面面，然而這些數據之間關聯性很差，如：食品添加劑的數據檢測值和食品中農藥殘留值在理論上無相關性，然而基于各類食品的不同特征，挖掘食品安全指標中的潛在規則能為食品安全預警提供數據參考和經驗借鑒。上文已介紹了不少文獻使用數據挖掘領域中關聯規則挖掘數據價值的方法，在此不再贅述。

大數據時代食品安全數據的獲取方式

按照傳統方式可在食品生產、流通過程中收集到大量的、可靠的食品安全數據，按照上文的介紹，這些數據量已經非常龐大。以下介紹幾種食品安全預警數據的其他獲取方式：

媒體大眾渠道的食品安全數據獲取方式。食品消費的終點是消費者手中，對于食品的安全質量，消費者最具有發言權，傳統的食品安全數據僅僅來源于食品生產部門和監督管理部門，來源單一、片面。利用大數據對于數據的收集、處理方法，可以方便快捷地收集到網絡媒體、微博、論壇中關于食品安全的消費者反饋。并通過對自然語言的分析判別正面負面信息，對食品安全預警具有非常重要的指導性意義。另外，通過對食品安全言論相關信息分析，可精確判別食品質量問題發生的區域、時間、受害群體，對食品安全問題做出實時、精確、精準的預報。

基于食品安全追溯系統的數據獲取方式。食品安全追溯系統的建立旨在實現視頻“從田間到餐桌”的一條龍式質量監管，以期在食品的生產和銷售過程進行無疏漏跟蹤，確保食品的質量。現在國內外許多企業、政府部門正在大力加強和促進該系統的建立建設，可預見食品安全追溯系統在未來將被迅速建立、并具有長足的發展。在食品安全追溯的過程中，眾多數據被實時監控并記錄了下來，其中不僅僅包括食品加工、原材料的數據，還可包括如：食品容器、食品儲存環境、食品來源地等許許多多的附加信息，這些信息對于消費者購買流食品提供了非常全面的信息。對于食品安全預警而言，這些實時連貫性的數據可以更方便地進行時間維度上的趨勢擬合和預警分析。

大數據時代食品安全數據的處理方式。

使用大數據思路和分析方法對食品安全進行檢測和預警，首先要充分使用數據科學的處理方法，由于不同的數據和來源渠道，非結構化數據代替結構化數據成為分析和處理的主要對象，常見的數據有以下幾類：表格、點集、時間序列、圖像、視頻、網頁以及其他的網絡數據。每一種非結構化數據都應當對應相應的處理方式，如，點集可使用概率分布方法進行擬合；時間序列數據可采用隨機過程（如隱式馬氏過程）方法進行處理；圖像可通過隨機場（如吉布斯隨機場）進行分析；網絡數據可通過圖模型、貝葉斯模型來處理。

進行初步處理后的數據，可通過以下方式判別其價值，如：相關性（若所得數據與其他數據具有弱相關性，則可考慮丟棄）、排序（對數據的重要性進行排序，如食品中重金屬含量的重要性要遠高于蛋白質含量，可考慮增加其權重或在數據建模中優先考慮）、分類和聚類（使用分類和聚類方法能快速尋找到數據之間的相互關聯，找到其相似性。對相似特點的數據進行統一處理，減少后續處理的數據量）。

在上述數據處理的基礎上，可考慮對數據價值的進一步提取和分析，如：建立度量空間，討論數據之間范式距離的遠近以及關聯性的大小；建立網絡拓撲結構，討論數據之間的空間關聯性及分布情況；建立函數結構，討論數據之間的統計學規律（如相關性、回歸系數、主成分分析）等。

另外，處理食品安全大數據，需要引進大數據管理系統和技術流程。廣泛使用的大數據管理系統有Hadoop/ Hive系統，常用的底層支持框架有Core/ Avro等，常用的數據存儲系統有Hbase/ MapReduce等分布式、非關系型數據庫，常用的文件系統有HDFS等。值得一提的是，當今大數據技術有大量的開源軟件，開源算法，大大豐富和方便了人們在其之上進行編程和應用，為使用大數據思維和方法處理食品安全數據提供了技術支持。