基于多模態學習的空間科學實驗圖像描述

李沛卓，萬 雪，李盛陽

（中國科學院大學中國科學院空間應用工程與技術中心中國科學院太空應用重點實驗室，北京 100094）

1 引言

中國空間站核心艙于2021 年4 月29 日成功發射，其上搭載了10 余個科學實驗柜，用于開展空間生命科學與生物技術、微重力流體物理與燃燒科學、空間材料科學等11 個方向的科學實驗。面對海量的數據，如何快速的自動提取大量數據中的目標，對專業性較強的空間科學實驗圖像/視頻自動添加描述性內容、對其進行圖像描述，讓科學家快速定位實驗關鍵過程、獲取豐富的語義信息，使復雜的科學知識與應用成果信息以可視化形式進行交互，已經成為空間科學與應用數據管理以及眾多專家學者共同關注的話題。

近年來，隨著人工智能的飛速發展，深度學習技術在計算機視覺領域得到了廣泛的應用和發展。目標分割算法通過對興趣區域進行分類和分割，已經成為計算機視覺的重要任務，廣泛應用到農業種植［1］、遙感影像處理［2］、自動駕駛［3］等多個領域。按照分割結果是否具有語義信息，目標分割主要分為語義分割，如Mask R-CNN［4］、U-Net［5］等，和非語義分割，如傳統的Ostu［6］、改進的Canny 邊緣檢測［7］、DSS 顯著性檢測［8］等。

計算機學會了識別物體，為了使計算機能真正看懂圖像，將視覺信息和自然語言相融合，使計算機對圖像進行深層次理解，生成自然語言描述。從圖像中生成視覺內容的自然語言描述的任務，就是“圖像描述”［9］。常見的圖像描述算法如Neuraltalk2［10］、“show and tell”［11］、DenseCap［12］等只能處理訓練時見過的語料庫里的物體，訓練過程非常依賴于圖像和對應的描述，模型的輸入均是圖像和描述成對出現，在只有圖像和類別的情況下，無法進行遷移學習。因此圖像描述一個重要的任務是如何在保持模型生成句子的能力的同時，僅告訴模型新的類別，來進行遷移學習。在此情況下，DCC［13］、NOC［14］、Nocaps［9］等應運而生。其中，DCC、NOC 這些模型需要加入新類別重新訓練，較為復雜，且需要強大的計算資源支持。Nocaps 使用自上而下的描述模型［15］、NBT［16］、Constrained Beam Search（CBS）［17］等基準模型，通過將解碼問題轉換為具有對應于約束滿足轉換條件的有限狀態機，來使語言模型含有稱為約束的特定單詞，然而Nocaps 需要提供每一張圖像中新類別的邊界框等相關人工標注信息，過于依賴人工標注。

面對海量的數據，如何讓科學家快速定位實驗關鍵過程，獲取豐富的語義信息，對空間科學實驗對象進行語義分割只是第一步，屬于低層次感知層面，未考慮各個對象之間的關聯。為了讓科學家快速定位實驗關鍵過程，獲取更為詳細的實驗過程信息，將語義分割結果和自然語言相結合，對空間科學實驗數據進行專業性的一句話描述，這對于快速提取實驗過程相關信息、自動理解實驗數據數據中的內容非常重要。同時也為科學家開展科學研究提供輔助參考，促進科學發現與成果產出。

如何在保持模型具有生成句子的能力下，融入新的空間科學實驗類別，對空間科學實驗進行專業性描述，實現自動化的淺層類別感知到深層場景理解，是本文的主要研究內容。

空間科學實驗圖像描述存在以下難點：（1）空間科學實驗對象一般尺寸較小，往往會在深層神經網絡中發生目標消失的情況，較難有效地將其檢測出來；（2）空間科學實驗類別繁多，但總體數據樣本較少，沒有大量數據積累，深度學習所用的大規模數據學習方式就不適用；（3）空間科學實驗場景偏向于科學性和專業性，與通用場景差別較大，實驗類別也較為罕見，通用的圖像描述模型并不能準確地對空間科學實驗數據進行圖像描述。

針對以上問題，本文面向空間科學實驗數據，構建基于多模態學習的空間科學實驗圖像描述模型，自動化的對空間科學實驗對象進行語義分割，進而對整張實驗圖像進行描述，實現智能化地從淺層語義感知到深層場景理解。本文的創新點如下：

（1）構建空間科學實驗數據集

本文從國際空間站以及天舟一號和天宮二號的公開實驗數據中收集數據，最終標注3 016張圖片，包含空間植物實驗、空間細胞組織類實驗、空間燃燒實驗和空間流體實驗四大類。對數據分別進行語義掩碼的標注和圖像描述的標注，每一張圖像均標注一張彩色掩碼和3 句不同的英文描述。

（2）提出基于多模態學習的空間科學實驗圖像描述模型

本文基于改進U-Net 語義分割模型和No?caps 圖像描述算法，融合圖像、類別標簽、語義分割結果、自然語言等多種模態的數據。利用語義分割結果自動化地提取出空間科學實驗對象的語義和邊界框信息，融合基于語義分割的空間科學實驗詞匯候選和自下而上的通用場景圖像特征向量提取，在圖像描述過程中，不需要人工標注空間科學實驗對象的位置等信息，實現空間科學實驗圖像的自動解譯。

2 基于多模態學習的空間科學實驗圖像描述算法

圖1 為基于多模態學習的空間科學實驗圖像描述算法框架圖。它融合了圖像、類別標簽、語義分割結果、自然語言等多種模態的數據，主要由基于改進U-Net 的空間科學實驗語義分割、基于語義分割的空間科學實驗詞匯候選、自下而上的通用場景圖像特征向量提取和空間科學實驗圖像描述的學習四部分構成。首先對空間科學實驗利用改進U-Net 的語義分割模型進行語義分割；利用語義分割結果對空間科學實驗目標進行語義和邊界框提取，得到空間科學實驗詞匯候選；利用自下而上的注意力機制模型對空間科學實驗數據中的通用場景特征進行提取，得到通用圖像特征向量；將前兩步得到的相關特征信息輸入到自上而下的描述模型中，并利用CBS 進行詞匯約束，得到最終的描述結果。

圖1 算法框架圖Fig.1 Framework of the algorithm

2.1 基于改進U-Net 的空間科學實驗語義分割

對空間科學實驗的實驗對象進行分割主要是為科學家用戶提供定制化圖像檢測識別服務，而科學家用戶通常更關注自己領域內的實驗，需要的是特定實驗對象在地面實驗與空間站實驗的對比，因此分割模型不需要具有良好的普適性。由于空間科學實驗通常在實驗艙或是實驗柜中進行，實驗對象通常為小目標，這些小目標在經過卷積和池化操作后通常會發生目標消失的現象。

針對空間科學實驗樣本較少和目標較小的問題，研究應用基于U-Net 的語義分割框架：UNet 是最早針對醫療影像提出的圖像分割模型，其網絡結構簡單，適合醫療影像數據量少，圖像語義簡單結構較為固定的特點。空間科學實驗數據恰好與醫療影像的數據特點類似。因此本文采用基于U-Net 的結構從空間站的圖像/視頻數據中學習有效的語義特征，以地面數據為訓練集，對空間站實驗進行測試，實現對空間科學實驗對象的精準分割。

以U-Net 的U 型結構和跳躍連接結構為基礎，如圖2 所示，（a）圖為原始U-Net 網絡結構圖，（b）圖為改進的U-Net 網絡結構圖。具體改進如表1 所示，將其輸入層的網絡大小調整為256×256，進行6 次上采樣和6 次下采樣，設置激活函數為sigmoid 函數，損失函數為BCEDice 損失函數，使其更適用于空間科學實驗的語義分割。

圖2 原始U-Net 與改進U-Net 網絡結構對比圖Fig.2 Comparison of original U-Net and improved U-Net

表1 原始U-Net 和改進U-Net 對比Tab.1 Comparison between original U-Net and advanced U-Net

2.2 基于語義分割的空間科學實驗詞匯候選

對空間科學實驗進行圖像描述，由于實驗的專業性和科學性，采用通用模型，并不能準確檢測出空間科學實驗對象，往往還會進行誤識別。

為了使描述模型在不加人工標注的情況下自動識別出空間科學實驗對象，本文利用2.1 生成的語義分割結果獲得空間科學實驗的詞匯候選Ws，包括空間科學實驗對象的標簽信息Ls及位置信息bboxs，以此獲取空間科學實驗數據的專業性圖像特征。

具體的詞匯候選生成方法為，利用語義分割結果的掩碼圖像Masks，提取空間科學實驗對象的邊界區域，獲得目標區域的左上點坐標(x1，y1)和右下點坐標(x2，y2)，以此確定空間科學實驗對象的位置信息bboxs(x1，y1，x2，y2)。和語義分割結果得到的語義標簽Ls一起構成空間科學實驗詞匯候選結果Ws={Ls，bboxs(x1，y1，x2，y2)}。

2.3 自下而上的通用場景圖像特征向量提取

為了獲取空間科學實驗中的其他通用場景中的常見特征，如天宮二號擬南芥和水稻生長實驗中的窗口等信息，本文采用UpDown［15］算法中提到的自下而上的注意力機制模型對空間科學實驗數據進行通用場景圖像特征提取。

自下而上的注意力機制、自上而下的注意力機制，這兩種類型的注意力機制存在于人類的視覺系統中。其中，基于自下而上的注意力機制關注圖像興趣區域，屬于“硬”注意力機制；而基于自上而下的注意力集中關注圖像的整體內容，利用先驗知識或任務，來創建注意力所應在的視覺區域的標準，屬于“軟”注意力機制。因此對于計算機視覺而言，將圖像中顯著區域提取出圖像特征，就是基于自下而上的注意力模型的首要任務，這一步類似于對圖像進行特征編碼。如圖3所示，（a）為自下而上的注意力模型效果圖，（b）為傳統CNN 模型提取特征效果圖。相對于自下而上的的注意力模型，基于CNN 的模型檢測到了更多的特征，但是這些特征往往是無用的，且需消耗更多的時間和資源，因此本文選擇自下而上的注意力機制對圖像進行特征提取。

圖3 自下而上注意力機制和傳統CNN 特征提取效果圖Fig.3 Bottom-up attention and CNN attention results

UpDown 的自下而上的注意力模型框架采用嵌入ResNet-101 的Faster R-CNN［18］結 構，該模型在Visual Genome 圖像語義理解數據集中進行訓練。Faster R-CNN 是目標檢測網絡，它預先找到圖像中目標可能出現的位置，提取候選區域，并對候選區域進行分類。主要分為四個步驟：特征提取，區域提取網絡，目標區池化，目標分類。在這個過程中，Faster R-CNN 在框架中有效地起到了“硬”注意力機制的作用，僅從大量的可能中選擇了相對較少的圖像邊界框特征。

通過該模型提取出整張圖像的通用場景特征向量Fg={Lg，bboxg，fg}，Lg和bboxg為提取到的通用場景對象的類別和邊界框信息，格式與Ls及bboxs相同，相對于Ws，Fg增加了2 048 維的特征向量fg，包含檢測到對象的一些屬性信息，如顏色、材質等。

2.4 基于多模態學習的描述語句生成

空間科學實驗描述語句的生成，是基于多模態學習實現的，融合了圖像、類別標簽、語義分割結果、自然語言等多種模態的數據，從多種模態的數據中學習語義特征和。利用2.2 節的空間科學實驗語義分割結果得到的空間科學實驗的專業性詞匯候選Ws，與2.3 節得到的通用場景圖像特征向量Fg一起輸入到自上而下的描述模型中，并利用CBS 進行詞匯約束，進行模態共享混合遷移，得到跨媒體統一表征，以此來獲取最終的描述結果。基于自上而下的注意力集中關注圖像的整體內容，利用先驗知識或任務，來創建注意力所應在的視覺區域的標準。相對于自下而上的注意力機制，屬于高級感知。

UpDown 中的自上而下的描述模型主要由語言LSTM 和自上而下注意力LSTM 兩部分組成：自上而下的注意力LSTM 用來確定圖像特征的權重，在描述生成過程中對每個特征進行加權；語言LSTM 的輸入由注意力模型生成的特征加權和以及當前時刻注意力模型的隱藏狀態組合而成，最終輸出到Softmax 分類器中，得到每一個單詞的概率分布。

為了使描述模型能包含空間科學實驗的專業性信息，使用CBS 進行詞匯約束。CBS 使用有限狀態機FSM 來包含2 個或3 個空間科學實驗詞匯作為約束，如擬南芥、水稻、液滴等，在解碼后選擇至少包含2 個約束的句子作為最終的專業性描述。

3 實驗與結果

3.1 空間科學實驗數據集的構建

針對空間科學實驗圖像描述的任務，本文首先構建了空間科學實驗數據集，利用該數據集進行語義分割和圖像描述模型，以此解決空間科學實驗數據目標較小，樣本較少的問題。

本文從國際空間站、天舟一號和天宮二號的公開實驗數據中收集視頻，每隔5 幀進行抽幀處理，得到的相關類別和圖片數量如圖4 所示。

圖4 空間科學實驗圖片類別數量圖Fig.4 Space science experiment picture categroy quantity chart

經過對視頻進行抽幀和篩選，最終確定標注數據共3 016 張圖片，數據標注類別為：空間植物實驗（327 張），空間細胞組織類實驗（293 張），空間燃燒實驗（881 張）和空間流體實驗（1 515 張）。其中空間植物實驗為天宮二號擬南芥和水稻生長實驗，國際空間站蕪菁種子生長實驗；空間細胞組織類實驗為空間細胞融合實驗，空間硅藻運動實驗；空間燃燒實驗為零重力火焰燃燒實驗，國際空間站燃燒實驗；空間流體實驗為國際空間站試管流體實驗，空間液滴乒乓實驗和空間液滴游動實驗。標注的數據集部分展示如圖5 所示。

圖5 空間科學實驗數據集部分數據圖Fig.5 Samples of space science experiment dataset

3.1.1 空間科學實驗數據語義分割的標注

針對空間科學實驗所需的目標分割任務，按照VOC 數據集的標注格式，對數據分別進行語義掩碼的標注，背景為黑色，目標掩碼為其他顏色。其中空間植物實驗中，標注目標為擬南芥，水稻和蕪菁，標簽分別為Arabidopsis thaliana，rice，Brassica rapa；空間細胞組織類實驗中，目標標注為細胞，標簽為cell；空間燃燒實驗中，目標標注為火焰，標簽為flame；空間流體實驗中，目標標注為液滴和氣泡，標簽分別為droplet，bub?ble。

部分標注結果如圖6 所示，（a）天宮二號擬南芥和水稻生長實驗中，綠色標注為水稻，黃色標注為擬南芥；（b）國際空間站試管流體實驗中，深藍色標注為液滴，淺藍色標注為氣泡。

圖6 空間科學實驗數據集語義分割標注示例Fig.6 Samples of semantic segmentation annotations of the dataset

3.1.2 空間科學實驗數據圖像描述的標注

針對圖像描述算法，本文對天宮二號擬南芥和水稻生長實驗、零重力火焰燃燒實驗、國際空間站液滴乒乓實驗、國際空間站火焰燃燒實驗進行標注，分別記 為T2、ZeroG-Flame、Droplet-Ping-Pong、ISS-Flame。對實驗視頻每隔10 幀進行抽幀處理，分別得到321 幀圖像、54 幀圖像、55幀圖像、77 幀圖像，包含擬南芥（Arabidopsis thaliana）、水稻（rice）、火焰（flame）、液滴（droplet）四種空間科學實驗對象，相對于包含80 個類別的通用圖像描述數據集COCO Captions 來說，也是四種罕見類別。

對每一張圖像進行人工標注，分別標注三句不同的描述，得到真值數據集。如圖7 所示，為天宮二號擬南芥和水稻生長實驗，包含擬南芥和水稻兩種空間科學實驗對象，因此對應的真值標注為：“there are rice and Arabidopsis thaliana in the experimental cabinet”，“rice and Arabidopsis thali?ana are growing in the laboratory cabinet”，“rice and Arabidopsis thaliana thrive in the experimental cabinet”。

圖7 天宮二號擬南芥和水稻生長實驗Fig.7 Growth experiment of Arabidopsis thaliana and rice in Tiangong-2

3.2 空間科學實驗語義分割實驗驗證

天宮二號擬南芥和水稻生長實驗視頻幀率30 幀/秒，每幀圖像大小296×360，將視頻逐幀轉為圖像序列，共計3 270 張圖像。本實驗從天宮二號擬南芥和水稻生長實驗中隨機選取45 張圖像，將對應標注的45 張實驗真值數據作為訓練模型的輸入，利用改進U-Net 的語義分割模型進行模型訓練，對剩余的圖像序列進行模型測試，得到擬南芥和水稻的分割結果。

3.2.1 數據處理

對標注后的45 張掩碼信息，按照4∶1 的方式進行隨機分配，其中36 張作為訓練數據，9 張作為測試數據。同時，對訓練集內的圖像進行擴充處理：對輸入的原始圖像和掩碼進行旋轉、翻轉、色相、飽和度等調整，以提高后續分割的準確度。使用keras 深度學習框架進行訓練，分別訓練擬南芥和水稻兩個語義分割模型，在GPU 為Titan X 12G 顯存的硬件條件下，模型在訓練164 個ep?och 時學習率下降到0.000 001，訓練停止。相應的訓練過程中，訓練損失和驗證損失變化曲線如圖8 所示，（a）圖為訓練集loss 變化曲線，（b）圖為驗證集的loss 變化曲線，可以看出損失在平穩下降。

圖8 天宮二號擬南芥和水稻生長實驗loss 曲線圖Fig.8 Loss curves of Arabidopsis thaliana and rice growth experiment on Tiangong-2

3.2.2 實驗結果

本文利用傳統圖像分割算法，Canny 邊緣檢測，對天宮二號擬南芥和水稻生長實驗數據進行測試；同時還利用和改進U-Net 相同的訓練數據和訓練參數，基于Mask R-CNN 訓練天宮二號擬南芥和水稻生長實驗語義分割模型，對天宮二號擬南芥和水稻實驗數據進行測試。如圖9 所示，（a）為Canny 邊緣檢測算法的分割結果，（b）為訓練的基于Mask R-CNN 天宮二號擬南芥和水稻生長實驗語義分割模型對相應實驗圖像的分割結果，（c）為本文提出的基于改進U-Net 的天宮二號擬南芥和水稻生長實驗語義分割模型的對相應實驗圖像的分割結果。

圖9 天宮二號擬南芥和水稻生長實驗語義分割結果對比Fig.9 Comparisons between segmentation results of be?tween Arabidopsis thaliana and rice growth experi?ment in Tiangong-2

通過對比實驗結果可以看出，傳統的分割方法不能將背景信息和所需目標進行分離，檢測結果中包含大量背景信息，并不能分割出所需目標；Mask R-CNN 只能在部分場景中識別出擬南芥，且對水稻的邊緣信息處理結果較差，只能檢測出水稻的大概位置；本課題提出的算法可以很好地識別出水稻和擬南芥，并對其邊緣信息進行了較好地處理。

3.2.3 精度評定

使用剩余實驗圖像序列中標注的62 張真值結果，對Mask R-CNN 和改進U-Net 的天宮二號擬南芥和水稻生長實驗結果分別進行精度評定，采用DAVIS［19］數據集提出的評價指標：區域分割相似度J，輪廓相似度F。為了測量基于區域的分割相似度，即錯誤像素的數量，使用區域相似度J，J 定義為估計分割和真值掩膜之間的IoU（Intersection over Union）：

其中：M為測試后的輸出分割結果，G為預先標注的真值掩膜，M和G均表示為二值圖像中的白色區域。計算M和G重合區域的面積，也就是像素個數，記作M交G；計算M和G相并區域的面積，記作M 并G。

從基于輪廓的角度來看，可以將M 解釋為一組限定掩模空間范圍的閉合輪廓c（M）。因此，通過一個二分圖匹配以提高對小誤差的魯棒性，可以比較c（M）和c（G）的邊緣點計算基于輪廓的精度PC和召回RC。PC為M 中為真實分割結果的像素的比例，RC為G中被模型檢測為分割結果的像素的比例。輪廓相似度F 可以取得精度和召回之間較好的權衡，定義為：

精度評定結果如表2 所示。其中：下標M表示均值精度mean；O表示召回recall，測量得分高于閾值0.5 的序列的分數；D表示衰減decay，主要衡量隨時間變化的損失或增益。

表2 天宮二號擬南芥和水稻生長實驗語義分割算法精度評定對比表Tab.2 Comparison table for evaluation of semantic seg?mentation algorithm in Tiangong-2 Arabidopsis thaliana and rice growth experiment

精度評定結果如表2 所示。從精度評定結果中可以看出，相對于Mask R-CNN，本課題提出的算法在輪廓相似度和區域相似度方面得到了40%～70%的提升，分割效果更加精確。

3.3 空間科學實驗圖像描述實驗驗證

3.3.1 數據處理

利用語義分割結果進行空間科學實驗詞匯候選，過程如圖10 所示，圖（a）為天宮二號擬南芥和水稻生長實驗，圖（b）為本文提出的基于改進U-Net 的語義分割算法得到的相應語義分割結果。利用語義分割結果，提取空間科學實驗目標（擬南芥和水稻）對應的類別標簽和位置信息，生成json 文件輸入給圖像描述模型，提取效果圖如（c）所示，為類別和位置信息提取結果。

圖10 天宮二號擬南芥和水稻生長實驗詞匯候選提取Fig.10 Vocabulary candidate extraction for Tiangong-2 Arabidopsis thaliana and rice growth experiment

3.3.2 實驗結果

基于多模態學習的空間科學實驗圖像描述算法，分別對天宮二號擬南芥和水稻生長實驗、零重力火焰燃燒實驗、國際空間站液滴乒乓實驗、國際空間站火焰燃燒實驗進行圖像描述，對比Neuraltalk2 的相應的描述結果如圖11所示。

圖11 本文提出的圖像描述算法和Neuraltalk2 在空間科學實驗場景的結果對比Fig.11 Comparison of image caption between Neural?talk2 and this paper in space science experiment

通過對比結果可以看出，本文采用的基于多模態的空間科學實驗圖像描述算法可以識別出擬南芥、水稻、火焰、液滴等專業性科學實驗詞匯和特征，并將其和自然語言進行結合，實現對空間科學實驗的專業性描述。

空間液滴游動實驗的前后變化描述結果如圖12 所示，上圖的液滴為藍色，中圖中航天員對液滴進行染色后為綠色，下圖為航天員離開后只有綠色液滴特寫的場景。空間科學實驗圖像描述模型可以檢測出視頻前后，宇航員以及液滴顏色的變化，從而實現了對空間科學實驗的圖像描述。

圖12 本文算法和Neuraltalk2 在空間液滴游動實驗的圖像描述結果對比Fig.12 Comparison results of image caption between this paper and Neuraltalk2 in space droplet experi?ment

3.3.3 精度評定

自然語言處理中常用的Bleu［20］的評價標準過于依賴真值，對每一個單詞及其位置進行評判，而真值的標定具有很大的人為主觀因素。在這種情況下，算法生成的描述很大程度上所表達的意思是正確的，然而因為用詞及表述方式與真值不一致則會導致其評定出的精度非常低。因此，對實驗結果進行精度評定，采用METEOR［21］和SIPCE［22］評價指標。

METEOR 全稱為Metric for Evaluation of Translation with Explicit Ordering，通過計算算法描述和真值之間的召回率和準確率的調和平均，解決了Bleu 中的一些問題。使用了WordNet 等進行同義詞擴充處理；考慮了詞性的變化，引入了句子連續性的考慮。

SPICE 使用基于圖的語義表示（場景圖）來評估算法描述的質量，它通過依賴關系解析樹對算法描述和真值之間建立語義場景圖，對存在的對象、屬性和關系進行顯示編碼，提取描述中的大部分詞匯和語法特征。

本文利用METEOR 和SPICE 對天宮二號擬南芥和水稻生長實驗、零重力火焰燃燒實驗、國際空間站液滴乒乓實驗、國際空間站火焰燃燒實驗進行圖像描述，分別記為T2、ZeroGFlame、Droplet-Ping-Pong、ISS-Flame。對實驗視頻每隔10 幀進行抽幀處理，分別得到321 幀圖像、54 幀圖像、55 幀圖像、77 幀圖像，對每一幀圖像進行人工標注，分別標注三句不同的描述，得到真值數據集。相應的精度評定結果如表3 所示。

表3 本文提出算法和Neuraltalk2 的精度評定結果Tab.3 Evaluation results of this paper and Neuraltalk2

通過表3 可以看出，只有在Droplet-Ping-Pong 實驗中，本文提出的算法在METEOR 指標中略低于經典圖像描述算法Neuraltalk2，其他實驗中均高于Neuraltalk2。本文提出算法的ME?TEOR 結果平均為0.176 3，SPICE 結果平均為0.214，相對于Neuraltalk2 分別提升了0.088 5 和0.173 5，表明該算法可以對空間科學實驗在句子連續性、準確性、專業性方面均有明顯提升。

4 結論

針對空間科學實驗小樣本和小目標的問題，構建空間科學實驗數據集，并提出了基于多模態學習的空間科學實驗圖像描述算法，然后詳細介紹了該算法的流程，并進行了實驗驗證和精度評定。實驗結果證明：天宮二號擬南芥和水稻生長實驗中，擬南芥的語義分割結果的區域相似度為0.882 2，輪廓相似度為0.966 4，水稻的語義分割結果的區域相似度為0.663 9，輪廓相似度為0.927 2；空間科學實驗的圖像描述METEOR 結果平均為0.176 3，SPICE 結果平均為0.214，相對于經典的Neuraltalk2 算法分別提升了0.088 5和0.173 5，可以對空間科學實驗進行專業性科學性的描述。實現了從低層次感知到深層場景理解的能力，智能化自動解譯空間科學實驗的場景。然而，空間科學實驗數據圖像描述目前是對單張圖像進行圖像描述，缺乏對場景的連續性和變化性的感知。因此，后續的研究中考慮對視頻進行描述，重點關注實驗目標的生長、運動等變化趨勢，以此來感知整個實驗過程，以實現對整個實驗過程的理解。