美國防情報局“機(jī)器輔助分析快速存儲系統(tǒng)”項目風(fēng)險管理研究

王振宇

摘要：美國防情報局開發(fā)的“機(jī)器輔助分析快速存儲系統(tǒng)”（MARS）系統(tǒng)已進(jìn)入中期研發(fā)階段。美國政府問責(zé)局對這一重大國防采辦進(jìn)行了風(fēng)險評估。總結(jié)了該項目開發(fā)過程中的風(fēng)險。通過總結(jié)政府問責(zé)局對該項目的風(fēng)險識別方式及其結(jié)果，有助于總結(jié)出美軍方情報機(jī)構(gòu)人工智能項目的風(fēng)險識別與管理方式。總結(jié)美國政府問責(zé)局對于重大信息技術(shù)國防采辦的監(jiān)督的方式，對照國防情報機(jī)構(gòu)數(shù)據(jù)庫發(fā)展特點(diǎn)，歸納其風(fēng)險識別、風(fēng)險管理方法。美國防情報局開發(fā)“機(jī)器輔助分析快速存儲系統(tǒng)”項目的風(fēng)險識別和風(fēng)險管理方式符合美軍事情報現(xiàn)實(shí)，與情報用戶銜接緊密，有助于該項目順利開展。

關(guān)鍵詞：美國；國防情報局；“機(jī)器輔助分析快速存儲系統(tǒng)”；風(fēng)險管理

大數(shù)據(jù)時代的到來，為軍事情報搜集、處理、分析等環(huán)節(jié)帶來了新的風(fēng)險和挑戰(zhàn)。為將軍事情報優(yōu)勢轉(zhuǎn)化為決策優(yōu)勢，美國防情報局決定利用大數(shù)據(jù)技術(shù)和人工智能技術(shù)開發(fā)新的軍事情報數(shù)據(jù)庫，以取代此前使用的“現(xiàn)代化集成數(shù)據(jù)庫”（MIDB）。

2018年，美國防情報局經(jīng)過實(shí)驗(yàn)研究和論證后，決定開發(fā)“機(jī)器輔助分析快速存儲系統(tǒng)”（下文簡稱MARS系統(tǒng)）作為實(shí)驗(yàn)研究示范項目。該系統(tǒng)的建設(shè)目的是將當(dāng)下存儲基礎(chǔ)軍事情報的數(shù)據(jù)庫轉(zhuǎn)化成一個多維、靈活和嚴(yán)格的數(shù)據(jù)環(huán)境。該項目的開發(fā)遵循嚴(yán)格的風(fēng)險管理流程，包括使用嚴(yán)格的項目收購計劃、使用“敏捷開發(fā)”方法，增強(qiáng)利益相關(guān)者的交流與反饋等方式。國防情報局（DIA）和政府問責(zé)局（GAO）通過訪談、調(diào)研、查閱資料等方式對MARS項目進(jìn)行風(fēng)險識別和風(fēng)險管理。

1 MARS系統(tǒng)的研發(fā)背景與內(nèi)容

1.1 MARS項目簡介

美國國防情報局開展的“MARS”項目于2018年立項，計劃開發(fā)周期為6年，目前正處于開發(fā)中期。該項目的主要承包商為諾斯羅普·格魯曼公司，項目合同約為44億人民幣（6.9億美元）。

MARS系統(tǒng)主要用來處理“基礎(chǔ)軍事情報”。MARS將使從美國作戰(zhàn)人員到國家安全決策者的每個人都更容易的擁有情報。作為MIDB系統(tǒng)的升級系統(tǒng)，MARS系統(tǒng)在能夠?yàn)樽鲬?zhàn)人員和決策者提供基礎(chǔ)軍事情報外，能夠在信息化時代滿足情報界對信息的需求。同時，該系統(tǒng)使用機(jī)器學(xué)習(xí)和自動化技術(shù)，從而提升效率。MARS系統(tǒng)的最終設(shè)計目的是連接到數(shù)以百計的國防部情報、規(guī)劃和基于作戰(zhàn)的工具和系統(tǒng)。該系統(tǒng)由5個模塊構(gòu)成，分別是基礎(chǔ)設(shè)施、戰(zhàn)斗命令、情報任務(wù)數(shù)據(jù)、網(wǎng)絡(luò)空間、空間和對抗空間。

為保證該項目開發(fā)過程穩(wěn)妥，以美國政府審計總署為代表的監(jiān)督機(jī)構(gòu)對該項目的開發(fā)進(jìn)展進(jìn)行持續(xù)跟蹤，并根據(jù)對項目開發(fā)過程中的風(fēng)險進(jìn)行管理。通過對該項目進(jìn)行文件審查、相關(guān)人員訪談，重新評估項目流程，美政府審計總署在提交國會的報告中指出了該項目有何風(fēng)險、管理項目風(fēng)險。盡管中美國情與管理方法不一，但當(dāng)前主流的“敏捷開發(fā)”方法和項目風(fēng)險管理方法確實(shí)具有理論和實(shí)踐的先進(jìn)意義。通過研究MARS系統(tǒng)的項目風(fēng)險管理，有助于提升我情報機(jī)構(gòu)開發(fā)“機(jī)器學(xué)習(xí)”和人工智能系統(tǒng)的科學(xué)性、實(shí)用性，并以更加動態(tài)、靈活和定制化的方式開發(fā)契合用戶需求的系統(tǒng)[1]。

1.2 MARS項目開發(fā)方式

作為MARS系統(tǒng)開發(fā)的一部分，國防情報局正使用被稱為“敏捷開發(fā)”的項目開發(fā)方式。“敏捷開發(fā)”能夠?qū)崿F(xiàn)持續(xù)的產(chǎn)品開發(fā)和交付。“敏捷”是指該方法強(qiáng)調(diào)以短周期、不斷增量的方式交付軟件，使開發(fā)過程具有更大的靈活性和適應(yīng)性，從而滿足不斷變化的客戶需求。“敏捷開發(fā)”方式強(qiáng)調(diào)在項目的早期階段對項目進(jìn)行更改和糾正，這能夠降低項目更改的成本、減少后期次數(shù)、減弱后期更改對項目的破壞性。“敏捷開發(fā)”方式的流程如圖1。

“敏捷開發(fā)”方式采用敏捷的迭代過程，能夠降低開發(fā)復(fù)雜軟件過程中的固有風(fēng)險。因?yàn)樗械捻椖块_發(fā)都面臨風(fēng)險和不確定性，選擇敏捷的開發(fā)方法能夠在早期開發(fā)階段發(fā)現(xiàn)風(fēng)險，并通過頻繁的交付和反饋規(guī)避風(fēng)險。

1.3 MARS系統(tǒng)開發(fā)計劃

相較于美國國防部傳統(tǒng)軍事武器平臺開發(fā)流程，使用“敏捷開發(fā)系統(tǒng)”的MARS項目開發(fā)計劃相對較短，項目承包商與用戶交流頻繁，能夠更廣泛地獲取用戶需求，不間斷地對項目開發(fā)進(jìn)行調(diào)整。MARS系統(tǒng)預(yù)計將彌補(bǔ)此前的軍事情報系統(tǒng)“MIDB”的不足，并大幅度增加提升情報搜集與處理的效率。例如，此前的MIDB系統(tǒng)需要大量的手動操作來執(zhí)行，而MARS系統(tǒng)將對諸多流程進(jìn)行自動化操作，并對戰(zhàn)斗進(jìn)行動態(tài)情報保障（敵方組織與指揮結(jié)構(gòu)、力量與構(gòu)成、裝備配置）。此外，MARS系統(tǒng)將集成“緊急來源”和“公開來源”的情報。

該項目開發(fā)計劃分為5個階段、橫跨7個財年。MARS項目開發(fā)計劃見圖2。

2 MARS項目風(fēng)險識別

2.1 風(fēng)險識別的意義

MARS系統(tǒng)作為應(yīng)用大數(shù)據(jù)技術(shù)和機(jī)器學(xué)習(xí)技術(shù)的新型情報數(shù)據(jù)系統(tǒng)，其項目風(fēng)險開發(fā)有別于傳統(tǒng)軍事武器平臺開發(fā)項目。根據(jù)《2010財政年度國防授權(quán)法案》第804節(jié)，美國國防部長應(yīng)開發(fā)和實(shí)施一種新的信息技術(shù)采集流程，該流程即為“敏捷開發(fā)系統(tǒng)”。美國政府問責(zé)局擔(dān)負(fù)美國國防部（DOD）重大國防采辦（MDAPs）績效評價的任務(wù)，并對美軍的重大國防采辦開展定期和不定期的評價，并提出有意義的建議[2]。根據(jù)美國政府問責(zé)局按照政府審計標(biāo)準(zhǔn)，于2019年10月至2020年11月對MARS項目進(jìn)行績效審計，以對該項目進(jìn)行風(fēng)險識別。

作為“基礎(chǔ)軍事情報”數(shù)據(jù)環(huán)境打造的MARS系統(tǒng)不同于其他國防武器裝備項目。該項目結(jié)合大數(shù)據(jù)和機(jī)器學(xué)習(xí)等前端技術(shù)，開發(fā)方式貼近于商用信息技術(shù)（IT）產(chǎn)業(yè)軟硬件開發(fā)。同時，由于情報數(shù)據(jù)的特殊性，該數(shù)據(jù)庫需打通多種技術(shù)情報數(shù)據(jù)庫的壁壘。此外，該項目要兼容現(xiàn)存的“現(xiàn)代化集成數(shù)據(jù)庫”，實(shí)現(xiàn)軍事情報數(shù)據(jù)庫轉(zhuǎn)換的無縫銜接。其次，根據(jù)美政府問責(zé)局2019年發(fā)布的報告，近年來的美軍事項目存在“采辦成本上升”“采辦周期延長、開發(fā)進(jìn)度落后”“軍工集團(tuán)壟斷”等問題[3]。因此，對該項目進(jìn)行風(fēng)險識別是必要的。

2.2 風(fēng)險識別的方式

美國政府問責(zé)局為對MARS項目進(jìn)行風(fēng)險識別，對國防情報局關(guān)于該項目的中期能力聲明、技術(shù)演示評估和技術(shù)風(fēng)險總結(jié)等報告進(jìn)行了審閱。此外，美國政府問責(zé)局對該項目的所有相關(guān)人員進(jìn)行了訪談，以識別該項目

當(dāng)前所面臨的風(fēng)險。同時，政府問責(zé)局協(xié)調(diào)內(nèi)部信息技術(shù)專家對信息技術(shù)相關(guān)內(nèi)容進(jìn)行評估，審閱了國防情報局MARS計劃辦公室所提供的“國防部技術(shù)風(fēng)險總結(jié)”“陸軍研究實(shí)驗(yàn)室技術(shù)試點(diǎn)審查”等文件，與國家情報總價辦公室（ODNI）和國防部負(fù)責(zé)情報與安全的副部長辦公室（OUSD（I&S））的監(jiān)督官員就風(fēng)險管理措施進(jìn)行交流。

根據(jù)美國政府問責(zé)局此前發(fā)布的文件《敏捷評估指南：敏捷采用和實(shí)現(xiàn)的最佳實(shí)踐》，政府問責(zé)局針對MARS項目的風(fēng)險管理分為三個階段：早期參與階段、持續(xù)參與階段、后續(xù)反饋階段[4]。在早期參與階段，MARS項目的風(fēng)險識別主要針對客戶的需求，方式依賴于同客戶的調(diào)查和研討會；在持續(xù)參與階段，MARS項目的風(fēng)險識別通過與國防情報局MARS項目管理辦公室官員的談話，對項目進(jìn)行季度審查，采訪9個作戰(zhàn)司令部（CCMDs）的作戰(zhàn)和情報官員，并持續(xù)跟蹤項目開發(fā)的細(xì)節(jié)；在后續(xù)反饋階段，主要是“基于軟件的反饋”和“將反饋納入后續(xù)開發(fā)過程”。

2.3 MARS項目開發(fā)中的風(fēng)險

根據(jù)識別，MARS項目開發(fā)過程中主要存在以下風(fēng)險：政策風(fēng)險、技術(shù)風(fēng)險和操作風(fēng)險。

2.3.1 政策風(fēng)險

目前美國國防部和情報界有很多政策規(guī)定如何創(chuàng)建、修改和共享基礎(chǔ)軍事情報。但同樣的，部分政策可能會限制MARS項目的開發(fā)。根據(jù)MARS項目所有相關(guān)人員的訪談，該項目的政策風(fēng)險包含以下部分：

（1）數(shù)據(jù)風(fēng)險。當(dāng)前情報保密政策使得情報界成員內(nèi)部以及美國盟友內(nèi)部的情報數(shù)據(jù)共享存在障礙。以上關(guān)系到數(shù)據(jù)風(fēng)險的政策不屬于國防情報局負(fù)責(zé)。而MARS系統(tǒng)預(yù)計將比此前的“現(xiàn)代集成數(shù)據(jù)庫”包含和共享更多的數(shù)據(jù)，這將加劇MARS項目的數(shù)據(jù)風(fēng)險。

（2）過程質(zhì)量風(fēng)險。目前使用的“現(xiàn)代化集成數(shù)據(jù)庫”只允許部分特定的國防部機(jī)構(gòu)在限定的領(lǐng)域更新和生成情報數(shù)據(jù)。但MARS項目的意圖是允許國防情報系統(tǒng)任何個人可在該系統(tǒng)上添加和更新系統(tǒng)。因此，如何把握國防情報局確保更新的數(shù)據(jù)質(zhì)量，并對其進(jìn)行充分的檢查和驗(yàn)證是一個不容忽視的風(fēng)險。

（3）數(shù)據(jù)標(biāo)準(zhǔn)化風(fēng)險。MARS項目的所有相關(guān)方對于使用怎樣的數(shù)據(jù)標(biāo)準(zhǔn)存在分歧。雖然一些相關(guān)方已經(jīng)注意到該項目需指定新的數(shù)據(jù)標(biāo)準(zhǔn)，但國防情報局還沒發(fā)布數(shù)據(jù)字典或詳細(xì)的數(shù)據(jù)標(biāo)準(zhǔn)。

2.3.2 技術(shù)風(fēng)險

國防情報局官員表示，MARS項目的目的是改變當(dāng)前的情報數(shù)據(jù)環(huán)境。MARS項目計劃嘗試諸多新技術(shù)時會導(dǎo)致許多技術(shù)風(fēng)險。該項目的技術(shù)風(fēng)險包含以下部分：

（1）跨網(wǎng)絡(luò)解決風(fēng)險。MARS系統(tǒng)的數(shù)據(jù)需要能夠在各個層級網(wǎng)絡(luò)進(jìn)行流通。目前的“現(xiàn)代化綜合數(shù)據(jù)庫”能力有限。流通性更強(qiáng)的數(shù)據(jù)能夠有效提升情報效率。因MARS系統(tǒng)攝入的數(shù)據(jù)量會顯著增加，因此解決跨網(wǎng)絡(luò)的數(shù)據(jù)流通問題至關(guān)重要。

（2）多數(shù)據(jù)類型處理風(fēng)險。MARS系統(tǒng)將攝取大量不同種類的數(shù)據(jù)類型（例如，音頻、文本、圖像、信號）。不同數(shù)據(jù)類型不能使用單一的算法進(jìn)行處理。因此，MARS項目將不得不采用來自私營部門的多類型數(shù)據(jù)處理解決方案。

（3）與其他系統(tǒng)的互操作性風(fēng)險。MARS系統(tǒng)需要與上下游諸多情報系統(tǒng)進(jìn)行互操作。這些互操作包括數(shù)據(jù)自動獲取、加工、存儲和修改。修改某些高權(quán)限系統(tǒng)可能需要較多授權(quán)和較長的準(zhǔn)備時間，這對MARS系統(tǒng)的用戶充分利用該系統(tǒng)構(gòu)成挑戰(zhàn)。

（4）自動化風(fēng)險。MARS系統(tǒng)的一個重要特征就是數(shù)據(jù)獲取和服務(wù)自動化。然而，MARS系統(tǒng)的自動化水平及其自動化服務(wù)算法需要驗(yàn)證其成熟度。

2.3.3 運(yùn)營風(fēng)險

MARS項目的最終產(chǎn)品是一整套數(shù)據(jù)環(huán)境的系統(tǒng)，該系統(tǒng)需開發(fā)應(yīng)用程序，以確保用戶能夠方便的使用。該項目的運(yùn)營風(fēng)險包含以下部分：

（1）相關(guān)用戶的轉(zhuǎn)移成本風(fēng)險。目前大量軍事情報用戶使用“現(xiàn)代綜合數(shù)據(jù)庫”。當(dāng)情報用戶轉(zhuǎn)而使用MARS系統(tǒng)時，需要對現(xiàn)有的3個軍事情報數(shù)據(jù)庫系統(tǒng)進(jìn)行升級，升級成本約為1.55億美元。因此，需確保此前的數(shù)據(jù)格式能被MARS系統(tǒng)兼容。

（2）帶寬風(fēng)險。MARS系統(tǒng)計劃作為一個基于網(wǎng)絡(luò)的數(shù)據(jù)環(huán)境，其存儲和處理的數(shù)據(jù)量比其前身要大得多。這將導(dǎo)致MARS系統(tǒng)需要更高的帶寬要求，這在戰(zhàn)術(shù)層面可能很難適應(yīng)。此外，一些用戶表示，作為戰(zhàn)術(shù)層級單位，他們沒有能力建造額外的服務(wù)器。

（3）用戶風(fēng)險。一些情報用戶表示，如果MARS系統(tǒng)與“現(xiàn)代綜合數(shù)據(jù)庫”差異過大，或不能滿足用戶的獨(dú)特需求，一些關(guān)鍵用戶可能不會投向MARS系統(tǒng)。且MARS系統(tǒng)需使得用戶了解其操作方式和功能。

3 MARS項目風(fēng)險管理

國防情報局使用敏捷方法開發(fā)MARS項目進(jìn)行了一些風(fēng)險管理活動。通過持續(xù)交付部分成果的方式可以不斷滿足用戶的需求。將MARS項目開發(fā)工作分解為小的部門（迭代），并頻繁地將用戶反饋整合至未來的開發(fā)中有助于降低該項目開發(fā)風(fēng)險。然而，也有一些風(fēng)險是不能通過敏捷開發(fā)方式解決的。所以對項目進(jìn)行風(fēng)險管理是至關(guān)重要的。

3.1廣泛調(diào)動項目全體參與方

國防情報局為降低MARS項目的開發(fā)風(fēng)險，已經(jīng)采取了一些措施以滿足項目全體參與方的需求。例如，國防情報局已經(jīng)舉辦了一系列講習(xí)班和研討會，以確定情報用戶對MARS系統(tǒng)的需求。MARS系統(tǒng)采用敏捷開發(fā)程序，該程序強(qiáng)調(diào)開發(fā)者從相關(guān)方收取頻繁的反饋。但MARS項目尚無一個全面、長久的計劃來持續(xù)搜集相關(guān)方的反饋。

為了使得項目相關(guān)方了解MARS項目，國防情報局項目組舉行了為期12天的項目講習(xí)班，主要宣傳該項目的基礎(chǔ)設(shè)施構(gòu)成和戰(zhàn)斗秩序。該講習(xí)班由美軍作戰(zhàn)司令部、國防部相關(guān)機(jī)構(gòu)和參聯(lián)會官員參與，用以確定項目相關(guān)方對MARS項目的需求。此外，在2019年6月，MARS項目辦公室舉行為期3天的戰(zhàn)斗研討會，以確定那些負(fù)責(zé)描述和跟蹤外國軍隊的情報人員的需求。根據(jù)該研討會聚集了來自3個作戰(zhàn)司令部、1個軍種司令部、4個國防情報局區(qū)域中心的項目相關(guān)方。在一系列的研討會中，國防情報局MARS項目組已識別出用戶對于該項目的91種能力和900余種功能需求。

為廣泛調(diào)動MARS項目相關(guān)方對該項目保持關(guān)注，國防情報局MARS項目組向項目相關(guān)方提供了相關(guān)論壇和工具，主要內(nèi)容見表1。

3.2 采用敏捷開發(fā)方式

MARS項目采用敏捷開發(fā)流程，基于現(xiàn)實(shí)開發(fā)進(jìn)度，允許項目用戶頻繁的參與項目開發(fā)進(jìn)程，對開發(fā)進(jìn)程進(jìn)行反饋，并將反饋意見并入后續(xù)開發(fā)當(dāng)中。盡管美國政府問責(zé)局認(rèn)為國防情報局MARS項目組缺乏一個全面的指導(dǎo)計劃，但采用敏捷開發(fā)方式確實(shí)相對于傳統(tǒng)的“瀑布式”項目開發(fā)方式更有助宜。

此前計算機(jī)項目開發(fā)流程多采用瀑布式開發(fā)方式。該方式的開發(fā)流程是：需求、設(shè)計、開發(fā)、集成、測試和部署。該流程開發(fā)模式要求項目開發(fā)過程中完成前一階段后方能進(jìn)入下一階段。因此被稱為瀑布。該種瀑布式開發(fā)方式是計劃驅(qū)動的順序開發(fā)，對于制造業(yè)等行業(yè)發(fā)揮著重要的作用，但卻不適用于快速發(fā)展的信息系統(tǒng)開發(fā)領(lǐng)域[5]。

敏捷開發(fā)方式能夠在開發(fā)過程中控制開發(fā)進(jìn)度，控制成本和風(fēng)險。該方式能夠通過迭代增量的方式來不斷改進(jìn)產(chǎn)品特性，逐步產(chǎn)生理想的解決方案，先建立局部再拓展到整體，將風(fēng)險分散并盡早得到反饋以進(jìn)行改進(jìn)，因此該方式更適合信息技術(shù)產(chǎn)業(yè)的產(chǎn)品開發(fā)[6]。

通過使用敏捷開發(fā)方式，能夠較大限度的了解用戶需求。在政府問責(zé)局對9個作戰(zhàn)司令部的訪談中，有6個作戰(zhàn)司令部的官員表示對MARS項目開發(fā)上的接觸滿意。部分官員表示，他們和 MARS項目組人員正在進(jìn)行實(shí)質(zhì)性的接觸。例如，中央司令部的官員表示，國防情報局對在MARS項目上的溝通和參與非常開放，并在出現(xiàn)任何問題時積極處理并與中央司令部進(jìn)行溝通。

3.3 設(shè)置項目開發(fā)優(yōu)先級和參與度指標(biāo)

MARS項目使用敏捷開發(fā)流程，基于實(shí)際開發(fā)進(jìn)度，允許用戶頻繁的參與反饋，并將反饋意見并入后續(xù)的開發(fā)過程中。敏捷開發(fā)流程要求項目相關(guān)方（用戶方）制定一個產(chǎn)品負(fù)責(zé)人，有權(quán)根據(jù)相關(guān)方的需求建立優(yōu)先級，并對階段性產(chǎn)品的滿意度進(jìn)行表態(tài)。因不同項目相關(guān)方對于產(chǎn)品有不同的需求，且不同需求表示不同的不同項目相關(guān)方需求的優(yōu)先級。美國政府問責(zé)局認(rèn)為當(dāng)前國防情報局尚未有長期的、完整的計劃來確定如何根據(jù)項目相關(guān)方的反饋來設(shè)置開發(fā)優(yōu)先級和參與度。

美國政府問責(zé)局要求國防情報局MARS項目組應(yīng)做到以下幾點(diǎn)：

（1）記錄各項目相關(guān)方何時參與項目中來，及其對項目設(shè)計和決策的影響。

（2）對項目相關(guān)方的反饋進(jìn)行記錄，并區(qū)分功能優(yōu)先級。

（3）對項目相關(guān)方的參與和反饋進(jìn)行記錄。

（4）對用戶滿意度進(jìn)行度量。

對項目相關(guān)方的參與度和滿意度進(jìn)行度量有助于確保所有項目相關(guān)方對項目進(jìn)度保持知情和滿意。信息技術(shù)產(chǎn)業(yè)項目開發(fā)的經(jīng)驗(yàn)表明，發(fā)現(xiàn)缺陷的時間越晚，糾正缺陷的成本就越高。

4 結(jié)語

美軍當(dāng)前情報數(shù)據(jù)系統(tǒng)已經(jīng)過時，對軍事斗爭的情報需求無法滿足。使用大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)的MARS系統(tǒng)是美軍提升自身競爭力的有利手段。美國國防情報局使用敏捷開發(fā)方式開發(fā)MARS系統(tǒng)被認(rèn)為是有效地。通過美國政府問責(zé)局對項目進(jìn)行審查，發(fā)現(xiàn)了該項目開展的優(yōu)勢和不足。通過使用敏捷開發(fā)方法，最大限度的滿足情報用戶對項目的需求，使項目產(chǎn)品快速迭代，項目開發(fā)高效透明，項目過程穩(wěn)定可控。而國防情報局項目識別風(fēng)險的方式，管理風(fēng)險的方式值得我方學(xué)習(xí)。

參考文獻(xiàn)：

[1] Office USGA. DEFENSE INTELLIGENCE comprehensive plan needed to improve stakeholder engagement in the development of new military intelligence system 2020[EB/OL] .[2020-11-19]. Available from： https：//www.gao.gov/products/ gao-21-57https：//www.gao.gov/ products/gao-21-57.

[2] 程文淵.基于最佳實(shí)踐的重大國防采辦項目風(fēng)險評估體系研究[J].科研管理，2017，38（3）：153-60.

[3] OFFICE USGA. Limited use of knowledge-based practices continues to undercut DOD’s investments 2019 [EB/OL]. [ 2019-5-17]. Available from： https：//www.gao.gov/ search？keyword=limited%20use%20 of%20knowledge.

[ 4 ] O F F I C E U S G A . A g i l e assessment guide：Best practices for agile adoption and implementation 2020 [EB/OL] [2020-9-28]. Available from： https：//www.gao.gov/products/ gao-20-590g.

[5] Royce W W.Managing the development of large software systems[J].The Institute of Electrical and Electronics Engineers，1970（8）：1-9.

[6] 安曉東. 敏捷開發(fā)模型的應(yīng)用研究[D]. 北京： 對外經(jīng)貿(mào)大學(xué)， 2019.（作者單位：信息工程大學(xué)洛陽校區(qū)）