基于多指標的文獻關聯程度研究：指標的合成

郭 強，趙 瑾（.鄭州大學信息管理學院；.中國人民解放軍陸軍軍官學院軍事運籌教研室）

1 引言

共引分析是指將文獻作為分析對象，根據文獻之間的關聯程度或距離對文獻之間的結構關系進行揭示，由此對某領域的研究內容進行劃分，對研究前沿進行探測，對研究方向、研究熱點以及對結構關系隨時間的變化情況進行顯示。［1-4］共引分析可以拓展至不同類型的分析對象，如將主題詞作為考察對象，一般主題詞在文獻中共現的次數越多，主題詞之間的關聯程度越高，從而可以在共現次數的基礎上嘗試對主題詞之間的結構關系進行探討，也可以對研究內容進行結構化顯示。［5-6］

在共引分析中，文獻的共引次數越高，文獻之間的關聯程度可能越強，因而能夠利用文獻的共引次數對文獻之間的關聯程度進行近似的表示。在對關聯程度進行表示的基礎上可以通過構造相似性度量來探討文獻之間的相似程度以及文獻之間的距離，并進一步地對相似程度或距離進行處理，從而得到文獻或其他分析對象之間的結構關系。此外，需要對得到的結構關系進行分析與解釋。

文獻或其他分析對象之間的關聯程度是結構分析的基礎。在用共引次數對關聯程度進行表示的過程中會有這樣的情形：文獻之間的共引次數不高，文獻之間的關聯程度可能也不高。但如果文獻中相同參考文獻的數量較多，那么這兩篇文獻也會具有一定的相關性，或者說文獻之間的關聯程度并沒有完全反映到文獻的共引次數上。此外，如果文獻的共引次數較低，同時具有的相同的參考文獻的數量也不多，那么當只從共引次數與參考文獻來判斷時，文獻之間的關聯程度可能也不會較高。但是，如果這時文獻具有相同的作者，那么這兩篇文獻在內容上可能會具有更為深層次的關聯，如在處理問題時所采用的方式與方法會具有一定的相似性，只不過這種關聯性可能沒有表現在文獻的共引次數以及參考文獻上，這種相同的作者的影響可能會是顯著的，或者說與用共引次數來衡量文獻的關聯程度相比，將該指標納入時得到的關聯程度在總體上會有所差異。因此，需要對關聯程度表示的全面性進行探討，如在共引次數的基礎上納入相同的參考文獻數量、相同的作者數量、相同的關鍵詞數量等，由此形成對文獻關聯程度的綜合表示。另外，當共引次數相同時，由于文獻的其余關聯指標可能會有所不同，綜合關聯程度也會有差異，與只考慮單個指標的情形相比，綜合關聯程度有助于結構分析的區分度。

目前，已有研究比較了建立在不同關聯指標上的文獻結構以及探測結果，目的是探討不同探測方法的有效性，從而對結構關系以及研究前沿進行更為有效、更具有針對性的揭示。［3,4,7-10］通常，多指標的納入會使關聯程度的描述更全面，可以考慮將分別建立在不同關聯指標上的文獻結構以及探測結果進行綜合考量。還可以考慮將不同的關聯指標進行綜合，其中綜合的方式會有所不同，如將文獻標題中的主題詞與參考文獻組合作為關聯指標，以及對文獻標題與摘要中的主題詞和參考文獻一起進行耦合分析。［3,11］本文擬對關聯指標進行綜合，綜合的方式是給出文獻關聯程度的多屬性描述以及相應的綜合關聯程度，特別是利用邏輯回歸從樣本文獻中得到非樣本文獻之間的綜合關聯程度，并在此基礎上對結構關系進行探討。其中，對綜合關聯程度的考察包括指標的選取、指標合成方式的探討、綜合關聯程度的獲取流程以及對綜合關聯程度的合理性的衡量。

多指標的納入，包括上述的對綜合關聯程度的考察，也會有助于對某一領域中各個專業方向的揭示。如在對文獻進行共引分析后，分別考察引用每個聚類的文獻以及這些文獻的特征詞及其屬性。其中，對于某個聚類而言，可以考察引用該聚類的每篇文獻的詞特征集與引用該聚類的各篇文獻的詞特征集之間的相似度，由此建立對引用該聚類的各篇文獻的一致性的衡量，即類內的一致性；對于不同的聚類而言，可以考察一個聚類的各篇文獻的詞特征集與另一個聚類的各篇文獻的詞特征集之間的相似度或差異，即類間的差異。進一步根據各個聚類的類內與類間的共引強度、每個聚類的類內一致性、不同聚類的類間差異對某一領域中各個專業方向進行更為有效的揭示。［12-14］按照上述過程，① 如果從文獻的綜合關聯程度出發，那么從直觀上得到的聚類會更具有合理性。② 當將某些聚類歸并為某個專業方向后，由于從直觀上所得的聚類會更為合理或者說得到的聚類與實際情況更為吻合，原有的某些在內容上相似性相對較弱的文獻會被分離，這樣就會減少對專業方向進行定性時的模糊性。此外，當使用這些聚類文獻的詞特征集來表征專業方向的“當前研究”時，原有相似性相對較弱的文獻的分離會減少對“當前研究”的擾動。③ 由于類內的一致性與類間的差異均是由引用各個聚類的文獻得到的，將各個聚類歸并為不同的專業方向時，也能和實際情況更為吻合。納入多指標之前，原有的聚類包含某些在內容上相似性相對較弱的文獻，這些文獻在所屬的聚類中可能并不合適，這樣對于原有的聚類以及在此基礎上類內與類間的相似性，這兩種效應的疊加會放大，導致專業方向與實際情況存在偏差。

在對指標進行選取時，除了上述取值為絕對量的指標之外，還需要將取值為相對量的指標納入在內。如，當兩篇文獻的共引次數較低時，如果只從共引次數來看，兩篇文獻的關聯程度可能并不高。但是，如果在一篇文獻被引用的同時，另外一篇文獻也很有可能同時被引用，或者說兩篇文獻在被引用時往往同時被引用，那么此時盡管兩篇文獻的共引次數并不高，但這兩篇文獻的關聯程度卻有可能是較高的。因此，需要將兩篇文獻的共引次數與兩篇文獻的被引次數的比值考慮在內。其中，被引次數是兩篇文獻的總被引次數與共引次數的差，該比值的分母是兩篇文獻的施引文獻的數量，分子是同時引用這兩篇文獻的施引文獻的數量，比值越高，說明這兩篇文獻被同時引用的可能越大，這兩篇文獻的關聯程度也會越高。該比值是被引次數的杰卡德指數。類似地，如果兩篇文獻共同引用的文獻占兩篇文獻所引用的全部文獻的比例較高，那么即使這兩篇文獻共同引用的文獻數量相對較少，也會由于這兩篇文獻所引用的文獻中相同文獻會具有較高的比例，或其中一篇文獻引用某篇文獻時，另外一篇文獻也很有可能會引用該文獻，這兩篇文獻也會具有一定的關聯性。因此，需要將兩篇文獻相同參考文獻的數量與兩篇文獻參考文獻的數量的比值考慮在內，其中，參考文獻的數量是兩篇文獻總參考文獻的數量與相同參考文獻的數量的差，或是兩篇文獻所引用的全部文獻的數量。該比值是關于參考文獻的杰卡德指數。

2 關聯指標的直接合成

在得到綜合關聯程度的過程中，一種考慮是對各個關聯指標直接進行合成，這時需要對指標之間的相關性進行考察。如，選取上述的文獻關聯指標，在對指標直接進行綜合時要注意這些指標并不完全獨立。當文獻的共引次數相對較高時，兩篇文獻在內容上通常會有一定的關聯性，而這種關聯性在兩篇文獻的參考文獻中也會有所體現，由此文獻的共引次數與相同的參考文獻的數量一般也會具有一定的相關性。這時在對指標進行合成時需要轉化為獨立變量，如對關聯指標的主成分進行考察，并由此嘗試對內在的獨立變量進行探討。由于每兩篇文獻均有相應的關聯指標值與其相對應，在標準化后的指標值的基礎上給出各個指標之間的協方差，并進一步地通過主成分分析，得到相應的總方差解釋表以及成分矩陣，從而得到各個主成分與關聯指標之間的關系式。當各個主成分的含義從總體上判斷均具有正向性時，每兩篇文獻之間的關聯程度可以利用其各個主成分取值的直接求和來表示。

上述這種合成需要建立在對主成分的含義具有一定認識的基礎上，盡管判斷主成分的含義可能具有一定的粗糙性，但是在有些情形中可以根據主成分的大致含義從總體上判斷該含義是否具有正向性。如果某個主成分的含義在總體上具有正向性，或者說當與該含義對應的變量取值增加并且與其余主成分含義對應的變量的取值均保持不變時，文獻之間的關聯程度的期望值會增加。由于各個主成分的含義具有獨立性，從線性回歸的角度來看，當各個主成分的含義在總體上均具有正向性的情形下，與各個主成分含義對應的變量均具有正的總體回歸系數。因此，可以通過與主成分含義對應的變量的直接求和來近似回歸函數。當各個主成分的取值給定時，可以用此時的關聯程度的期望值對此時的總體中的個體關聯程度進行近似，由此每兩篇文獻之間的關聯程度可以利用其各個主成分取值的直接求和來進行近似。需要指出的是，上述正向性是與主成分含義對應的變量，或者所選取的關聯指標對于關聯程度的描述并不全面，文獻之間的關聯程度也并不確定。

3 概率型綜合關聯程度

首先，選取樣本文獻，由專家對文獻之間的關聯程度進行判斷并給出相應的關聯等級。關聯程度只由專家給出判斷的原因是精確給出兩篇文獻之間的關聯程度是較為困難的，而給出大致范圍反而有可能會使得文獻之間的相似性以及結構關系的揭示更具有合理性，同時也更具有操作性。其次，分別獲取每兩篇文獻之間的各個關聯指標的取值。由于每兩篇文獻均有關聯指標值以及專家判斷的關聯等級與其相對應，并且兩者具有一定的相關性，由此在考慮關聯指標值和專家判斷的關聯等級的基礎上，可通過兩者之間的邏輯回歸，即可給出給定文獻之間的關聯程度處于各個關聯等級上的可能性。這兩篇文獻可以是樣本文獻，也可以是非樣本文獻。對于樣本文獻而言，可以通過考察兩篇文獻位于各個關聯等級上的可能性與專家判斷等級之間的一致性來檢驗回歸結果的合理性以及有效性。由于通過人工判斷關聯程度的只是部分文獻，可以利用由樣本文獻得到的回歸關系來估計兩篇非樣本文獻的關聯程度處于各個關聯等級上的概率，進而通過對各個關聯等級賦予一定的關聯分值而得到兩篇非樣本文獻之間的關聯程度的期望分值，并由此對文獻之間的關聯程度進行近似。在上述過程中，得到的回歸關系是對關聯指標的合成。① 自變量的觀測值之間可能會具有近似的線性相關性，如果此時將回歸關系用于預報，還需要盡可能消除這種共線性的影響。②在樣本資料中，樣本文獻之間的關聯等級是由判斷主體決定的，因而這些參數的估計值仍然會受到判斷主體的影響，但是其優勢是不需要判斷主體直接參與到指標的合成過程中，而是轉變為對樣本文獻關聯程度的判斷，相比之下，在有些情形中對文獻之間的關聯程度進行判斷可能會更具有可操作性。③盡管在確定關聯等級的關聯分值時會有主觀的因素，但是這與指標的合成是沒有關系的。

選取樣本。① 樣本文獻的各個指標的取值能夠涵蓋相應指標的實際取值范圍，這是由于當非樣本文獻的關聯指標值沒有落在樣本關聯指標的取值范圍內時，對回歸方程進行外推可能會具有較大的誤差。②選取的樣本文獻需要屬于同一學科領域，使得關聯指標的取值具有可比性。③ 在選取樣本時，不同的樣本會形成不同的檢驗結果及估計，當樣本中的個別文獻具有某種特殊性時，如文獻的關聯等級與其某些關聯指標的相關性偏弱，這時在利用該樣本進行回歸時，可能會使解釋變量的影響并不顯著，由此需要在回歸模型中剔除這些自變量。但是這里認為包含全部關聯指標的回歸模型是正確的，當利用剩余變量建立模型時，得到的估計以及預報就可能是有偏差的，而對于該情形預報偏差的方差以及總的預報效果如何還需要做進一步的探討。因此選取的樣本應盡可能地具有一般性，如它能夠反映直觀認識中的各個關聯指標與關聯程度之間的相關性，當利用全部關聯指標建立回歸模型時，使解釋變量的影響可能會具有顯著性。如果解釋變量均具有顯著性，此時的回歸模型可以考慮作為最終建立的模型；而當模型的共線性偏弱或近似沒有共線性時，也可以得到相應的預報概率及其置信區間。［15］

從直觀上會有以下的認識：首先，對于各個關聯指標而言，文獻之間關聯指標取值相對較低的情況比例會相對較高，而關聯指標取值相對較高的情況占比則會相對較低；其次，文獻之間的關聯程度也會有類似的情形，樣本的等級變量的分布偏重于其較低的取值區域，同時這種分布也需要與樣本關聯指標取值的分布具有一致性，這里認為選取的關聯指標與關聯程度之間從直觀上會具有相關性；第三，當共引次數減小時，文獻之間的關聯程度會有減小的趨勢，文獻之間相同參考文獻的數量也會減小，共引次數與相同的參考文獻數具有一定的一致性。選取的樣本文獻需要符合上述的直觀認識，目的是使得選取的樣本能夠具有一般性，樣本的性質需要與對總體性質的直觀認識相一致，從而使得指標的取值不會側重于某些方面。

在上述考慮的基礎上，可對指標合成過程的合理性進行初步的考察，如可以構造各個關聯指標的取值以及相應的關聯等級，使其滿足上述的選取要求。在圖1 中，橫軸是每兩篇文獻的編號，縱軸是每兩篇文獻之間各個關聯指標值以及這兩篇文獻的關聯等級。其中，每兩篇文獻的關聯指標從左至右分別為文獻的共引次數、相同的參考文獻數量、相同的作者數量以及相同的關鍵詞數量，最右方為兩篇文獻的關聯等級。這里將關聯程度分為五個等級，等級越高表示兩篇文獻之間的關聯性越強。

圖1 構造的樣本文獻

由于上述關聯指標從直觀上會具有一定的相關性，在對樣本文獻進行回歸時需要對自變量的共線性進行考察。① 選取相應的準則來對模型以及自變量的共線性進行判斷。② 如果存在中等或較強的共線性，那么可以考慮通過主成分回歸來消除共線性。其中主成分選取為相應特征值的累計和達到特征值總和的85%時的各個主成分，由于很小的特征值在特征值總和中的占比很小，會被剔除，經驗回歸方程的信息損失也在可以接受的范圍內。另外，選取主成分回歸的原因是希望在模型中保留所有的自變量。③ 如果共線性偏弱或者不存在共線性，那么可以考慮直接對原有自變量進行回歸。

對圖1 中的樣本文獻，XTX 的特征值分別為1.811、1.006、0.833、0.351，其中X 為樣本矩陣，最大特征值與最小特征值的比值僅為5.160，從條件數的角度來看，模型的共線性偏弱或者可以近似為沒有共線性。將圖1 中的自變量取值標準化后，通過Spss能夠得到每個自變量與其余自變量之間的復相關系數，并可以得到相應的方差擴大因子分別為1.825、1.240、1.019、1.514，其中最大值沒有超過經驗標準，從方差擴大因子的角度來看，模型也不存在中等或較強的共線性，同時各個自變量也可近似為不包含在某些共線關系中，由此可直接對原有的自變量建立回歸模型。

利用Spss 對圖1 中的文獻關聯指標與文獻之間的關聯等級進行回歸，對參數向量的檢驗結果顯示：在0.05 水平下所選取的關聯指標在整體上的影響是顯著的。各個自變量相應的p 值分別為0.0032、0.0652、0.0432、0.0741，盡管在0.05 水平下相同的參考文獻數量以及關鍵詞數量并不顯著，但是由于其p 值很小，故在模型中仍然保留這兩個變量。由樣本文獻能夠得到參數的估計以及相應的經驗回歸方程，在經驗回歸方程的基礎上可以給出文獻之間的關聯程度處于各個等級上的預報概率，由此可以考察樣本關聯程度的預報結果與樣本實際關聯程度的一致性。對于構造的樣本文獻，預報與觀測的一致比能夠達到89.9%。進一步地對關聯分值的合理性進行檢驗。

（1）構造非樣本文獻，使文獻的共引次數增加，并固定其余的關聯指標的取值，這樣從直觀上文獻之間的關聯程度應當會有增加的趨勢。圖2 中的橫軸是文獻的共引次數，縱軸是樣本文獻關聯程度的期望分值，將共引次數由2 調整至17，其余的關聯指標均取為1。由經驗回歸方程得到非樣本文獻的關聯程度處于各個關聯等級上的預報概率以及相應的關聯程度的期望分值，對各個關聯等級賦予的關聯分值分別為1 至5 分。類似地可以對相同的參考文獻數量、相同的作者數量以及相同的關鍵詞數量分別進行調整，在調整的同時保持其余關聯指標的取值不變，由于這些指標都是關聯程度的正向指標，當單獨增加某個指標的取值時，文獻之間的關聯程度均會有增加的趨勢。首先，在圖2 中將相同的參考文獻數量由2 調整至10，共引次數、相同的作者數量以及相同的關鍵詞數量分別取為3、1、2。其次，將相同的作者數量由0 調整至2，共引次數、相同的參考文獻數量、相同的關鍵詞數量分別取為4、5、2。最后，將相同的關鍵詞數量由1 調整至4，共引次數、相同的參考文獻數量、相同的作者數量分別取為3、5、1。圖2 的橫軸分別為需要調整的關聯指標的取值，需要指出的是，上述其余指標的取值具有隨意性。

由圖2 可知，當單獨增加某個指標的取值時得到的關聯分值均會有增加的趨勢。但可能會存在這樣的情形：在共引次數較高的區域，隨著共引次數的增加關聯分值的差異可能會具有減小的趨勢，而這與實際情況并不相符。究其原因是關聯程度的期望分值等于各個關聯等級的關聯分值的加權求和，其中權重是文獻的關聯程度處于各個關聯等級上的概率，關聯程度處于各個等級上的概率之和等于1，所以期望分值的最大值等于各個關聯等級的關聯分值的最大值。當共引次數增加時，期望分值會有增加的趨勢，只有當共引次數增加時期望分值的增長具有變緩的趨勢，才能使得期望分值不會超過其最大值，或者說隨著共引次數的增加，關聯分值的差異會有減小的趨勢。對于該情形，改進的方式是增加關聯等級的數量，其目的是使得專家在給出等級時能夠不受關聯等級數量的限制，畢竟從直觀上當共引次數增加時關聯等級的差異也會有增加的趨勢。這樣在樣本文獻的基礎上利用回歸方程進行預報時，對于非樣本文獻最有可能處于的關聯等級而言，隨著共引次數的增加，該類等級的差異也可能會具有增加的趨勢。如果此時仍然賦予各個關聯等級的分值為等差增長，那么當共引次數增加時，非樣本文獻的期望分值就有可能會有被拉開的趨勢。同時對樣本文獻而言，由于關聯程度的預報結果與其實際關聯程度之間具有一致性，當共引次數增加時，樣本文獻所處的關聯等級也可能會有被拉開的趨勢，從而樣本文獻期望分值的差異也可能會增加。

需要指出的是，上述這種改進方式是建立在設定較多的關聯等級的基礎上，而如果關聯等級較多，在確定樣本文獻所處的關聯等級時會涉及到與其余樣本文獻關聯程度的相互比較，當被比較的對象超過一定的數量時，人工判斷會喪失一定的準確性；［16］而當關聯等級較少時，等級劃分的粗糙性反而會使得很多原本需要相互比較的情形變得沒有必要。

（2）與相同的關鍵詞數相比，通常共引次數對文獻的關聯程度影響更為重要。當其余指標的取值相同時，與共引次數偏高且相同的關鍵詞數量偏低的情形相比，共引次數偏低且相同關鍵詞數量偏高的情形在整體上可能會具有相對較低的文獻關聯程度。在圖3中，橫軸是每兩篇文獻的編號，縱軸是每兩篇文獻的關聯程度的期望分值。圖的上方區域是將共引次數、相同的關鍵詞數量分別取為13、1 時的情形，此時期望分值的平均值為4.516；圖的下方區域是將相同的關鍵詞數量和共引次數分別取為4、3，此時的期望分值的平均值為3.516。在這兩種情形中相同的參考文獻數量、相同的作者數量分別取2 至10、0 至2，并且將關聯等級仍然設定為五個等級。

圖2 某關聯指標增加且其余關聯指標不變時的關聯分值的變化情況

圖3 共引次數與相同的關鍵詞數量不變且其余的關聯指標增加時的關聯分值的變化情況

4 實證分析

概率型綜合關聯程度的指標合成方式有如下特點。① 回歸關系是對關聯指標的合成，判斷主體沒有直接參與到指標的合成過程中，而是轉化為對樣本文獻關聯程度進行判斷，樣本的關聯等級取決于判斷主體。② 當某一關聯指標的取值為零時，兩篇文獻關聯程度的期望分值可能并不會為零，因而這兩篇文獻仍然可以納入到后續的文獻結構分析中，這也是多指標情形下文獻關聯程度的特點。③ 由于通過人工對關聯程度進行判斷需要一個過程，樣本中的文獻數量可以逐步增加，隨著樣本容量的增加其性質也會趨向于總體的性質。此外，可以對已建立的樣本資料中的文獻關聯等級進行調整，因為隨著某學科領域的發展，人們對文獻之間關聯程度的認識也會發生變化。

圖4 中的樣本是按照上述的樣本選取要求。在圖4 中，橫軸為每兩篇文獻的編號，縱軸是每兩篇文獻的各個關聯指標值以及這兩篇文獻的關聯等級。其中，關聯指標從左至右分別為兩篇文獻的共引次數、相同的參考文獻數量、相同的作者數量、相同的關鍵詞數量、被引次數的杰卡德指數、參考文獻的杰卡德指數以及兩篇文獻的關聯等級。關聯等級仍然取1 至5 五個等級。要使樣本文獻的關聯指標值具有可比性，對于共引次數而言，由于不同的文獻具有不同的出版時間，為了消除該因素對文獻的被引次數以及對文獻之間共引次數的可比性的影響，可以選取足夠長的考察時段，如取考察時段的長度遠大于被考察學科領域文獻的被引半衰期，以至于在該考察時段內文獻的被引次數近似等于文獻的總被引次數，而不同文獻的總被引次數之間會具有可比性，從而在該考察時段內的文獻的被引次數以及文獻之間的共引次數也相應地會具有一定的可比性。對于參考文獻的數量而言，隨著被考察學科領域的演變，該領域的文獻規模以及每篇文獻參考文獻的規模會發生變化，處于學科不同發展階段的文獻，其參考文獻的數量也會因為學科演變階段的不同而有可能不能直接比較，或者說學科演變階段的不同可能會對其參考文獻數量的可比性帶來影響。對于該影響，如果兩篇文獻的出版時間間隔大于所屬學科領域文獻的引用半衰期，那么對于其中出版時間較晚的文獻而言，從其出版時間往前的時間長度為引用半衰期，這個時間段內的參考文獻的數量能夠近似等于這篇文獻總的參考文獻的數量，能夠近似認為這兩篇文獻的參考文獻處于不同的出版時段。當這兩個出版時段內的文獻規模以及參考文獻的規模存在差異時，就可能不能對這兩篇文獻的參考文獻的數量直接進行比較。相反如果這兩篇文獻的出版時間的差異小于引用半衰期，那么這兩篇文獻的參考文獻的出版時段會有一定的重疊，而重疊時段內的參考文獻的數量會具有可比性。如果使得重疊時段足夠長或者可以接受，那么這兩篇文獻的參考文獻的數量也會具有一定的可比性，或者說能夠在一定程度上避免由學科演變所帶來的對參考文獻數量的可比性的影響。因此圖4中，對樣本文獻的選取還需要建立在文獻服從一般意義上的老化規律以及對文獻的引用具有半衰期性質的基礎上，其中將學科領域選取為圖書情報領域，被引半衰期以及引用半衰期均近似取為5 年。［17］根據對共引次數以及對參考文獻的數量的可比性要求，樣本文獻的選取范圍為2009 年至2010 年出版的圖書情報類文獻，統計時間為2018 年3 月，數據來源于中國知網。

圖4 選取的樣本文獻

因此，期望對不同指標合成方式下的文獻結構進行比較。①由于在概率型綜合關聯程度的指標合成方式中是通過樣本文獻的關聯程度對非樣本文獻的關聯程度進行預報，對結構進行比較時，統一將非樣本文獻作為考察對象。② 在選取非樣本文獻時，由于非樣本文獻的關聯指標值要具有可比性，非樣本文獻不僅要屬于同一學科領域，而且要設定非樣本文獻的出版時間，才能使共引次數以及參考文獻的數量能夠進行比較。同時，當通過文獻結構的比較來對得到的關聯程度的合理性進行考察時，非樣本文獻的選取還要使得由不同關聯程度得到的文獻結構能夠有所差異，這樣才能夠對得到的文獻結構的合理性進行比較。③ 對非樣本文獻進行選取后，可以在此基礎上對文獻的結構進行考察，文獻關聯程度可以分別按照以下四種情形來確定，即對關聯指標的直接合成、概率型綜合關聯程度、只考慮共引次數的情形以及由專家對非樣本文獻的關聯程度進行判斷的情形。④ 這里將上述第四種情形作為標準，對前兩種多指標情形以及第三種單指標情形下的文獻結構關系的合理性分別進行考察。