一種新的知覺分割模型

摘要：根據知覺的最新理論研究和實驗結果，提出一種新的知覺模型，并用于考查計算機視覺中的分割問題。分割問題實質上是知覺表達問題，現在分割的困難性可能是知覺上局部到整體的還原論假設造成的；分割可能不是一次完成的，而是經過整體到局部的過程才最終完成。新的知覺模型將對建立更好的分割模型提供理論基礎。

關鍵詞：分割； 分類； 物體表達； 知覺表達； 知覺模型； 計算機視覺

中圖分類號：TP391文獻標志碼：A

文章編號：10013695(2007)04002904

0引言

分割是計算機進行圖像識別的第一步，卻一直沒有得到徹底解決。20世紀80年代初Marr的視覺計算理論為解決這一困境開辟了新的道路。Marr的視覺計算理論由三個理論層次（計算理論、表達和算法、硬件實現）和三級表象結構（物體要素圖的獲得、物體25D圖（Shape From X）的獲得和物體3D形狀信息的獲得^[1]）組成。Marr計算理論的提出得到廣泛關注，但隨著時間的發展，在實際運用過程中，暴露出越來越多的問題。在20世紀80年代末到90年代初遭到人們的質疑。人們開始認識到Marr理論框架存在嚴重的缺陷。問題在于，以前在Shape From X等問題上，這些技術都隱含地假設分割問題已解決或根本不存在分割問題，然而這一假設是不成立的^[2]。實際上，初級視覺過程本質上都是Hadamard定義下的不適定問題，即光學成像的逆問題。初級視覺中的一些問題，如體視匹配、運動恢復結構、視覺流計算、邊緣檢測等，都是在Hadamard意義下的不適定問題^[3]。分割問題并沒有解決，分割需要約束，分割的完成需要先驗知識^[2]；然而另一方面，先驗知識又需要分割經驗。這使得分割—識別問題成為一種近似雞與蛋的問題。分割算法可謂多之又多，但無不是在這樣情形下產生的。所以沒有一種算法能擺脫這種矛盾。分割成為計算機視覺發展的瓶頸。

人類視覺是計算機視覺(Computer Vision，CV)的原始模型，是解決一切視覺問題的完美參照系^[4]。以前的工作主要是從數學的角度和實際應用的經驗分析分割問題，認為是Hadamard意義下的不適定問題，并通過增加約束的方式來解決分割問題。本文將從生物視覺的角度討論CV領域中的分割問題，以給CV中分割問題的解決帶來新的啟示。分割方法均有其基本的假設模型，分割的假設模型是對物體或場景一般性質的描述。這些假設的基本思想直接或間接地源于知覺理論。因此分割的解決并不在于追求計算機內部約束或算法上如何改進，而在于作為其建立基礎的分割模型及其背后知覺理論。根據知覺的最新理論研究和實驗結果，筆者提出了一種新的知覺模型，并用于考查CV中的分割問題。

1知覺表達是物體表達的基礎

1.1傳統分割方法

傳統CV的分割和識別問題往往從模式識別的角度去分析，如統計識別和語義識別運用于CV^[5]。如圖1所示的橢圓與三角形的識別，按照統計模式識別的方法很容易解決。首先可以從背景中分割出待識別物體，然后建立物體的特征空間，如待識別橢圓與三角形的圓度作為特征空間向量，利用建立的分類器分類，就可完成對物體的識別。但是如何識別圖1中右邊由三個小三角形構成大三角形？按照Chen等人^[6，7]的觀點，人的視覺所先知覺的并不是獨立的橢圓與三角形，而是大三角形。即使分類，左邊的圖形由于其相鄰性更易分在一起，而右邊的則形成三角形結構的知覺組織而分在一起。對于這樣一個簡單的識別問題，傳統的分割識別方法很難解決。它往往采用這樣一些假設：同一物體或物體的某一部分具有相同或相近的紋理、顏色、亮度等，不同物體或區域之間具有較大的空間變化頻率^[5，8]。這說明計算機的分割方式與人的知覺分割方式有很大區別。分割是什么樣的問題，與分割相貫連的識別又是什么問題，以及分割—識別構成怎樣的一對問題？

1.2分割與物體表達

分割的存在不是問題本身，而是問題的表象：①分割不是目的，只是為了獲得圖像中的場景或物體的有用描述。分割是識別信息處理的前過程且分割—識別方法是內在一致的。例如11節所舉的例子，按照傳統模式識別建立的分割方法對應的也只會是傳統識別方法，與人的分割和識別的差異顯而易見。②關于物體描述的假設和物體圖像結構的假設是分割模型建立的依據^[8]。任何關于分割的算法均明顯或不明顯地采用了關于物體描述和圖像結構的假設^[8]。例如，一般假設同一物體或物體的某一部分具有相同或相近的紋理、顏色、亮度等，不同物體或物體的不同區域之間具有不連續性^[5，8]。無論是基于邊緣、基于區域，還是基于多模型的分割^[7]，無不利用上述這些假設。從本質上而言，分割的假設模型是對物體或場景一般性質的描述和表達。其分割假設思想源于格式塔（Gestalt）。格式塔關于物體基元間的相鄰性、相似性、連續性等原則是物體結構的知覺組織方式^[9，10]。這些組織方式是物體圖像按像素或像素集合間的相鄰性、相似性、連續性分割的基礎^[5，8]。從另外一個角度看，它源于Hubel^[11]建立的感受野機制。因為在Marr的分割理論中，零交叉理論是其分割假說的一個重要基礎，而零交叉理論就直接源于此^[1，3]。隨著感受野機制的進一步研究，感受野之間的競爭—協作機制^[12，13]以及整合野^[14]的發現證明感受野之間的這些相互作用可以表達許多格式塔性質，比如相鄰性、相似性、連續性、共線性和封閉性等^[15，16]。分割假設的兩個來源具有內在的一致性。這充分地說明了分割算法源于分割假設，分割假設源于知覺研究。因此新的知覺研究將對分割模型的建立具有重要意義。

1.3物體表達與知覺表達的關系

物體識別問題就是模型表達與已知圖像中物體的描述相匹配的問題^[17]。高效的物體表達方式是物體識別的關鍵^[10，18]，以至CV研究的一個重點——物體識別，轉移到物體表達的研究^[19]。這類問題現在依然沒有解決，而它們的解決則最終取決于視知覺表達的研究^[11，12]。史忠植和陳霖^[20，21]則直接給出了知覺表達與物體表達的關系：“知覺表達這一問題是建立任何一種視覺圖像識別模型都必須回答的”，它是模型建立的基礎。如果說CV中的物體識別是要實現類似于人的識別，那么物體表達與知覺表達將是分別在CV模型和人的知覺模型上反映同一層次問題，并且知覺表達模型是物體表達模型的建模基礎。其關系可用圖2表示。

識別是分割的目的；分割是對物體共性的表達，識別是物體個性的表達。由分割構造識別的過程就是共性到個性的構造過程，也是信息從初級到高級的處理過程。對傳統的分割—識別方法而言，是從分割假設的局部信息到整體物體識別的過程；它對應于Marr的基元圖到2.5D再到3D圖構造；對應于知覺上特征檢測理論（Marr視覺理論重要假設條件之一^[7，21]）和整體知覺的特征綁定理論^[7，21]，這一思路基于知覺還原主義假設模型；對應于視網膜、LGN(外膝核)、V1和V2區對物體初步的信息處理和表達，與MT、MST、頂葉區（運動通路），V4、下顳葉區（形狀通路）、前額葉區等高層視區對物體更深入的或者說更完備的信息表達^[16]，以至意識的形成。

CV模型的分割假設雖然也借用了格式塔的部分分類原則，但它在分割—識別的范式上依然采用從局部到整體的構造。盡管后來提出主動視覺理論，但它并沒有脫離Marr范式。這種范式Ⅲ從本質上源于Ⅱ。目前分割的困難性可能就是采用知覺上的還原主意假設形成的。

2知覺模型

人是如何感知世界的呢？這是神經科學和認識心理科學過去與現在關于知覺研究的基本問題^[22，23]。對這個問題的不同回答，分為兩種截然不同的觀點，即整體論和還原論^[7]，如圖2知覺模型的Ⅰ、Ⅱ兩個路線。整體論認為人們對感知的物體，知覺是其整體而不是孤立的各種特征；知覺過程開始于物體的整體性知覺，是從大范圍性質到局部性質。還原論認為，知覺過程開始于對物體特征性質或簡單組成部分的分析，是從局部性質到大范圍性質^[7]。Chen Lin、Pomerantz等人^[6，7，23]認為現在分割的困難性在于認為視覺是從局部到整體性質的，視覺從整體到局部的大范圍性質才是視覺的本質。整體論在CV中沒有得到充分重視，一個主要原因是它沒有一個好的可以構造的知覺模型。下面結合知覺研究的最新成果，提出一個新的、主要基于整體論的知覺模型。它將更好地從生物視覺的角度分析分割問題，為新的分割模型建立提供根本的基礎支持。

2.1知覺的分類模型

對于分割問題，Palmer等人^[24]首次提出知覺的多階段理論，既沒有完全否定還原論也沒有完全接受整體論，把知覺當作多個過程的結果，局部和整體沒有一次完成，而是在相繼的階段進一步趨于符合習慣的或基于特定任務的分類方式。但是也沒有給出“初期視覺的分類是如何進行的”可能機制，也沒有解釋整體到局部的反饋機制如何參與初級分類的再分類。

在文獻[24]研究的框架下，結合初級分類的機制和整體到局部反饋機制及這兩個方面涉及的注意過程和采取的通路形式，本文提出一個可能的知覺分類模型。其目的在于通過知覺分類模型深入地理解分類過程，從本質上認識CV中的分割問題，為更好地解決分割問題提供原始的參照模型。下面著重分析分類模型及分類模型中的初級分類機制和反饋機制，并從知覺實驗研究和知覺功能上的兩個實際病例討論知覺分類發生的實際過程；然后分析知覺發生的可能的神經基礎及根據這一神經基礎建立的視覺模型，試圖說明分割可能不是單純的局部到整體完成的。整體對局部認識具有重要作用。一次完整的知覺分類可能是多次反饋的結果，并且建立在這種神經機制上的分割模型取得了很好的初步效果。

知覺的分類模型框架如圖3所示。本文認為在初級視區（LGN、V1和V2）^[25]，視覺信息各種特征按照不同的Gestalt原則或其他分類標準通過競爭的方式分類^[20]，并結合深度、顏色等其他信息，快速形成關于物體粗略的整體知覺。通過皮層間的反饋連接，把高層整體性知覺（如顏色恒常性、位移不變性、旋轉不變性和形狀的拓撲不變性等）重新反饋到初級視區，使分類進一步完成，使局部信息的特征更加精細。同時高層知識以注意的方式，也通過反饋回路，參與知覺的再分類，并且這一過程與已形成的整體性知覺相互競爭，共同調制初期視覺信息分類的處理^[15，26]。經過前饋和反饋的相互作用，最終形成符合習慣的或基于特定任務的分類方式^[24]。

圖3中：

（1）前饋通道主要與前注意（Preattention）的信息處理相關^[27]；反饋通道主要處理與視覺注意或視覺意識相關的信息^[27]和高層反饋信息^{[16，25，26]}。

（2）前注意處理過程以并行方式處理整個視野信息。按照Gestalt分類原則，抽取場景的顯著性信息形成物體的初步整體性知覺^[15]：①把物體的初步整體感知通過反饋通路作用于初級視區，參與知覺再分類；②在注意的參與下，反饋到初級視區，或者根據感知特征判斷是鎖定場景中的興趣物體，還是轉移注意目標^[28]。

分類原則在知覺形成過程中的地位，按照時間過程、注意需求和相對重要性可能各不相同^[21]。分類原則優先級將隨著刺激特征的不同而不同。可能正是這些分類原則相互協作、相互競爭，將視覺信息各種特征進行分類^[21]，并結合深度、顏色等其他信息，快速地形成了一個關于物體粗略性的整體知覺。

選擇性注意根據初級分類的結果和先驗知識：①通過反饋通路作用于初級視區；②判斷是鎖定場景中的物體，還是轉移注意目標。這一注意過程與初級分類結果，以競爭的方式共同反饋到初級視覺處理區，完成基于任務下的最終分割。這種分割方式將隨不同的環境和注意的不同內容而改變^{[19， 20]}。

2.2分類的發生過程

現在視知覺研究表明分割不是一開始就完成的。在視覺的初級階段，對場景物體的分割依賴于或很大程度上受感知完成的影響。

傳統觀點認為，分類發生在視覺處理過程的早期，如提取初期有關物體基元的2D表象被認為，只有分類在早期完成，才能利用分類結果構成知覺的不變性處理，即分類是知覺恒常性產生的直接前提。相反，現在的實驗結果表明：知覺恒常性對知覺分類具有極大的影響，甚至對于知覺分類的完成具有決定性的作用^[16，24]。這意味著至少存在一些分類處理是在知覺形成之后完成的，而不是在視網膜圖像層發生的。Behrmann^[16]研究了兩個病例S.M和R.N，來檢查知覺組織及其與物體識別的關系。兩個病人都有正常的低層視覺，可以做同樣簡單的分類工作，但是不能把多刺激元看作整體去理解，對按照封閉特征分類的物體幾乎不敏感。這些發現表明，知覺組織進行了多種處理，在視皮層的低層作一些簡單特征的處理（如共線性等）。其他處理比較復雜，依賴于高級皮層區（如封閉性、形狀等）。以上例子表明，知覺分類并沒有最終完成，沒有達到最終的組織結構與所感知的恒常性組織特征相符合。事實表明，知覺的信息處理不是一開始完成的，它受后期處理的影響。

2.3知覺分類的神經基礎

Palmer等人^[24]認為，在圖像處理階段早期的分類，可能為后期更高層次恒常性處理提供基礎性的組織。恒常性計算的結果又重新修飾基于圖像分類處理得到的2D組織，以至達到最終的組織結構與所感知的恒常性組織特征相一致。這一現象的神經基礎可能是，處理高層信息的皮層通過重投機制，對相對底層信息處理進行了反饋調制，最終達到知覺分類與所感知的恒常性組織特征相一致。本文有必要更加詳細地分析知覺形成的神經基礎：①在視知覺形成過程中，信息串行地相繼通過各個皮層而且在多個區域同時進行，從最初的感官信息區域到達高層視皮層區域；②同一皮層內橫向連接非常豐富，有的軸突長達200～300μm，使神經元之間相互競爭又相互合作，在整個視野域內整合信息^[14～16]，是知覺分類的神經基礎；③除了前向傳送和水平整合處理外，信息通過反饋連接反向傳送，并且這種不同皮層間的反饋重駐機制，可能是多種自上而下的視覺信息處理共同的潛在機制^[25～27]；④注意對顯著特征的感知具有重要作用；注意的表達主要由前額葉區其他高級視區負責，通過與初級視區的反饋連接完成^[21]。這些神經連接模式不是單獨地起作用，而是協同處理視覺信息，最終形成整體知覺和分類的。這些連接模式為實際模型的建立提供了可建構的方式。

Sprastling等人^[26]主要利用②和③的神經機制，并沒有完全模擬本文的模型。但是其得出的結果非常好，不僅可以模擬空間注意、物體注意，還可以模擬圖形—背景的分離、背景提示（Contextual Cueing）等各種各樣從上到下的視覺處理。可以說明兩個問題：模型是正確的且極其深刻，具有極大的潛力；知覺過程可能不是單純的局部到整體的過程，整體對局部認識具有重要作用，一次完整的知覺可能是多次反饋的結果。

3分割模型的討論

知覺的分類模型對分割模型的建立具有重要作用，歷數以往的分割模型，無不依賴于知覺模型理論的研究。但是當所采用知覺理論出現問題時，只在計算機視覺內部尋找解決之道是不恰當的。在分割模型的研究上，現在更重視中間層表達的研究。“與現在計算機視覺算法的脆弱性、局部性相比，知覺組織表達了一種人類感知的魯棒性、定性性和整體性”，Boyer等人^[9]把格式塔的知覺組織概念用于分割，認為“知覺組織之所以如此重要是因為特征分類可以大大降低在立體視覺、物體識別和其他形式的高層信息分析當中不可避免地組合搜索問題的難度”。這一思想遠的還可追溯到Lowe（1983）把知覺組織引入CV，近的則是Hoogs等人^[8]用一組知覺組織變量統一描述分割問題。問題在于格式塔也只是知覺表達的現象，沒有從神經機制上證明^[7，29]，并且在隨后物體表達上依然只采用傳統模式識別方法^[8]，這也必然決定它能走多遠。另一路線是沿著Marr的思想前進。在Marr理論遇到挫折后，20世紀90年代初Aloimonois^[30]提出了基于Gibson生態視覺學說的目的視覺理論。它注重視覺的目的性和主動性，而不是通用視覺理論。可惜的是并沒有一個可用的范式，在解決視覺問題時更強調任務性，落到實處也只是相當于增加約束，只是在理論上給約束一個理論背景。在視神經科學領域，一直存在整體論和還原論兩條研究路線，20世紀的近后半個世紀，還原論的研究最為突出，直接支持了當前CV模型的建立。在20世紀末和21世紀初的幾年，視知覺研究領域又出現了新的爭論。其中以Gray^[15]的時空關聯假說為還原論的最新代表；同時整體論研究一改以往缺少神經科學實驗的問題，從神經生理結構和進化論的觀點證明知覺從整體到局部的大范圍拓撲性質才是知覺的本質^[31，32]。知覺表達的還原論假設開始受到廣泛質疑，許多學者從不同角度闡述這樣一種觀點^{[14，23，24，29，33]}。在計算機視覺領域分割的困難性可能正是知覺表達的這一性質造成的。新的分割模型的建立應當充分考慮其神經機制。本文提出的知覺分類模型對建立更好的分割模型具有重要參考價值。

4結束語

計算的范式對視覺研究具有重要作用。在許多情況下，這些理論又最終導致筆者對這些理論假設前提的考查^[17]。分割計算的可行性和生物上可能的基于物體的表達方式已遭到質疑。在解決Hadamar意義下的不適定問題上，促使筆者研究更好的理論，以比幾何模型更好的方式來闡述分割思想。

本文提出了新的知覺分類模型，從生物視覺的角度討論了CV中的分割問題，認為CV模型構建的基礎可能是基于由局部信息推理整體信息特征這一還原主義假設；分割的困難性可能是假設前提的不當性。其實這是知覺上還原主義思想在視覺建模上的反映。新的知覺認識可能有助于分析“分割問題究竟在哪里”，即分割可能是整體到局部再到整體的、非一次完成的知覺信息處理過程。這種新的知覺分類模型將是建立更好的基于知覺的分割模型的基礎。因此分割模型應該按照新的知覺分類模型來構造。

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。