應(yīng)用Web標(biāo)注技術(shù)的建筑圖像語義采集方法

郭 強(qiáng),鄒廣天,連 菲,張 斯

(1.哈爾濱工業(yè)大學(xué) 建筑學(xué)院,哈爾濱150006;2.哈爾濱工業(yè)大學(xué) 建筑計(jì)劃與設(shè)計(jì)研究所,哈爾濱 150006；3.黑龍江省寒地建筑科學(xué)重點(diǎn)實(shí)驗(yàn)室(哈爾濱工業(yè)大學(xué)), 哈爾濱 150006)

應(yīng)用Web標(biāo)注技術(shù)的建筑圖像語義采集方法

郭 強(qiáng)1,2,3,鄒廣天1,2,3,連 菲1,2,3,張 斯1,2,3

(1.哈爾濱工業(yè)大學(xué) 建筑學(xué)院,哈爾濱150006;2.哈爾濱工業(yè)大學(xué) 建筑計(jì)劃與設(shè)計(jì)研究所,哈爾濱 150006；3.黑龍江省寒地建筑科學(xué)重點(diǎn)實(shí)驗(yàn)室(哈爾濱工業(yè)大學(xué)), 哈爾濱 150006)

為解決建筑師難以快速地從互聯(lián)網(wǎng)中檢索到符合創(chuàng)作需求的建筑圖像的問題,提出了應(yīng)用Web標(biāo)注技術(shù)的建筑圖像語義采集方法.首先,從建筑學(xué)角度界定了建筑圖像及建筑圖像語義的概念和類型;其次,給出了該方法的總體框架和操作流程; 最后,以著名建筑網(wǎng)站為例進(jìn)行案例演示,驗(yàn)證了該方法的可行性和有效性.操作流程細(xì)分為3個(gè)步驟,以人工添加和在線學(xué)習(xí)的方式建立建筑語義詞典;運(yùn)用數(shù)據(jù)采集軟件,從建筑圖像所在網(wǎng)頁中分別采集圖像名稱、圖像注釋、圖像周圍文本、所在網(wǎng)頁標(biāo)題、所在網(wǎng)頁正文、圖像超鏈接網(wǎng)頁標(biāo)題6項(xiàng)圖像相關(guān)文本;根據(jù)圖像語義提取規(guī)則,從上述文本中提取建筑圖像語義,與圖像文件建立關(guān)聯(lián)后存儲到建筑圖像數(shù)據(jù)庫.案例檢驗(yàn)結(jié)果表明，該方法是可行的,具有較強(qiáng)的操作性,能夠自動、批量地從互聯(lián)網(wǎng)中下載建筑圖像,并采集圖像名稱、圖像類別、圖像主題、項(xiàng)目名稱、項(xiàng)目類型等30多項(xiàng)特征，有效地克服了建筑圖像查詢效率較低的問題,進(jìn)而提升了建筑師運(yùn)用互聯(lián)網(wǎng)圖像進(jìn)行創(chuàng)作的能力.

Web標(biāo)注技術(shù);建筑圖像;建筑圖像語義;建筑語義詞典;圖像語義采集

目前,國內(nèi)外學(xué)者關(guān)于建筑圖像的語義提取、查詢與檢索方面的研究較少.涂喆夫[1]從角點(diǎn)檢測、特征線匹配、圖像平面分割3個(gè)角度,提出了建筑圖像的底層拓?fù)涮卣魈崛∷惴?但并未涉及建筑語義特征的提取方法.魏力愷[2]構(gòu)建了建筑空間關(guān)系原型Space Grammar,并開發(fā)出基于此原型的建筑空間檢索軟件Architable,能夠?qū)崿F(xiàn)建筑圖像檢索,但這種方式需要做大量的準(zhǔn)備工作,難以適用于互聯(lián)網(wǎng)環(huán)境下的大規(guī)模圖像檢索.張頡等[3]基于Revit API,開發(fā)了建筑信息模型的空間拓?fù)潢P(guān)系提取和檢索插件,但該插件只適用于Revit軟件生成的圖形文件的檢索.

綜上所述,當(dāng)前缺少能夠批量采集建筑圖像語義特征的方法.為此,本文借鑒了計(jì)算機(jī)領(lǐng)域關(guān)于圖像語義特征采集 (也稱語義標(biāo)注)的方法.它們分為2類: 1)基于圖像內(nèi)容的語義標(biāo)注.該類型以1999年Mori等[4]提出的圖像與語義概念之間建立聯(lián)系的共生模型(Co-occurrence model)為基礎(chǔ),運(yùn)用機(jī)器學(xué)習(xí)方法分析圖像形狀、顏色、紋理、邊界等底層視覺特征,發(fā)現(xiàn)這些特征和高層概念之間的潛在對應(yīng)關(guān)系,進(jìn)而實(shí)現(xiàn)圖像語義標(biāo)注.隨著模式識別、數(shù)據(jù)挖掘等技術(shù)的發(fā)展,許多新的方法被提出,包括基于全局特征的圖像語義標(biāo)注[5]、基于區(qū)域特征的圖像語義標(biāo)注[6]、基于圖學(xué)習(xí)的圖像語義標(biāo)注[7]、基于圖學(xué)習(xí)的跨媒體相關(guān)模型圖像語義標(biāo)注[8]等.建筑圖像內(nèi)容的復(fù)雜性導(dǎo)致建筑師都很難從圖像中提取出項(xiàng)目名稱、項(xiàng)目類型、建筑功能等特征,讓計(jì)算機(jī)自動從圖像中提取語義進(jìn)行標(biāo)注的難度較大.2)基于圖像相關(guān)文本的語義標(biāo)注(簡稱Web標(biāo)注技術(shù)).該類型是運(yùn)用數(shù)據(jù)采集和文本提取技術(shù)從圖像所在網(wǎng)頁的內(nèi)容中提取出高層概念.相關(guān)方法包括基于外部信息源的Web圖像語義標(biāo)注[9]、基于網(wǎng)頁關(guān)聯(lián)特征的圖像語義標(biāo)注[10]、結(jié)合Web背景知識的圖像語義標(biāo)注[11]、基于增強(qiáng)稀疏性特征選擇的網(wǎng)絡(luò)圖像標(biāo)注[12-13]等.建筑圖像的詳細(xì)信息均蘊(yùn)含于所在網(wǎng)頁的圖像名稱、圖像注釋、網(wǎng)頁正文等內(nèi)容中.因此,基于上述研究成果,本文提出了一種應(yīng)用Web標(biāo)注技術(shù)的建筑圖像語義采集方法.

1 概念界定

1.1 建筑圖像

圖像是一種視覺符號,是對客觀對象的相似性、生動性的描述.建筑圖像是一種用來記錄和交流建筑物信息的媒介.對于建筑師來說,圖像表達(dá)往往比文字描述更直觀,也更易理解.

本文研究的建筑圖像特指來源于建筑策劃與設(shè)計(jì)機(jī)構(gòu)網(wǎng)站、建筑案例專業(yè)網(wǎng)站、各類百科等網(wǎng)站的建筑圖像.這些網(wǎng)站具有相似的特點(diǎn): 1)同一網(wǎng)站的子網(wǎng)頁具有相同的網(wǎng)頁結(jié)構(gòu),便于批量采集; 2)同一網(wǎng)頁的多幅圖像共同反映了該棟建筑的完整信息.從圖像性質(zhì)看,它們是在建筑策劃和建筑設(shè)計(jì)的過程中形成的,是建筑師與業(yè)主、建設(shè)者、使用者之間溝通的視覺語言,是建筑空間形態(tài)創(chuàng)作的視覺表現(xiàn)[14],見表1.從圖像格式看,它們不僅包括JPEG、BMP、PNG等柵格圖像,還包括DWG、SKP等矢量圖形.

表1 建筑圖像類型

1.2 建筑圖像語義

Web圖像特征分為底層視覺特征和抽象語義特征.底層視覺特征是指圖像主題、主體、顏色、紋理及形狀等.抽象語義特征是指通過圖像包含的對象、場景的含義和目標(biāo)進(jìn)行高層推理,得到相關(guān)的語義描述[9].建筑圖像語義屬于后者,它的確定需要同時(shí)考慮圖像語義采集的難度和圖像檢索需求,不僅包括圖像名稱、圖像類型、圖像主題等圖像層面特征,也包括項(xiàng)目名稱、項(xiàng)目類型、項(xiàng)目性質(zhì)、建筑師、設(shè)計(jì)構(gòu)思、設(shè)計(jì)評價(jià)等建筑層面特征.其中,設(shè)計(jì)構(gòu)思細(xì)分為設(shè)計(jì)問題和應(yīng)對策略兩項(xiàng),設(shè)計(jì)評價(jià)細(xì)分為評價(jià)內(nèi)容和評價(jià)等級兩項(xiàng).表2列舉了建筑圖像的通用語義類型,在實(shí)際操作時(shí),可以根據(jù)網(wǎng)頁內(nèi)容靈活設(shè)置.

表2 建筑圖像語義類型

2 方法闡述

應(yīng)用Web標(biāo)注技術(shù)的建筑圖像語義采集是指計(jì)算機(jī)能夠按照預(yù)先設(shè)定的規(guī)則,自動下載網(wǎng)頁中的建筑圖像,同時(shí)采集與這些圖像相關(guān)的描述文本,并從中提取出作為圖像檢索依據(jù)的建筑語義詞的過程.它由“建筑語義詞典建立(模塊1)”、“建筑圖像相關(guān)文本采集(模塊2)”、“建筑圖像語義提取(模塊3)”3個(gè)模塊構(gòu)成,如圖1所示.

模塊1負(fù)責(zé)通過人工添加和在線學(xué)習(xí)的方式建立建筑語義詞典.模塊2負(fù)責(zé)運(yùn)用數(shù)據(jù)采集軟件,從指定的網(wǎng)頁中下載建筑圖像以及采集圖像名稱、圖像注釋、圖像周圍文本等圖像相關(guān)文本.模塊3負(fù)責(zé)運(yùn)用建筑語義詞典和文本抽取技術(shù),從這些文本中提取圖像語義詞,與圖像文件一同存儲到建筑圖像數(shù)據(jù)庫.

圖1 應(yīng)用Web標(biāo)注技術(shù)的建筑圖像語義采集方法的體系結(jié)構(gòu)

2.1 建立建筑語義詞典

建筑語義詞典是幫助計(jì)算機(jī)“理解”自然語言的橋梁,是存儲建筑術(shù)語和建筑語匯的詞庫.在互聯(lián)網(wǎng)時(shí)代新的建筑詞匯層出不窮,需要運(yùn)用在線學(xué)習(xí)技術(shù)實(shí)現(xiàn)詞典庫的動態(tài)更新.為此,本文按照趙靜[15]提出的專業(yè)領(lǐng)域語義詞典構(gòu)建方法,將百度百科詞庫和搜狗細(xì)胞詞庫作為在線語料采集庫,對其語料進(jìn)行中文分詞、詞語重組后,形成了新的語義詞.按照職能分工的不同,建筑語義詞典分為基礎(chǔ)詞典、同義詞典、對照詞典3個(gè)部分,其建立規(guī)則(規(guī)則1)如下.

1) 基礎(chǔ)詞典包含12類語義,分別為建筑類型、建筑性質(zhì)、建筑位置、建筑造價(jià)、建筑理念、建筑人物、建筑形象、建筑空間、建筑規(guī)模、建筑技術(shù)、建筑圖像及其他.每類語義可以逐級展開,語義詞不要求太精細(xì),但應(yīng)盡量全面,并符合建筑師的語言描述習(xí)慣.

2) 基礎(chǔ)詞典采用層次型分類結(jié)構(gòu)存儲,用路徑形式“一級類名|二級類名|…”表示.其中,父類包含子類,子類繼承父類的屬性.例如“建筑類型|公共建筑|博物館|大慶市博物館”.

3) 同義詞典將含義相同的語義詞整合成一組,有效避免了歧義問題,用“主導(dǎo)詞:同義詞:…”表示.例如“商業(yè)辦公樓:寫字樓”.

4) 對照詞典包含由每個(gè)詞的中文、漢語拼音、英文單詞或縮寫詞組成的詞組群,用“中文詞、漢語拼音、英文單詞、縮寫詞”表示.例如“中庭,zhongting, atrium,無”.

5) 建筑語義詞典可以通過圖像語義采集過程不斷得到補(bǔ)充和豐富.自動組詞規(guī)則為:當(dāng)詞典中已存在的類名前是名詞或形容詞時(shí)組成新詞.例如“寧波(n)美術(shù)館(n)”合并為“寧波美術(shù)館”,并作為子類自動添加到該類中,結(jié)果為“建筑類型|公共建筑|美術(shù)館|寧波美術(shù)館”.

根據(jù)上述規(guī)則,可以快速建立比較完善的建筑語義詞典,該詞典將導(dǎo)入相關(guān)軟件的用戶詞庫中,用于進(jìn)一步中文分詞、語義詞提取、同義詞替換等操作.

2.2 采集圖像相關(guān)文本

Shen等[16]認(rèn)為圖像名稱、圖像注釋、圖像周圍文本、圖像所在網(wǎng)頁標(biāo)題與圖像語義密切相關(guān).本文發(fā)現(xiàn)圖像所在網(wǎng)頁正文、圖像超鏈接網(wǎng)頁標(biāo)題亦與圖像語義相關(guān).因此,將上述6項(xiàng)內(nèi)容稱為建筑圖像相關(guān)文本,分別記作T1～T6.

圖像相關(guān)文本采集主要借助數(shù)據(jù)采集軟件. 鑒于軟件的智能性,本文選用抓取、處理、分析、挖掘互聯(lián)網(wǎng)數(shù)據(jù)的軟件—火車采集器.首先,需要根據(jù)T1～T6在網(wǎng)頁中的分布情況設(shè)置文本采集規(guī)則,即圖像網(wǎng)址采集規(guī)則、圖像相關(guān)文本采集規(guī)則、圖像文件下載、存儲、命名規(guī)則,通過編寫前后截取、正則提取、XPath提取、JSON提取的表達(dá)式來實(shí)現(xiàn).然后, 設(shè)置自動采集計(jì)劃,執(zhí)行文本采集.采集結(jié)果以字符串形式表達(dá),并與采集的建筑圖像文件一并存儲到建筑圖像數(shù)據(jù)庫中.

圖像周圍文本是除圖像名稱、注釋外最能反映圖像主題的,采集難度最大的文本類型.它們往往和圖像處在同一個(gè)

表3 基于DOM樹的圖像周圍文本采集規(guī)則[10]

以筑龍網(wǎng)中的扎哈·哈迪德建筑代表作網(wǎng)頁為例(如圖2所示),按照上述規(guī)則,查找點(diǎn)到達(dá)建筑圖像DIV結(jié)點(diǎn)時(shí),發(fā)現(xiàn)有兩個(gè)兄弟結(jié)點(diǎn)存在文字信息,將其作為圖像周圍文本,即“阿利耶夫文化中心”和“這是由扎哈·哈迪德在2007年設(shè)計(jì)的……”.

圖2 扎哈·哈迪德建筑代表作網(wǎng)頁截圖

Fig.2 Webpages’ sreenshots of Zaha Hadid’s representative architectural works

2.3 提取建筑圖像語義

在提取建筑圖像語義之前,首先將建筑語義詞典導(dǎo)入火車采集器的用戶詞庫.根據(jù)表2的語義類型,建筑圖像語義提取過程分為圖像層面語義提取和建筑層面語義提取.

2.3.1 圖像層面語義提取

圖像類別是圖像檢索的關(guān)鍵特征之一,它分為調(diào)查記錄圖、建筑策劃圖、建筑設(shè)計(jì)圖、建筑分析圖、建筑實(shí)景圖5類.每類細(xì)分為若干子類,子類前加上新的限定詞,便可產(chǎn)生新的圖像類別.它的提取步驟為:1)粗選語義候選詞.運(yùn)行火車采集器的中文分詞功能,依次對T1～T3、T6的文本進(jìn)行分詞,去除介詞、連詞、副詞等噪聲詞,生成語義候選集. 2)精選語義候選詞.將語義候選詞與用戶詞庫的圖像類別語義詞進(jìn)行匹配,將匹配成功的語義候選詞提取出來作為圖像類別值.

圖像名稱采用T1作為語義值.若T1不存在則采用項(xiàng)目名稱和圖像類型的組合來實(shí)現(xiàn).例如阿利耶夫文化中心總體鳥瞰圖、蘇州博物館二層平面圖等.

圖像主題需要運(yùn)行中文分詞功能,提取T3中的關(guān)鍵詞,將T3及其關(guān)鍵詞作為圖像主題值.

2.3.2 建筑層面語義提取

建筑層面語義是描述圖像中建筑物的關(guān)鍵特征,通常以項(xiàng)目概況的形式位于網(wǎng)頁的開頭、結(jié)尾或中間某一固定位置,其提取步驟如下.

Step1根據(jù)表2的語義類型,在火車采集器中分別設(shè)置各類型建筑語義的提取表達(dá)式.下列情況需要注意: 1)鑒于網(wǎng)頁描述內(nèi)容的不確定性和自然語言處理的難度,直接將網(wǎng)頁正文內(nèi)容作為設(shè)計(jì)構(gòu)思的語義候選詞,為后續(xù)全文檢索提供便利. 2)鑒于自然語言處理的難度,直接將網(wǎng)頁評論模塊的信息作為評價(jià)內(nèi)容,對評價(jià)內(nèi)容進(jìn)行情感分析,將獲得的定量化數(shù)值作為評價(jià)等級.

Step2運(yùn)用火車采集器的用戶詞庫對Step1提取的語義詞進(jìn)行同義詞、縮寫詞替換、中英文互譯,獲得最終語義詞.

根據(jù)上述語義提取方法,建筑師能夠批量地采集互聯(lián)網(wǎng)中建筑圖像的語義詞.將這些語義詞與圖像文件建立索引后,以二維關(guān)系數(shù)據(jù)表的形式存儲到建筑圖像數(shù)據(jù)庫中,便完成了建筑圖像語義采集的全部過程.

3 案例檢驗(yàn)

在庫言庫建筑網(wǎng)站(http://www.ikuku.cn)聚集了約4 500個(gè)全球優(yōu)秀建筑設(shè)計(jì)作品,約120 000張高清建筑圖像,建筑師批量地采集這些圖像語義將對圖像檢索和深度解析產(chǎn)生重要意義.為驗(yàn)證方法的有效性和可行性,本文以其中的辦公建筑圖像語義采集為例進(jìn)行演示,實(shí)驗(yàn)環(huán)境及軟件配置見表4.

表4 實(shí)驗(yàn)環(huán)境及軟件配置表

Step1分析網(wǎng)頁結(jié)構(gòu).該網(wǎng)站的建筑作品頁面均具有相似的布局,它分為左、右兩部分,左側(cè)從上到下依次為:項(xiàng)目名稱、封面圖片、作品介紹、建筑圖像(平面、立面、剖面、渲染圖、分析圖、照片等)、用戶評論.右側(cè)從上到下依次為:項(xiàng)目位置、建筑師、設(shè)計(jì)團(tuán)隊(duì)、委托單位、建筑功能、建筑規(guī)模等特征.

Step2采集相關(guān)文本.將建筑語義詞典加載到火車采集器的用戶詞庫中;分別設(shè)置辦公建筑圖像網(wǎng)址采集規(guī)則、圖像下載規(guī)則和圖像相關(guān)文本采集規(guī)則.

Step3提取圖像語義.運(yùn)用火車采集器的標(biāo)簽組合功能,對圖像相關(guān)文本采集規(guī)則進(jìn)行二次編輯,即中文分詞、語義匹配、同義詞替換、中英文互譯.點(diǎn)擊執(zhí)行后,軟件將自動下載該網(wǎng)站的辦公建筑圖像,并提取其語義詞.圖3為西安廣播電視中心總平面圖的語義提取過程.

Step4存儲圖像數(shù)據(jù).在火車采集器中設(shè)置圖像語義發(fā)布模塊,將其存儲到MySQL數(shù)據(jù)庫中.為降低建筑師操作的難度,本文采用Navicat Premium軟件對建筑圖像數(shù)據(jù)庫進(jìn)行可視化管理.圖4為北京開心麻花辦公總部照片的可視化管理界面.

由上述演示可知,與建筑師手動提取建筑圖像的語義特征相比,本方法具有顯著的優(yōu)勢,能夠自動地、批量地采集互聯(lián)網(wǎng)中的建筑圖像語義,并不斷檢測最新發(fā)布的建筑圖像,實(shí)現(xiàn)數(shù)據(jù)庫的自動更新.

Fig.3 The semantic acquisition interface of Xi’ an Television & Broadcasting Center’s site plan

圖4 建筑圖像數(shù)據(jù)庫可視化管理界面

Fig.4 A visual management interface of databases related to architectural images

4 結(jié) 論

1)為解決互聯(lián)網(wǎng)環(huán)境下大規(guī)模建筑圖像的語義特征難以提取和建筑師檢索效率較低的問題，提出了應(yīng)用Web標(biāo)注技術(shù)的建筑圖像語義采集方法.通過“建筑語義詞典建立”、“建筑圖像相關(guān)文本采集”、“建筑圖像語義提取”3個(gè)模塊,建筑師能夠自動、批量地采集互聯(lián)網(wǎng)中的建筑圖像語義.

2)案例檢驗(yàn)表明,該方法是可行的,具有較強(qiáng)的操作性,能有效地克服建筑圖像查詢效率低的問題.

3)將計(jì)算機(jī)領(lǐng)域的數(shù)據(jù)采集、文本抽取技術(shù)引入建筑學(xué)領(lǐng)域,能極大提升建筑師運(yùn)用互聯(lián)網(wǎng)圖像的能力,進(jìn)而加快計(jì)算機(jī)輔助建筑策劃與設(shè)計(jì)的進(jìn)程.

4)目前,該方法還存在一些不足,如只能針對具有相似網(wǎng)頁結(jié)構(gòu)的網(wǎng)站來采集,采集結(jié)果容易受到網(wǎng)頁內(nèi)容的限制而出現(xiàn)缺失值等,需要后續(xù)研究來完善.

[1] 涂喆夫.建筑圖像的底層拓?fù)涮卣魈崛〉乃惴ㄑ芯縖D]. 合肥: 中國科學(xué)技術(shù)大學(xué), 2014.

TU Zhefu. Research on underlying topological feature extraction algorithm of architecture images[D]. Hefei: University of Science and Technology of China, 2014.

[2] 魏力愷.基于CBR和HTML5的建筑空間檢索與生成研究[D].天津:天津大學(xué), 2013.

WEI Likai. Architectural spatial retrieval and generating based on CBR and HTML5[D].Tianjin: Tianjin University, 2013.

[3] 張頡,李昌華,李智杰.基于拓?fù)涮卣鞯慕ㄖ畔⒛Ｐ蜋z索方法[J].計(jì)算機(jī)應(yīng)用研究, 2016, 33(3): 916-921. DOI: 10.3969/j.issn.1001-3695.2016.03.063.

ZHANG Jie, LI Changhua, LI Zhijie. Building information model retrieval based on topological features[J]. Application Research of Computers, 2016, 33(3): 916-921. DOI: 10.3969/j.issn.1001-3695.2016.03.063.

[4] MORI Y, TAKAHASHI H. Image-to-word transformation based on dividing and vector quantizing images with words[C]//Proceeding of the 7th ACM International Conference on Multimedia. Florida in the United States: ACM Press, 1999: 405-409.

[5] YAVLINSKY A, SCHOFIELD E, RUGER S. Automated image annotation using global features and robust nonparametric density estimation[C]// Proceedings of the 4th International Conference on Image and Video Retrieval. Berlin, Heidelberg: Springer-Verlag, 2005: 507-517. DOI: 10.1007/11526346_54.

[6] 邱澤宇,方全,桑基韜,等.基于區(qū)域上下文感知的圖像標(biāo)注[J].計(jì)算機(jī)學(xué)報(bào), 2014, 37(6): 1390-1397. DOI:10.3724/SP.J.1016.2014.01390.

QIU Zeyu, FANG Quan, SANG Jitao, et al. Regional context-aware image annotation[J]. Chinese Journal of Computers, 2014, 37(6): 1390-1397. DOI:10.3724/SP.J.1016.2014.01390.

[7] 盧漢清,劉靜.基于圖學(xué)習(xí)的自動圖像標(biāo)注[J].計(jì)算機(jī)學(xué)報(bào),2008, 31(9): 1629-1639. DOI: 10.3321/j.issn:0254-4164.2008.09.016.

LU Hanqing, LIU Jing. Image annotation based on graph learning[J]. Chinese Journal of Computers, 2008, 31(9): 1629-1639. DOI: 10.3321/j.issn:0254-4164.2008.09.016.

[8] 李玲,宋瑩瑋,楊秀華,等.應(yīng)用圖學(xué)習(xí)算法的跨媒體相關(guān)模型圖像語義標(biāo)注[J].光學(xué)精密工程, 2016, 24(1): 229-235. DOI:10.3788/OPE.20162401.0229.

LI Ling, SONG Yingwei, YANG Xiuhua, et al. Image semantic annotation of CMRM based on graph learning[J].Optics and Precision Engineering, 2016, 24(1): 229-235. DOI:10.3788/OPE.20162401.0229.

[9] 張華,張淼,孟祥增.基于外部信息源的WWW圖像語義提取研究[J].計(jì)算機(jī)科學(xué),2006, 33(4): 211-214. DOI: 10.3969/j.issn.1002-137X.2006.04.060.

ZHANG Hua, ZHANG Miao, MENG Xiangzeng. Methods of extracting WWW image semantics based on external information[J].Computer Science, 2006, 33(4): 211-214. DOI: 10.3969/j.issn.1002-137X.2006.04.060.

[10]陳濤.基于網(wǎng)頁關(guān)聯(lián)特征的互聯(lián)網(wǎng)圖像自動標(biāo)注系統(tǒng)[D].杭州:浙江大學(xué),2007.

CHEN Tao. Multi-feature based web image annotation system[D].Hangzhou: Zhejiang University, 2007.

[11]陳世亮,郭向東,董洋溢.結(jié)合Web背景知識的圖像語義標(biāo)注[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(4):166-169.

CHEN Shiliang, GUO Xiangdong, DONG Yangyi. Semantic annotation method for images by Web background knowledge[J]. Computer Engineering and Applications, 2013,49(4): 166-169.

[12]石翠萍,張鈞萍,張曄.一種新的基于混合變換的圖像稀疏表示[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào), 2014,46(9):36-42.DOI:10.11918/j.issn.0367-6234.2014.09.007.

SHI Cuiping, ZHANG Junping, ZHANG Ye. A novel image sparse representation based on the hybrid transform[J].Journal of Harbin Institute of Technology,2014,46(9):36-42.DOI:10.11918/j.issn.0367-6234.2014.09.007.

[13]史彩娟,阮秋琦.基于增強(qiáng)稀疏性特征選擇的網(wǎng)絡(luò)圖像標(biāo)注[J].軟件學(xué)報(bào),2015,26(7):1800-1811. DOI: 10.13328/j.cnki.jos.004687.

SHI Caijuan, RUAN Qiuqi. Feature selection with enhanced sparsity for web image annotation[J]. Journal of Software,2015,26(7):1800-1811. DOI: 10.13328/j.cnki.jos.004687.

[14]王一涵, 劉松茯. 當(dāng)代西方建筑空間形態(tài)創(chuàng)作的視像轉(zhuǎn)譯研究[J]. 建筑學(xué)報(bào),2016,(S1):65-70.

WANG Yihan, LIU Songfu. Research of the visual translation spatial from creation in the contemporary western[J]. Architectural Journal, 2016,(S1):65-70.

[15]趙靜.大規(guī)模漢語語義詞典構(gòu)建[D].哈爾濱:哈爾濱工業(yè)大學(xué),2011.

ZHAO Jing. Building a large scale Chinese semantic dictionary[D]. Harbin: Harbin Institute of Technology, 2011.

[16]SHEN Hengtao, OOI B C, TAN K L. Giving meanings to WWW images[C]//Proceeding of the 8th ACM International Conference on Multimedia. New York, NY: ACM, 2000: 39-47. DOI: 10.1145/354384.376098.

AsemanticacquisitionmethodofarchitecturalimagesbasedonWebannotationtechnology

GUO Qiang1,2，3, ZOU Guangtian1,2，3, LIAN Fei1,2，3, ZHANG Si1,2，3

(1.School of Architecture, Harbin Institute of Technology, Harbin 150006, China; 2.Architectural Planning and Design Institute, Harbin Institute of Technology, Harbin 150006, China;3.Heilongjiang Cold Region Architectural Science Key Laboratory (Harbin Institute of Technology), Harbin 150006, China)

To solve the problem that architects were always having problems in finding suitable architectural images effectively from websites, a semantic acquisition method of architectural images based on web annotation technology was proposed. First, the concepts and types of architectural images and semantics were defined. Second, the framework and operational processes of this method were illustrated. Finally, the feasibility and validity of this method were verified by famous building websites as examples. Regarding to operational process, there were three steps: building the architectural semantic dictionary by adding artificially and learning online; collecting 6 items of image-related texts (image’s name, image’s annotation, information around images, webpage’s title, webpage’s body, and the title of image’s hyperlink) from websites where the images were founded; collecting semantics of images according to certain rules, relating them to image files and keeping them to the database of architectural images. This study indicates that the proposed method is feasible and easy to be operated. Architectural images can be automatically downloaded in batches and more than 30 items of architectural semantic characteristics will be collected, such as names, categories, themes of architectural images, as well as names and types of projects. As a result, the semantic acquisition method of architectural images will effectively overcome the problem that architectural images are hard to be searched and it will help architects to improve their abilities of innovation by using images from websites.

Web annotation technology; architectural images; architectural images’ semantics; the architectural semantic dictionary; images’ semantics acquisition

10.11918/j.issn.0367-6234.201601001

TU18

A

0367-6234(2017)10-0158-06

2016-01-01

國家自然科學(xué)基金(51178132)

郭 強(qiáng)(1985—),男,博士研究生;

鄒廣天(1960—),男,教授,博士生導(dǎo)師

鄒廣天,zougt@hit.edu.cn

(編輯張 紅)