大學(xué)多媒體信息檢索課程教學(xué)探索

張洪博

（華僑大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，福建 廈門 361021）

大學(xué)多媒體信息檢索課程教學(xué)探索

張洪博

（華僑大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，福建 廈門 361021）

針對當(dāng)前高等院校計算機(jī)專業(yè)中多媒體信息檢索課程的教學(xué)現(xiàn)狀以及存在的問題，闡述本科生開設(shè)多媒體信息檢索課程的必要性，提出適合本科生素質(zhì)培養(yǎng)的理論和實驗教學(xué)方案，將理論教學(xué)內(nèi)容分為多媒體信息處理技術(shù)和信息檢索技術(shù)兩部分；通過采用Opencv作為實驗教學(xué)平臺，提升學(xué)生的實踐能力。

多媒體信息檢索；多媒體信息處理技術(shù)；信息檢索技術(shù)；Opencv

0 引 言

隨著多媒體信息技術(shù)的發(fā)展和普及，信息傳播的載體從傳統(tǒng)的以文本為主的方式轉(zhuǎn)變?yōu)閳D像，視頻，語音以及文本等多元化載體的方式，計算機(jī)學(xué)科所研究的對象也從傳統(tǒng)的數(shù)值和文本擴(kuò)展到了圖像，視頻，語音等多媒體數(shù)據(jù)。多媒體信息檢索技術(shù)已經(jīng)成為當(dāng)前計算機(jī)技術(shù)發(fā)展的熱點之一。多媒體信息技術(shù)的產(chǎn)業(yè)也成為了目前計算機(jī)產(chǎn)業(yè)中的核心產(chǎn)業(yè)之一。許多新興的應(yīng)用都可以歸納到這個范疇之內(nèi)，如人臉識別；目標(biāo)檢測、跟蹤和識別；多媒體搜索引擎；移動視覺搜索等。因此在學(xué)科發(fā)展和產(chǎn)業(yè)人才需求的推動下，在本科生開設(shè)多媒體信息檢索對提升學(xué)生的行業(yè)競爭力，促進(jìn)多媒體技術(shù)以及信息檢索技術(shù)在社會生活中的應(yīng)用有著重要意義。

所謂的多媒體信息檢索，根據(jù)用戶的輸入，從數(shù)據(jù)源中檢索到用戶需要的信息，相對于傳統(tǒng)的信息檢索，多媒體信息檢索的用戶輸入方式不僅僅是簡單的文字方式，可以是圖像，視頻和語音等多媒體形式，其結(jié)果也是可以多媒體的形式展示。然而，目前與多媒體信息檢索技術(shù)相關(guān)的大多數(shù)課程，如圖像處理，計算機(jī)視覺，語音信號處理，搜索引擎，機(jī)器學(xué)習(xí)和模式識別等，在研究生階段才有系統(tǒng)的學(xué)習(xí)，這些課程在本科生教育較少開設(shè)，或者部分課程以選修課的形式出現(xiàn)；同時并沒有適合本科生學(xué)習(xí)的教材和內(nèi)容。本文在此對本科生多媒體信息檢索課程的教學(xué)進(jìn)行探討，包括理論課程內(nèi)容和實驗課程的設(shè)計；以及與之相應(yīng)的教學(xué)方式。

1 多媒體信息檢索課程的必要性

近5年來，人工智能技術(shù)開始從實驗室走入到了市場應(yīng)用中，尤其智能設(shè)備的覆蓋面越來越廣，多媒體信息技術(shù)相關(guān)產(chǎn)業(yè)發(fā)展快速，其應(yīng)用覆蓋了到工業(yè)生產(chǎn)，個人電腦，手機(jī)，相機(jī)等各種設(shè)備。例如在工業(yè)產(chǎn)品生產(chǎn)流水線中基于視覺的產(chǎn)品檢測就是多媒體信息檢索技術(shù)的應(yīng)用之一；個人手機(jī)或者安全系統(tǒng)中的人臉識別，是通過輸入人臉圖像檢索其身份，也是多媒體信息檢索技術(shù)的典型應(yīng)用；還有百度，谷歌，必應(yīng)等搜索網(wǎng)站圖像、視頻和數(shù)字圖書館，地理和醫(yī)學(xué)數(shù)據(jù)圖庫等都是多媒體信息檢索技術(shù)最直接應(yīng)用的產(chǎn)業(yè)。這些產(chǎn)業(yè)在近幾年有了一個爆炸性的增長，同時又是新興產(chǎn)業(yè)，發(fā)展后勁十足。對面這樣的行業(yè)環(huán)境，要求高校在培養(yǎng)計算機(jī)專業(yè)人才，有必要開設(shè)多媒體信息檢索技術(shù)類的課程，以完善大學(xué)計算機(jī)課程體系［4］以及滿足行業(yè)對人才的需求，推動行業(yè)發(fā)展。而本科生教育是目前行業(yè)人才供應(yīng)的主要“源泉”，在本科教育階段開設(shè)這類課程的教學(xué)，同時有助于提高學(xué)生創(chuàng)新能力、思考能力和競爭力。

2 多媒體信息檢索課程教學(xué)現(xiàn)狀分析

目前，在國內(nèi)開設(shè)多媒體信息檢索課程或者類似的課程的高校較少，或者部分課程以選修課程的形式開設(shè)。隨著產(chǎn)業(yè)的發(fā)展，部分高校也開始設(shè)置多媒體信息檢索的課程，尤其是近幾年，許多高校設(shè)置了數(shù)字媒體技術(shù)專業(yè)，多媒體信息處理類的課程也出現(xiàn)在了部分本科生的日常教學(xué)中，例如廈門大學(xué)、清華大學(xué)、哈爾濱工業(yè)大學(xué)、南京大學(xué)等開設(shè)的圖像處理，計算機(jī)視覺以及機(jī)器學(xué)習(xí)課程。同時，這些課程都開設(shè)在本科生的高年級階段。

這類的課程采用的都是研究生的教材或者國外翻譯的教材，這些教材并不適合本科生閱讀和學(xué)習(xí)；同時各個高校同樣的課程，教授的內(nèi)容也不盡相同，缺少一個好的適合本科生的教材，這成為了制約多媒體信息檢索課程發(fā)展的一個瓶頸。例如，常用的多媒體信息處理的教材非常多，對于圖像數(shù)據(jù)處理教材有：《數(shù)字圖像處理》岡薩雷斯著、《圖像處理、分析與機(jī)器視覺》桑卡著、《Computer vision: Algorithms and Applications》Richard Szeliski著等；文本和語音處理教材有：《中文文本信息處理的原理和應(yīng)用》苗奪謙著、《統(tǒng)計自然語言處理》宗成慶著、《本本和語音處理系統(tǒng)評測》戴布克耶等；信息檢索方面的教材有：《現(xiàn)代信息檢索》Ricardo著、《搜索引擎，信息檢索實踐》克羅夫特著、《機(jī)器學(xué)習(xí)》米歇爾著、《模式識別》Sergios著；同時還有許多相關(guān)的教材。

多媒體信息檢索課程才剛開始進(jìn)入本科生的課堂，而且目前缺少合適的教材，使得更系統(tǒng)、更有針對性的教授這門課變得更加困難。

3 本科生多媒體信息檢索課程的教學(xué)方案

多媒體信息檢索課程需要理論與實踐并重的教學(xué)方式，總課時為48學(xué)時，其中理論教學(xué)36學(xué)時，實驗課12學(xué)時。同時該課程要求學(xué)生具有一定的程序設(shè)計基礎(chǔ)，和基本計算機(jī)專業(yè)知識，因此該課程開設(shè)的時間應(yīng)在本科生三年級階段最佳。具體的教學(xué)內(nèi)容如下：

理論課程講授的內(nèi)容分成2部分：多媒體信息處理技術(shù)和信息檢索技術(shù)。

3.1 多媒體信息處理技術(shù)

3.1.1 文本數(shù)據(jù)的基本方法及其發(fā)展（4學(xué)時）

（1.1） 文本處理的基本方法

（1.2） 文本處理的基本發(fā)展

（1.3） 文本處理的研究現(xiàn)狀

（1.4） 文本分類與信息檢索

3.1.2 圖像/視頻數(shù)據(jù)處理技術(shù)（12學(xué)時）

（2.1） 基本圖像特征抽取方法

（2.2） 邊緣檢測方法

（2.3） SIFT特征與HOG特征

（2.4） 視頻中的二維分析

（2.5） 人臉檢測與識別

3.1.3 語音信號的特征提取（4學(xué)時）

（3.1）聲學(xué)特征

（3.2）聲學(xué)模型

（3.3）語音搜索技術(shù)

（3.4）線性預(yù)測參數(shù)

3.2 信息檢索技術(shù)

3.2.1 聚類分析（4學(xué)時）

（1.1）相似性度量

（1.2）劃分方法

（1.3）層次聚類方法

（1.4）基于密度的聚類

（1.5）基于網(wǎng)格方法

（1.6）基于模型方法

（1.7）蟻群聚類方法

（1.8）粒度計算

3.2.2 索引與檢索（4學(xué)時）

（2.1）索引和搜索的概念

（2.2）倒排文件索引

（2.3）詞匯表存取方法

（2.4）后綴數(shù)組索引

（2.5）簽名文件索引

（2.6）單模式匹配算法

3.2.3 信息檢索模型（4學(xué)時）

（3.1）布爾模型，擴(kuò)展的布爾模型

（3.2）向量空間模型，

（3.2）概率模型和基于語言模型的信息檢索模型的區(qū)別和聯(lián)系

3.3 實驗課程

實驗課程采用OpenCV作為實驗平臺；OpenCV是一個基于開源發(fā)行的跨平臺的應(yīng)用程序庫，實現(xiàn)了許多數(shù)據(jù)檢索，模式識別，機(jī)器學(xué)習(xí)以及圖像視頻語音等數(shù)據(jù)處理的算法［6］。目前在許多企業(yè)和項目開發(fā)中也逐步投入使用。實驗課程的設(shè)置如表1。

4 結(jié) 語

本文針對現(xiàn)階段本科生教育中多媒體信息檢索類課程開設(shè)的現(xiàn)狀，論述開設(shè)此類課程的必要性，提出多媒體信息檢索課程教學(xué)方案，以促進(jìn)該課程在本科生教育的推廣。

表1 多媒體信息檢索課程設(shè)置

［1］劉晶,張翀.新形勢下影響高校計算機(jī)教學(xué)質(zhì)量提高的因素及改革路徑［J］.才智,2013(36):151-152.

［2］于瑩.高校計算機(jī)教學(xué)思路及方法探討［J］.計算機(jī)光盤軟件與應(yīng)用,2013(23):223-224.

［3］林華.以數(shù)字媒體思維提升MOOC教學(xué)［J］.計算機(jī)教育,2014(23):25-28.

10.3969/j.issn.1673 - 0194.2015.18.181

G642

A

1673-0194(2015)18-0249-02

2015-07-21

福建省自然科學(xué)基金資助項目（2015J01253）；華僑大學(xué)啟動基金（13BS409）。