無線視網膜成像系統①

王 植, 沈建新

?

無線視網膜成像系統①

王 植, 沈建新

(南京航空航天大學機電工程學院, 南京 210016)

針對傳統檢眼鏡、眼底照相機等眼科檢查設備結構復雜、移動性差、不能實時觀察視網膜情況等缺陷, 設計和實現了一種無線視網膜成像系統. 對視網膜圖像獲取和WiFi無線局域網技術進行了研究, 通過WiFi無線局域網技術、HTTP網絡編程, 用裝有網卡的PC機遠程控制眼底照相機采集視網膜圖像, 并將圖像進行實時傳輸、顯示和保存. 最終將裝有網卡的PC機與眼底照相機通過WiFi相連接, 方便快捷的完成視網膜圖像的無線采集和實時觀察, 為醫生提供眼科疾病診斷、治療的客觀依據.

視網膜病變; 視網膜成像; WiFi; HTTP協議; 無線傳輸

眼睛是人類感知周圍事物的視覺器官, 外界景物要先通過復雜的人眼光學成像系統在視網膜上成一個倒立的實像, 然后經視神經傳送至大腦. 人眼是一臺精密的光學成像系統, 視網膜相當于光學成像系統中的接收器, 對人眼獲取外界信息非常重要, 因而眼底成像檢查是現代科學和臨床醫學研究的熱門對象.

傳統的眼底視網膜檢查方法是使用直接檢眼鏡、雙目間接檢眼鏡或者眼底照相機等, 通過具有豐富眼底篩查經驗的醫生和病人相互配合, 能夠觀察到眼底的情況, 但這些方法需要醫生根據主觀判斷對患者視網膜病變情況進行診斷[1]. 檢眼鏡操作簡單、應用范圍廣, 但是檢查需要患者配合和豐富經驗的眼科醫生, 病變情況缺乏客觀性圖像記錄、無立體感, 容易漏診誤診. 傳統的眼底照相機可以形成視網膜客觀性圖像記錄, 但是照明系統和觀察系統比較復雜, 體積較大, 便攜性差, 需要病人的配合才能完成檢查, 不能進行遠程診斷與圖像傳輸, 無法應用于嬰幼兒和老年人等特殊病人[2].

目前無線數據傳輸技術主要有: 藍牙、通用分組無線業務GPRS、無線局域網ZigBee、基于IEEE802.11b標準的無線局域網WiFi. WiFi由于傳輸速率快、能耗低、運行環境兼容性高, 因此成為在有限范圍內無線數據傳輸優先選擇的通信方式[3].

無線視網膜成像系統實現的關鍵點是將有線傳輸的視網膜數字圖像信號和控制數據改為無線傳輸. 本文提出將眼底照相機內部嵌入WiFi傳輸模塊, 通過裝有無線網卡的PC設備連接相機的WiFi熱點實現視網膜圖像的無線采集、傳輸、顯示和存儲等工作.

1 方案設計

傳統眼底照相機的工作原理是通過復雜的成像光路將生成的視網膜光學影像投射到圖像傳感器上, 通過模數轉換器轉換為數字圖像信號, 將該數字信號傳送至數字信號處理芯片中進行壓縮存儲等操作, 最終通過有線線路如USB接口將成像結果傳送到PC設備中并通過顯示器顯示[4]. 傳統眼底照相機進行無線改造的關鍵就是如何將數字信號處理芯片處理的數字圖像信號通過無線傳輸裝置傳輸[5], 并通過無線接收裝置將數字信號傳送至裝有無線網卡的PC機實現視網膜圖像的無線采集和傳輸.

無線視網膜成像系統總體上由裝有無線網卡的PC設備和眼底照相機組成, 其中眼底照相機由視網膜成像透鏡組、CMOS模組、WiFi傳輸模塊組成. PC設備與眼底照相機通過WiFi傳輸模塊相連接, 兩者之間通過HTTP協議進行無線數據交互. PC設備通過WiFi傳輸模塊發送命令控制眼底照相機采集視網膜圖像, 并將圖像進行實時傳輸、顯示和保存, 無線視網膜成像系統解決方案如圖1所示.

圖1 無線視網膜成像系統解決方案

2 硬件設計

無線視網膜成像系統的眼底照相機部分包括視網膜成像透鏡組、CMOS模組、WiFi傳輸模塊組成, CMOS模組和WiFi傳輸模塊采用索尼的WiFi鏡頭機DSC-QX100.

2.1 WiFi鏡頭機

WiFi鏡頭機是集視頻編碼、攝像與WiFi傳輸于一體的不含顯示器的鏡頭模塊, 它的顯示器可以是智能手機、PC機、平板電腦等具有連接WiFi功能的顯示設備, 其內嵌有TCP/IP協議棧, 每個鏡頭機都有一個唯一的IP地址, 將采集到的圖像信號通過WiFi傳輸模塊傳送至顯示設備.

索尼的DSC-QX100相機是一款比較具有代表性的WiFi鏡頭機, 它擁有1英寸2020萬Exmor R CMOS傳感器和BIONZ影像處理器, ISO感光度最高是12800, 鏡頭為3.6倍光學變焦的蔡司T * f/1.8鏡頭, 35mm等效焦距為28-100mm, 覆蓋廣角到長焦, 大光圈在弱光下優勢明顯, 并可以營造淺景深效果. 采用四個非球面鏡片, 成像清晰并且圖像畸變控制到最低程度. 支持光學防抖, 減少相機震動對成像的影響, 單次拍攝自動對焦、手動對焦和觸摸自動對焦等.

2.2 CMOS模組

CMOS模組包括Exmor R CMOS圖像傳感器和BIONZ影像處理器. Exmor R CMOS傳感器的感光能力是普通傳感器的兩倍, 照射技術與普通方法相反即向沒有布線層的一面照射光線. 由于照射光線不受晶體管和金屬線路的影響, 開口率(光電轉換部分在一個像素中所占的面積比例)可以接近100%, 與傳統的表面照射產品相比, 靈敏度(S/N)具有很大優勢. 圖像傳感器如圖2所示, 包括行選通邏輯、定時和控制電路、像素陣列、模擬信號處理器(ASP)、列選通邏輯與模數轉換器(ADC)等結構組成[6].

圖2 圖像傳感器結構

BIONZ影像處理器是固化到鏡頭機主機板的一個大型集成電路芯片, 集成用于圖像處理功能的DSP和MCU, 在成像過程中對圖像傳感器蓄積下的電荷信號進行處理, 完成數碼圖像的壓縮、顯示和存儲等.

2.3 WiFi傳輸模塊

WiFi傳輸模塊是實現無線視網膜成系統的關鍵, 它將COMS模組采集的數字信號轉化為無線電信號, 并進行無線傳輸, 使圖像可以在與其相連的顯示設備中顯示. WiFi傳輸模塊支持UART/GPIO通訊, 與鏡頭機的芯片進行無線連接; 采用擴頻技術, 保證無線數據傳輸能順利進行; 支持802.11無線標準和TCP/IP/UDP網絡協議, 便于在無線局域網內傳輸, 可以使視網膜圖像在裝有無線網卡的設備上顯示、保存和存儲等[7].

3 相關技術

3.1 WiFi傳輸技術

WiFi是Wireless Fidelity(無線保真)的英文縮寫, 俗稱無線寬帶, 遵循IEEE802.11系列協議, 是一種可以將PC、手機或者平板電腦等終端在數十米范圍內以無線的方式相互連接起來的主流無線局域網技術, WiFi協議是定義OSI(Open System Interconnection)七層協議的物理層(PHY)和數據鏈路控制層(DLC)的一部分[8]. 它的最大優點就是傳輸速度較高, 可以達到11Mbps.

WLAN一般是由站(STA)、無線介質(WM)、接入點(AP)和分布式系統(DS)等部分構成. 站STA(station)是無線局域網中各個終端的總稱, 是具有無線接口的設備. WLAN中的站之間既可直接通信又可以通過接入點(AP)通信. 無線介質WM(wireless medium)是無線局域網中各終端及接入點之間傳遞信息的媒介, 一般指自由空間里電磁波的傳播. AP是Access Point簡稱, 主要在媒介訪問控制層MAC中扮演無線工作站及無線局域網絡的橋梁. 在封閉性區域, WiFi無線網絡的通訊距離為76米到122米; 在開放性區域, 通訊距離可達305米[9].

WiFi相機鏡頭模塊就可以看成一個站, 裝有無線網卡的顯示設備也可以看成一個站. WiFi相機鏡頭模塊中的WiFi無線傳輸模塊和顯示設備中的無線網卡模塊不需要通過接入點(AP)就可直接通信.

3.2 HTTP協議

HTTP協議是超文本傳輸協議的簡稱, 是應用最廣泛的一種網絡協議, 在TCP/IP協議中處于應用層, 是一個標準的客戶端服務器模型[10]. HTTP協議是基于請求與響應模式的無狀態的協議, 客戶端通過統一資源定位器URL向服務器發送HTTP請求, 服務器在80號端口監聽客戶端的請求并向客戶端發送HTTP響應報文.

HTTP協議中定義了8個方法和服務器進行交互, 其中get和head方法是服務器必須實現的. HTTP請求分為請求行、消息報頭、請求正文3個部分, 所有的方法、實現都是圍繞如何運用和組織這三個部分來完成的. 請求行以方法符號開頭, 用空格分開, 然后是請求的URI和協議版本; 消息報頭包括普通報頭、請求報頭、響應報頭、實體報頭4類; 請求正文是用戶提交的信息, 它位于請求報頭之后, 通常以空格等符號與報頭信息分開. 客戶端與服務器連接過程如圖3所示, 可以分為3個步驟: 客戶端請求、服務器監聽、連接確認.

圖3 客戶端與服務器連接過程

3.3 SonyWiFiCtrl控件

SonyWiFiCtrl控件是一款適用于PC機通過WiFi無線連接Sony WiFi鏡頭機進行操作控制的二次開發控件, 通過控件可控制相機拍照, 調焦, 實時取回拍攝照片等. 支持Liveview實時顯示, 可在VC6.0平臺或VS平臺添加SonyWiFiCtrl控件為快速簡單地開發相機控制程序提供方便.

控件屬性: VARIANT_BOOL EnableVideoEvent;//視頻幀觸發事件開關, 允許或禁止視頻幀觸發事件, 需獲取視頻數據時可設置為允許.

控件方法:

(1) SHORT FindCamera(void);//搜索WiFi相機, 成功后返回WiFi 連接的相機數量. 在連接相機前先通過此接口獲得連接的相機數. 如果返回值為零, 則表示沒有連接到相機.

(2) BSTR GetCameraModelName(void);//讀取相機型號, 返回當前連接的相機型號.

(3) VARIANT_BOOL OpenConnection(void);//打開相機WiFi 連接, 相機的其他操作必須在此接口操作連接成功后執行.

(4) VARIANT_BOOL CloseConnection(void);//關閉相機WiFi連接.

(5) VARIANT_BOOL Capture(BSTR szFile);//執行拍照操作, 照片按輸入的參數指定的文件名保存.

(6) LONG SetZoom(BSTR direction, BSTR movement); //相機焦距調整, 輸入參數: direction: 調節方向, 輸入”in” 或“out”; movement: 調節步長, 輸入“1shot” 、“start” 或“stop".

(7) VARIANT_BOOL SetPropertyValue(PropertyID propertyID, BSTR val);//設置相機參數.

(8) LONG StartMovieRec(void);//開始錄制視頻文件. 當ShootMode 設置為”movie”時可用.

(9) LONG StopMovieRec(void);//停止錄制視頻. 啟動錄像后執行此函數停止錄制.

(10) void SetPictureSaveAs(BSTR szFile);//在相機上按快門進行拍照時, 軟件會自動觸發照片下載完成事件, 客戶端程序可在此事件中執行SetPictureSaveAs 函數將照片保存成文件.

4 系統軟件設計

4.1 軟件功能

無線視網膜成像系統的眼底照相機的CMOS模組和WiFi傳輸模塊采用索尼的WiFi鏡頭機, 軟件在VC6.0和索尼相機的SonyWiFiCtrl控件基礎上開發完成. 軟件主要實現裝有無線網卡的PC設備和眼底相機的無線連接、視網膜實時拍照和視頻錄制3個功能, 具體包括設備查找與連接、模式選擇、拍照、錄像、圖像與視頻內容查看、成像時的焦距調節等, 醫生可以通過本軟件實時觀察患者的視網膜情況, 對需要的視網膜區域進行拍照或錄像, 將獲得的照片和視頻存儲在相機的內存卡或電腦的硬盤中. 此系統只需簡單操作便可實現眼底視網膜圖像的無線采集和傳輸, 避免了傳統眼底照相機的操作復雜、耗時長、需要患者配合等缺點.

4.2 軟件流程

在眼底照相機WiFi打開的情況下, 用裝有無線網卡的PC設備搜索WiFi鏡頭機的WiFi信號, 并通過WAP2的加密模式完成PC設備與眼底照相機的無線連接. 然后打開無線視網膜成像系統軟件, 搜索眼底相機的連接地址, 如果成功則將PC設備與眼底照相機相連接, 如果WiFi沒有連接, 將會連接失敗并重新搜索WiFi信息.

眼底相機有拍照和錄像兩種模式, 將采集的視網膜圖像通過WiFi無線傳輸模塊傳送到PC設備并實時顯示相機拍攝的視網膜圖像. 如果選擇still模式可以對視網膜進行拍照, 如果選擇movie模式, 可以對視網膜進行錄像, 并將相機采集的圖像和視頻實時保存在相機的內存卡或計算機的硬盤中, 在拍照或錄像時可以調節焦距, 以獲取清晰的視網膜圖像, 可以查看已有的視網膜圖像的預覽和詳細信息, 通過相應按鈕可以設置相機的曝光模式、曝光補償、照片尺寸等功能. 軟件總體流程如圖4所示.

圖4 軟件總體流程圖

4.3 功能實現

實現軟件的拍照、錄像等功能需要在PC端調用SonyWiFiCtrl控件的相關API接口. 首先要將PC設備通過WiFi與眼底照相機建立一對一的連接, 此時PC設備為接收服務的客戶端, 眼底照相機作為提供服務的服務器. 然后客戶端軟件通過SSDP(簡單發現服務協議)查詢到眼底相機, 調用相關API的接口. 功能實現流程如圖5所示.

圖5 功能實現流程

SonyWiFiCtrl控件的API接口調用首先要進行WiFi連接, 其他功能的實現都需要在WiFi連接成功后才能實現. 通過調用FindCamera搜索到眼底照相機并進行WiFi連接;

int count = sonywifictrl. FindCamera ();

WiFi連接成功后通過調用GetCameraModelName讀取當前連接的相機型號;

CString name = sonywifictrl. GetCameraModelName();

然后調用OpenConnection打開相機WiFi連接, 其他操作必須在此接口操作連接成功后執行;

sonywifictrl. OpenConnection ();

相機WiFi連接成功后, 調用SetPropertyValue進行相機參數設置, 如拍照或錄像模式選擇;

sonywifictrl.SetPropertyValue (kSonyPropID_ShootMode, “still”);

sonywifictrl. SetPropertyValue (kSonyPropID_ShootMode, “movie”);

當選擇拍照模式時, 調用Capture進行拍照, 當選擇錄像模式時, 調用StartMovieRec開始錄像;

sonywifictrl.Capture("e:\image.jpg");

sonywifictrl.StartMovieRec ();

開始錄像后調用StopMovieRec結束錄像;

sonywifictrl. StopMovieRec ();

在拍照模式時可以調用SetZoom進行焦距調節, 調節范圍為0-100, 包括調節方向(in或out)和調節步長(1shot, start, stop), 如向內短距離調節:

sonywifictrl. SetZoom (“in”, “1shot”);

在視網膜拍照或錄像結束時可以調用CloseConnection關閉相機的WiFi連接;

sonywifictrl. CloseConnection ();

其他功能如視場角調節、白平衡、自動對焦、圖像預覽、曝光模式、曝光補償、照片尺寸等功能都可以通過調用相應的API接口實現.

5 系統實驗

在PC機上運行本軟件控制眼底照相機對視網膜成像, 進入視網膜成像界面, 如圖6所示, 點擊搜索相機按鈕, 如果WiFi連接成功, 會出現相機的名稱, 代表設備搜索成功, 點擊打開相機按鈕便可以將PC設備與眼底照相機WiFi連接成功. 界面包括拍攝模式、預覽尺寸、曝光模式、曝光補償等下拉列表、相機搜索、打開相機、關閉相機、拍照、錄像、焦距調節等按鈕. 拍攝模式選擇下拉列表包括拍照或視頻錄制模式兩種模式, 默認為拍照模式, 此時錄像按鈕為灰色, 不能使用. 右邊為圖像實時顯示窗口, 用于實時觀察所成視網膜圖像, 焦距調節按鈕用于拍照或錄像時的焦距調焦, 以獲取最清晰的視網膜圖像, 照片尺寸下拉列表可以選擇不同的長寬比和照片尺寸等.

圖 6 視網膜成像界面

6 結語

無線視網膜成像系統是多種新技術、新產品并結合視網膜疾病診斷實際應用要求的產物. 裝有無線網卡的PC機通過WiFi與眼底照相機無線連接, 并對視網膜進行實時成像、傳輸、顯示和保存, 視網膜圖像采集過程非常方便快捷. 經測試, 本系統能夠實時捕捉和遠程存儲視網膜圖像, 并且圖像清晰, 能夠滿足視網膜疾病檢查和診斷應用的需求. 無線視網膜系統的實現提供了一種新的視網膜病變檢查方法, 促進眼科醫療設備向小型化、微型化發展.

1 Knoll HA. Ophthalmic instruments in applied optics and optical engineering. Optical Instruments, 1969, 5(2): 281–304

2 De HE, Schweigerling J. Fundus camera systems: Aco- mparative analysis. Applied Optics, 2009, 48(2): 221–229

3 曾磊,張海峰,侯維巖.基于WiFi的無線測控系統設計與實現.電測與儀表,2011,48(7):81–83,96.

4 金琳琳,向陽,毛亞杰.便攜式數字檢眼鏡光學系統設計.長春理工大學學報,2011,34(1):24–26.

5 趙華軍,方鈺.無線移動視頻監控原型研究.計算機工程,2011,37(6):266–268.

6 王忠立,劉佳音,賈云得.基于CCD與CMOS的圖像傳感技術.光學技術,2003,29(3):361–364.

7 羅娜.基于88W8686的手持終端WiFi功能的設計與實現[碩士學位論文].武漢:武漢理工大學,2010.

8 劉小軍.基于WiFi無線視頻傳輸技術的研究.電子技術, 2012,(10):82–85.

9 劉乃安.無線局域網(WLAN)——原理、技術與應用.西安: 西安電子科技大學出版社,2004.

10 祝瑞,車敏.基于HTTP協議的服務器程序分析.現代電子技術,2012,35(4):117–119,122.

Wireless Retinal Imaging System

WANG Zhi, SHEN Jian-Xin

(College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

A wireless retinal imaging system is designed and implemented, which can dissolve the disadvantages in traditional ophthalmoscope and fundus camera eye inspection equipment such as the complexity of structure, poor mobility, and the disability to real-time observing and other defects. The retinal image acquisition and WiFi wireless local area network technology are studied. In this system, the WiFi wireless transmission technology, HTTP network programming, and the remote control of retinal images with the PC machine equipped with a network adapter and the image, are transmitted, displayed and stored in real time. The PC machine with the network card is connected to the fundus camera through WiFi, which is convenient to realize the wireless collection and observation of the retinal images and provides the objective basis for the diagnosis and treatment of diseases in the department of ophthalmology.

retinopathy; retinal imaging; WiFi; HTTP protocol; wireless transmission

江蘇省產學研聯合創新基金前瞻性聯合研究項目(BY2005003-03);研究生創新基地開放基金(kfjj20150515,kfjj20150514)

2016-04-19;收到修改稿時間:2016-05-19

[10.15888/j.cnki.csa.005529]