摘要:針對基于有監督學習的依存句法分析模型的研究現狀與進展進行了總結。重點綜述了標注語料匱乏、特征選擇與提取、模型一體化三個問題的相關研究內容。首先,詳細介紹人們借助依存關系映射和主動學習擺脫標注語料匱乏困境的相關研究;其次,重點總結了不同特征對構建依存句法分析模型的貢獻,例如句子級特征、詞類別特征、語言形態特征和高階特征等;最后,分析了依存句法分析模型一體化的優勢與不足;此外,詳細總結了如何借助該類模型解決事件抽取、產品評論分析和輿情分析等問題。
關鍵詞:依存句法分析, 特征選擇, 有監督學習, 模型一體化
中圖分類號:TP3911 文獻標識碼:A文章編號:2095-2163(2013)02-0011-05
0引言
依存句法分析模型可用于精確地自動構建給定句子中詞匯之間的依存關系[1]。該類模型可大致分為基于有監督學習和基于文法規則兩類模型。基于有監督學習的依存句法分析模型是指使用統計機器學習方法,通過從大量標注語料中學習參數而相應構建的依存句法分析模型。而基于文法規則的依存句法分析模型則指依據專家提煉或數據挖掘的文法規則而憑此構建的依存句法分析模型。兩種模型各有優缺點,前者一般可以獲得較高的預測精度,但卻需要設計大量的標注依存結構的句子作為學習樣本訓練模型;后者通常不需要設計大量訓練樣本,但由于專家的知識受限,規則領域適應性較差,導致該種模型預測精度并不高。藉此分析,基于有監督學習的依存句法分析模型具有較高的預測精度,因此,本文將圍繞該類模型的研究現狀而展開綜述。具體內容如下。
基于有監督學習的依存句法分析模型的構建過程一般可分為兩步[2]:
(1)學習。給定一個標注依存結構的句子集合,人工構建依存特征模板,再從集合中抽取依存特征。其后,設定模型參數,并在有限步驟內推導得出一個依存句法分析模型;
(2)評價。給定測試集合及評價方法,若該模型的預測結果滿足期望值,模型構建完成,否則進入步驟(1)。
有監督學習的依存句法分析模型又可分為基于移近規約和基于圖兩類。其中,基于圖的依存句法分析模型在效率和精確度都有良好表現,因而廣受關注。基于圖的依存句法分析模型的原理是借助最大生成樹算法,實現句子的依存句法分析。例如句子“漢族/nR 醫學/n 又/d 有/v 中醫/n 之/uJDE 稱/n”的依存句法分析結果如圖1所示。
在構建基于有監督學習的依存句法分析模型時,主要集中于兩個方面:資源建設和特征工程。針對其相關研究,本文給出了較為系統、詳盡的綜述。在資源建設研究方面,人們通過依存關系映射和主動學習兩種方法緩解語料匱乏的困境。通過將源領域中標注依存關系的映射到目標領域實現目標領域的依存關系自動化標注,達到自動化構建目標領域語料的目的,進而在目標領域借助自動標注的語料構建依存句法分析模型;而借助主動學習思想,一方面可選擇頗具價值的人工標注對象進行人工標注,擴充標注集合,另一方面也可降低人工標注的工作量。在特征工程研究方面,人們分析了不同特征對構建依存句法分析模型的貢獻,涉及的特征包括詞匯特征、句子特征,以及語言形態特征等,同時介紹了如何因解決特征稀疏而導致的模型性能下降的問題。此外,具體而深入地分析、評價了依存句法分析模型一體化的優勢和不足。
本文的組織結構如下:第二部分針對語料匱乏、特征選擇和獲取、以及模型一體化問題,詳細比較和分析了現有模型的研究現狀;第三部分從事件抽取、產品評論分析,以及輿情分析角度說明了現有模型最近的應用情況;最后總結現有模型研究并對未來可能研究方向給予展望。
1基于有監督學習的依存句法分析模型
1.1標注語料匱乏
近年來,在標注語料匱乏研究方面,人們借助依存關系映射和主動學習方法改進標注語料不足的狀況。在依存關系映射研究方面,已有學者采用規則過濾[3]、適應性標注方法[4]、動態規劃方法[5]解決源領域和目標領域之間的差異,但效果并不明顯。Jiang等[6]采用一種依存結構映射策略,將源領域中豐富的依存關系映射到資源短缺的目標領域中,實現目標領域依存關系語言的自動構建。例如,將標注依存關系的英語語料中的依存關系映射到中文語料中,實現中文語料的自動標注。實現依存映射時,若采用詞對齊方法實現依存關系映射,映射過程中會產生詞對齊的錯誤和不同語言之間因句法差異產生的錯誤。與已有方法不同,作者采用的映射方法不是將整棵句子依存樹映射到目標領域,而是映射詞匯依存關系。給定詞對齊雙語語料,源領域的句子標注了依存句法結構,其中的依存關系是布爾型,表示是否存在依存關系。而后將源領域中詞對的依存關系映射為目標領域的詞對。在目標領域產生依存關系的實例過程中,最先獲得詞對齊的映射,采用映射矩陣而不是單個的詞對齊,這樣可以減少詞對齊的錯誤。而且詞對齊的映射不是一一映射,因而能夠獲得多種映射組合。假設詞對(a, b),其中,詞a有n種映射射結果,詞b有m種映射結果,則詞對(a, b)就存在n×m種映射可能。然后,根據源端句法樹庫以及映射矩陣計算目標領域存在依存關系的概率。最后,設定閾值T確定在目標領域是否產生依存關系。大于閾值T,則存在依存關系,即為正例;若小于(1 - T),則不存在依存關系,即為反例。如此就獲得了大量目標領域的依存關系樣例。通過在目標領域產生的樣例上訓練最大熵分類器實現目標端的依存關系預測。該種映射方法降低了依存關系映射時產生錯誤關系的概率,并且一定程度上借助英文標注語料應對中文依存分析語料匱乏的狀況。但該模型仍然無法避免兩種語言在句法差異上導致的錯誤的關系映射。此外,也難以精確設定閾值來判定映射結果是否為依存關系。
其中,si表示n-best的句法分析結果中第i個預測結果分值,n表示利用DP預測得到的句法分析樹的數量。當n-best的句法分析結果的分值互相之間越發接近時,熵值也將越高。這時,句法分析器預測結果“徘徊”在n-best之中,即根據句法分析器預測結果是很難選擇得到最好的句法分析樹的,因此,句子s需要人工標注依存句法結構。依據上述思想,可從未標注集合中挑選k個不確定性最高的樣本進行人工依存句法結構標注。
此后,將標記結果加入到標注集合中,重新訓練句法分析器,獲得新的句法分析器。上述過程反復迭代,直到未標注集合為空。通過這種方式擴充標注集合來解決語料匱乏問題。
另外,句子中只有部分依存關系不確定,通過標注這些不確定的依存關系就可以完成句子的依存結構標注。借助依存關系熵來度量依存關系的不確定性,具體計算如式(3)所示。
由圖2可知,首先根據標注集合訓練得到依存句法分析器DP,借助DP構建未標注集合中句子依存句法分析樹,再根據句子不確定函數選擇k個不確定句子,同時根據依存關系不確定函數選擇k’個依存關系并人工標注,由此將標注結果加入標注集合,重新訓練構建依存句法分析器,上述過程反復進行,直到未標注集合為空。
1.2特征提取與選擇
在特征提取與選擇研究方面,人們分別從不同特征對構建依存句法分析模型的貢獻角度,以及特征稀疏對構建模型產生的影響角度展開研究。其中的特征主要分為:句子級特征、詞類別特征、語言形態特征、以及高階特征等,下面對其相關工作分別作以綜合分析。
在句子級特征研究方面,Gadde[8]等使用短句信息提高句法分析性能。將短句的邊界信息作為依存關系的限制特征來豐富特征集合,并提高依存關系預測精度。將ICON2009的數據集作為測試集,使用MSTParser[1]作為依存句法分析器,在無標記和有標記的評測中預測精度分別為87%和77%。在詞類別特征提取研究方面,Agirre等[9]嘗試從WordNet中獲得詞匯的基本語義類作為依存特征,同時采用詞義消歧算法減少詞義歧義帶來的噪聲,以此提升依存句法關系預測精度。Haffari等[10]在MSTParser依存句法分析器框架下提出將詞匯表示為句法和語義兩種表示方式,并采用線性加權方式將這兩種表示形式的特征信息相融合,由此將依存句法分析精度則從90.82%提升到92.13%。在利用語言形態特征研究方面, Marton等[11]探索了形態學特征對句法分析的貢獻,并發現時態、單復數、詞綴均可提升阿拉伯語的依存句法分析精度。而在利用高階特征研究方面,Massimiliano Ciaramita等[12]使用依存語言模型和beam搜索構建高階特征。采用大量基準依存句法分析器自動分析語句構建依存句法語言模型,并借助依存語言模型構建高階特征,再使用beam搜索在解碼階段將特征有效整合至依存句法分析模型中。模型中考慮了原始模型(MSTParser)中最大生成樹的分值,同時考慮依存語言模型的分值,具體計算如式(5)所示。
由式(5)可知,該模型在解碼階段不僅考慮了MSTParser預測結果,同時考慮了依存語言模型對依存句法分析的貢獻。實驗結果顯示中文句法分析達到了最高精度,而且在英語上也獲得了與已知最好系統的可比精度。在特征稀疏研究方面, Zhou[13]結合從網絡獲取的詞匯搭配偏好來提高依存句法分析精度。通過從網絡語料Google hits和Google V1構建詞匯之間的搭配偏好。實驗結果表明,借助搭配偏好提升了依存句法分析性能。更重要的,在處理新領域數據時,使用網絡獲取的詞匯搭配偏好可使模型具有更好的健壯性。另外,在網絡數據上抽取詞匯搭配偏好還可以避免數據稀疏問題,而且已在特征稀疏的生物醫療領域驗證了吃方法的有效性。
1.3一體化模型
詞性標注是依存句法分析中必不可少的一個基礎步驟。當前的研究將依存句法分析和詞性標注分開建模,這就可能導致底層的詞性標注錯誤向高層依存句法分析傳播,進而降低依存句法分析精度。實驗表明,由于詞性標注的錯誤,將造成句法分析精度大約下降6%。為了解決這個問題,李正華等[14]提出詞性標注和依存句法分析的聯合模型。模型采用剪枝策略來減小候選詞性標簽空間,大大提高了句法分析速度。其基本思想是同時最大化詞性標注和依存句法分析性能。在這個模型中,詞性標注和依存句法分析的特征權重做以同步調整,借助詞性和句法特征交互來確定優化的聯合結果。在中文賓州樹庫上進行測試實驗,其結果表明依存句法分析精度提高1.5%。而在此基礎上,Hatori等[15]提出第一個分詞、詞性標注以及句法分析的一體化模型。通過結合分詞、詞性標注和依存分析模型的特征構建一體化模型,并提出基于字符的解碼方法。此外,Li, Zhongguo等[16]提出一體化中文依存句法分析模型,將未分詞的句子作為輸入,其輸出即為句法結構。通過移除中間分詞步驟,一體化句法分析器不再需要單詞和短語的分割標記,因特征提取錯誤而導致的性能下降也將為之得到控制。但是一體化模型雖然提升了依存句法分析的精度,但卻同時增加了解碼復雜度。
1.4其他
此外,人們在改善依存分析效率,以及借助機器翻譯技術提升依存句法分析精度方面也同樣開展了廣泛研究。在改善依存分析效率研究中,研究人員發現構建依存樹的過程中會產生大量錯誤的依存關系,過濾這些依存關系可以提高依存分析效率。Bergsma等[17]采用級聯式過濾模型過濾錯誤的依存關系。可采用三種方法實現過濾:基于規則過濾、借助線性過濾器和二次型過濾器過濾錯誤的依存關系。在基于規則過濾研究方面,訓練支持向量機依存關系分類器,特征只包括頭或依存關系中的詞性,由此利用學習得到的特征權重過濾詞性或詞性對。例如,如果一個詞性標記在非頭詞的分類器中的權重為正,則以這個節點作為頭的所有弧都將被過濾。這樣借助學習得到的權重構建一組高精度的過濾規則,即真正實現了依存關系的過濾。在線性過濾器研究方面,首先構建8個分類器作為過濾器,分別針對如下8種節點分類問題:
(1)節點是否為頭(例如節點是葉子節點);
(2)節點的頭是否在左側;
(3)節點的頭是否在右側;
(4)節點的頭是否在左側5個節點距離之內;
(5)節點的頭是否在右側5個節點距離之內;
(6)節點頭是否在左側第一個節點;
(7)節點的頭是否在右側第一個節點;
(8)節點是否是根節點。
使用相同的特征模板,得到8種不同的特征權重,分別對應8種不同的分類,并且每一種過濾器的輸入均是上一種過濾器輸出的結果。通過這種方式實現過濾,構建二次型支持向量機分類器決定過濾哪些頭—依賴對。實驗結果表明,基于規則過濾可以過濾占據25%的潛在依存關系。線性過濾器能夠過濾高達54.2%的潛在依存關系。而二次型過濾器則能夠過濾具體為22%的潛在依存關系。
在借助機器翻譯技術提升依存句法分析精度研究方面,Chen等[18]提出使用統計機器翻譯系統提高雙語句法分析精度的方法。假設在源端存在模糊的依存關系判定,在目標端可能就是清晰的依存關系判定,因而可根據目標端來修正源端的依存關系預測結果。首先,使用統計機器翻譯系統將源端的單語樹庫譯為目標端的語言。然后,在目標端采用目標端依存句法分析器進行句法分析,構建依存句法分析樹。由此獲得雙語樹庫,即在源端是人工標記的樹庫,在目標端就是自動生成的樹庫。盡管在目標端的句子和生成樹并不完備,但是采用這些自動生成的雙語樹庫,從中抽取出目標端的依存限制來修正源端依存分析性能,實現雙語句法分析性能的改進和提升。實驗結果顯示該方法的表現則要顯著優于基準方法。更進一步,當使用一個更大規模的單語樹庫,句法分析的性能也得到了較大提高。
2相關應用
基于有監督學習的依存句法分析模型能夠構建句子的依存樹,而依存樹則表明了詞匯間的依存關系,并且在不同問題中表現了其有效性與實用性,例如關系獲取[19]、復述獲取[20]和機器翻譯[21]等。此外,近年來該類模型在解決事件抽取、產品評論挖掘、以及輿情分析問題方面也發揮了主體重要作用。
在事件抽取研究方面,人們發現事件之間存在聯系,例如一個犯罪事件會引起調查事件,并且還將最終引發逮捕事件。由此可知,事件之間多存在一定的依賴關系。但現有的事件抽取方法并未考慮事件間的依存關系,而是孤立抽取每一個事件。David McClosky等[22]借助依存句法分析器構建事件的依賴關系。首先,將事件及其對應的謂詞轉化為依存樹,樹中節點包括實體、事件錨和一個虛擬根節點,各邊則表示三者間的依存關系,其中的事件錨識別常采用回歸模型運行實現,使用的特征包括字符級別。生成依存樹時,可采用兩步排序方法:
(1)根據句法分析器得到n-best結果;
(2)采用最大熵模型實現第二次排序,由此將建立事件間的依存關系。
在產品評論分析研究方面,Zhang等[23]借助淺層依存句法分析來構建產品屬性及其評價之間關系。其中包含三個步驟:
(1)根據淺層短語結構分析和依存句法分析構建淺層的依存樹。可采用淺層句法分析器Sundance實現組塊分析,并且采用Stanford句法分析器實現依存樹的構建。其中,組塊作為依存樹中的節點,邊表示組塊之間的依存關系;
(2)識別產品屬性和候選評價。首先,使用觀點詞典以過濾候選評價,觀點詞典包含著8 221個觀點表達。其次,假設與候選評價越近似的組塊,自身是產品屬性的可能就越大,憑此識別產品屬性;
(3)構建產品屬性和評價之間的關系。可將關系構建視為一個分類任務,而將所有的產品屬性和候選評價視為潛在關系。可采用支持向量機分類器實現關系構建,特征包括上下文和詞性。現已在手機和數碼相機領域驗證了此方法的可行性和有效性。
在輿情分析研究方面,Wu等[24]提出基于圖的句級情感分析模型。引入了線性規劃結構學習方法產生輸入句子的圖形表示。圖中節點包括評價目標、觀點表達和觀點修飾。邊表示節點之間的關系,具體包括觀點表達和修飾之間的關系,以及觀點表達之間的關系,并且包含單個觀點之間的語義關系。通過圖,可以將之前被忽略的各種信息融合進來。該模型的優勢在于,借助觀點之間的關系,可更加精確地判定句子的整體情感極性。Nakagawa等[25]提出借助依存分析結果實現中文和日文主觀句情感分類。主觀句通常包括將情感極性反轉的詞匯。包含積極(或消極)的情感詞的句子不一定表達與情感詞相同的極性。因此在情感分析中需要考慮詞匯之間的修飾對詞匯情感極性的影響,但是采用詞袋的方法很難解決這個問題。若采用規則方法實現句子極性判斷,則不能從語料中學習情感信息,而且規則的適用性十分有限,同時需要大量的人力、物力構建規則。嘗試借助依存句法分析解決這個問題。句子的情感標注不應該只標注句子的整體情感極性,而應該存在句子的局部情感極性標注,并且利用這些局部標注信息來實現情感分類。在該方法中,將句子轉化為依存樹結構,再將句子的依存樹中每一個依存子樹的情感極性表示為隱式變量,整句的情感極性則可由隱式變量之間的交互而共同決定。
3結束語
本文重點總結了在構建基于有監督學習的依存句法分析模型時面對的語料匱乏和特征選擇兩個問題的相關研究。此外,分析和總結了依存句法分析模型一體化的優缺點。最后,介紹了如何應用現有模型解決事件抽取、產品評論挖掘、以及輿情分析問題。盡管現有模型在依存句法分析方面取得了一定成功,但也存在相應不足。首先,現有模型需要大規模的標注語料用于訓練與評價,這種需求并且隨著互聯網的發展日益增長,由此產生嚴重的標注語料匱乏問題,僅靠上述方法無法從根本上獲得解決。其次,盡管基于有監督學習的依存句法分析模型性能最佳,但該模型只能在有限的數據集合上完成一次模型參數學習,在其后的使用過程中無法自動調節模型參數來適應領域和用戶個人興趣的變化。經由本文研究,可得只有借助用戶反饋,構建連續學習的依存句法分析模型才能解決上述問題。根據用戶反饋無間斷地調整模型參數,以此適應領域和用戶興趣的變化,同時用戶在使用該模型時也一并完成完了語料標注工作,從而克服了標注語料缺乏的困境。
參考文獻:
[1]KBLER S, MCDONALD R, NIVRE J. Dependency Parsing [M]. Synthesis Lectures of Human Language Technologies, 2009: 1-20.
[2]NIVRE J. Dependency grammar and dependency parsing [R]. Technical Report, 2005: 1-32.
[3]HWA R, RESNIK P, WEINBERG A, et al. Bootstrapping parsers via syntactic projection across parallel texts[J]. In Natural Language Engineering, 2005,11: 311-325.
[4]SMITH D, EISNER J. Parser adaptation and projection with quasi-synchronous grammar features [C]// Proceedings of EMNLP, 2009: 822-831.
[5]JIANG Wenbin, LIU Qun. Automatic adaptation of annotation standards for dependency parsing using projected treebank as source corpus [C]//Proceedings of IWPT, 2009: 25-28.
[6]JIANG Wenbin, LIU Qun. Dependency parsing and projection based on word-pair classification [C]// Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (ACL '10), Stroudsburg, PA, USA, 2010: 12-20.
[7]MIRROSHANDEL S A, NASR A. Active learning for dependency parsing using partially annotated sentences [C]//Proceedings of IWPT, 2011: 140-149.
[8]GADDE P, JINDAL K, HUSAIN S, et al. Improving data driven dependency parsing using clausal information [C]//Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics (HLT '10), Stroudsburg, PA, USA, 2010: 657-660.
[9]AGIRRE E, BENGOETXEA K, GOJENOLA K, et al. Improving dependency parsing with semantic classes [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies: short papers - Volume 2 (HLT '11), Stroudsburg, PA, USA, 2011: 699-703.
[10]HAFFARI G, RAZAVI M, SARKAR A. An ensemble model that combines syntactic and semantic clustering for discriminative dependency parsing [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies: short papers - Volume 2 (HLT '11), Stroudsburg, PA, USA, 2011: 710-714.
[11]MARTON Y, HABASH N, RAMBOW O. Improving Arabic dependency parsing with form-based and functional morphological features [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies - Volume 1 (HLT '11), Stroudsburg, PA, USA, 2011: 1586-1596.
[12]CIARAMITA M, ATTARDI G. Dependency parsing with second-order feature maps and annotated semantic information [C]//Proceedings of the 10th International Conference on Parsing Technologies (IWPT '07), Stroudsburg, PA, USA, 2007: 133-143.
[13]ZHOU Guangyou, ZHAO Jun, LIU Kang, et al. Exploiting web-derived selectional preference to improve statistical dependency parsing [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies - Volume 1 (HLT '11), Stroudsburg, PA, USA, 2011: 1556-1565.
[14]LI Zhenghua, ZHANG Min, CHE Wanxiang, et al. Joint models for Chinese POS tagging and dependency parsing [C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP '11), Stroudsburg, PA, USA, 2011: 1180-1191.
[15]HATORI J, MATSUZAKI T, MIYAO Y, et al. Incremental joint POS tagging and dependency parsing in Chinese [C]//Proceedings of the 5th International Joint Conference on Natural Language Processing, 2011: 1216-1224.
[16]LI Zhongguo, ZHOU Guodong. Unified dependency parsing of Chinese morphological and syntactic structures [C]//Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL '12), Stroudsburg, PA, USA, 2012: 1445-1454.
[17]BERGSMA S, CHERRY C. Fast and accurate arc filtering for dependency parsing [C]//Proceedings of the 23rd International Conference on Computational Linguistics (COLING '10), Stroudsburg, PA, USA, 2010: 53-61.
[18]CHEN Wenliang, KAZAMA J, ZHANG Min, et al. SMT helps bitext dependency parsing[C]// Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP '11), Stroudsburg, PA, USA, 2011: 73-83.
[19]CULOTTA A, SORENSEN J. Dependency tree kernels for relation extraction [C]//Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics (ACL '04), Stroudsburg, PA, USA, Article 423, 2004.
[20]SHINYAMA Y, SEKINE S, SUDO K. Automatic paraphrase acquisition from news articles [C]// Proceedings of the second international conference on Human Language Technology Research (HLT '02), San Francisco, CA, USA, 2002: 313-318.
[21]DING Yuan, PALMER M. Machine translation using probabilistic synchronous dependency insertion grammars[C]//Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics (ACL '05), Stroudsburg, PA, USA, 2005: 541-548.
[22]MCCLOSKY D, SURDEANU M, CHRISTOPHER D. Manning. event extraction as dependency parsing [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies - Volume 1 (HLT '11), Stroudsburg, PA, USA, 2011: 1626-1635.
[23]ZHANG Qi, WU Yuanbin, LI Tao, et al. Mining product reviews based on shallow dependency parsing [C]//Proceedings of the 32nd international ACM SIGIR conference on Research and development in information retrieval (SIGIR '09), New York, NY, USA, 2009: 726-727.
[24]WU Yuanbin , ZHANG Qi, HUANG Xuanjing, et al. Structural opinion mining for graph-based sentiment representation [C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP '11), Stroudsburg, PA, USA, 2011:1332-1341.
[25]NAKAGAWA T, INUI K, KUROHASHI S. Dependency tree-based sentiment classification using CRFs with hidden variables [C]//Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics (HLT '10), Stroudsburg, PA, USA, 2010: 786-794.