上證所數(shù)據(jù)深耕

如果不出意外，上證所的數(shù)據(jù)增值系統(tǒng)將成為全球最好的系統(tǒng)之一

7月20日上海萬國股市測評咨詢有限公司的活動部經(jīng)理呂沈強緊急電告《互聯(lián)網(wǎng)周刊》，“今年的科技股50強實在沒時間去做數(shù)據(jù)分析方面的工作了，”電話中的呂沈強帶著歉意說：“沒辦法，幾乎所有的人都在忙著推動上交所Level-2行情版的事情。”

而之前的《互聯(lián)網(wǎng)周刊》科技股50強評選活動都是在與萬國測評合作，甚至為了強化雙方之間的合作，在6月底呂沈強甚至帶著其同事一行三人專程來到北京，并言之鑿鑿“會全力配合今年的科技股50強。”目前萬國測評正想如何把自己的“大智慧”交易系統(tǒng)做大，而與《互聯(lián)網(wǎng)周刊》合作做這樣的活動，對推廣自己的網(wǎng)站，其好處是不言而喻的。“包括總經(jīng)理在內(nèi)都很支持這個事情。”呂沈強說。

而現(xiàn)在能讓萬國測評忍痛割愛的理由只能是比科技股50強還重要的事情，而這就是上證所的Level-2行情版。

開始有償服務(wù)

7月18日，上海證券交易所證券信息獨家全權(quán)經(jīng)營機構(gòu)—上證所信息網(wǎng)絡(luò)有限公司宣布推出了上證所Level-2行情。作為國內(nèi)證券市場的第一個商業(yè)版行情，消費者及最終用戶將一律與信息服務(wù)商通過簽約方式獲取有償服務(wù)。

上證所信息網(wǎng)絡(luò)有限公司的董事長趙小平介紹，新版的Level-2行情并不是取代上海證券交易所已供給市場的即時行情（Show2003），而是為不同類型的投資者提供差異化服務(wù)。也就是說之前無論是大戶還是散戶都在用同樣的免費交易系統(tǒng)，在系統(tǒng)上獲取的交易信息幾無二致，但新版的Level-2行情將會給交錢的會員以更多的信息。而這一點對于股市的投資者來說，無疑平添了獲利的籌碼。

趙小平1994年到上證所研究中心主持研究工作，1998年任上證所信息中心主任，2005年開始擔(dān)任上證所信息網(wǎng)絡(luò)有限公司董事長。從2000年開始，上證所開始啟動三大技術(shù)項目：新交易系統(tǒng)、新網(wǎng)站和新信息系統(tǒng)，而趙小平經(jīng)歷了實施中的諸多過程。

趙小平介紹，Level-2行情是在現(xiàn)有的行情基礎(chǔ)上設(shè)計了新的增值內(nèi)容，由信息服務(wù)商進行再加工，并將其他信息源與之融合而成。在信息內(nèi)容上，Level-2行情也有顯著提升，包括從提供五個價位上的委托量增加到十個價位、加權(quán)平均委買/委賣價格實時顯示、逐筆成交明細的從無到有、刷新頻率明顯加快，由6秒刷新提升到3秒刷新、最佳買賣價位上前50筆分筆委托量及動態(tài)成交筆數(shù)的提供等。這些內(nèi)容在很大程度上豐富了交易行情的信息空白，滿足了客戶差異化信息需求。此外，Level-2行情還具備國際標準的數(shù)據(jù)接口、數(shù)據(jù)重發(fā)保障機制、信息安全保障等眾多優(yōu)勢。

呂沈強說目前國內(nèi)已經(jīng)有三家證券服務(wù)機構(gòu)與上證所信息網(wǎng)絡(luò)有限公司簽約，但至今為止都在忙于系統(tǒng)的對接和調(diào)整，還沒有一個收費的交易系統(tǒng)出來。另外對于這個市場上陌生的新鮮產(chǎn)品，究竟應(yīng)該如何收費，通過什么樣的途徑來收費，思路確實不是很清晰。目前大智慧的Level-2行情版仍是在測試階段，原本計劃8月1日進行收費，現(xiàn)在推遲到9月1日。

搭建數(shù)據(jù)倉庫

而為這個系統(tǒng)做的準備早在2000年就開始了。

上證所信息中心副主任石曉成博士介紹，交易所中最值錢的是數(shù)據(jù)，就像源代碼對微軟、保密配方對可口可樂的重要，交易所的數(shù)據(jù)也是交易所的核心價值所在。數(shù)據(jù)不僅涉及到幾千萬股民的利益，還涉及到上千家企業(yè)的利益，更是整個宏觀經(jīng)濟的一個微觀層面的展現(xiàn)。

2000年上證所開始考慮如何搭建一個全面、穩(wěn)健、安全的信息系統(tǒng)，而從1990年上證所成立之后的10年間，交易所的信息系統(tǒng)曾經(jīng)歷過六次大的系統(tǒng)改革，代碼等信息基本上已經(jīng)面目全非。同時，2000年的牛市行情，不管是開戶數(shù)量和交易手數(shù)/秒都創(chuàng)出了歷史新高，在行情突飛猛漲的時候，后臺的穩(wěn)健和安全被上證所提到了議事日程上。而第一件事情就是IT系統(tǒng)的戰(zhàn)略規(guī)劃。

“當(dāng)時與BCG、路透等多家國際知名咨詢公司進行過信息化戰(zhàn)略咨詢和數(shù)據(jù)倉庫整體的規(guī)劃與設(shè)計。”石曉成說自己當(dāng)時還沒有回國，所以也沒有參加過一期工程IT系統(tǒng)的戰(zhàn)略規(guī)劃。事實上，上證所與路透集團早在1992年就有了合作，當(dāng)時路透社的綜合數(shù)據(jù)網(wǎng)絡(luò)與中國最大的上海證券交易所的行情電腦系統(tǒng)正式聯(lián)通，使得上海證券交易所的Ａ股和Ｂ股的牌價可以通過路透社的網(wǎng)絡(luò)傳送到世界各國。

在這樣的關(guān)系基礎(chǔ)上，IT系統(tǒng)的戰(zhàn)略規(guī)劃多是出于路透咨詢之手。

石曉成說，2002年中期，上證所開始進行嚴格的性能測試和專家評審。性能測試可以看作是整個項目實施過程的預(yù)演（概念驗證），而2002年的測試數(shù)據(jù)量當(dāng)時是國內(nèi)同類測試中數(shù)據(jù)量最大的一次。石曉成說通過這次測試，一些在系統(tǒng)建設(shè)、實施過程中可能遇到的問題（包括技術(shù)層面、實施過程）大部分得到了驗證，為隨之進行的項目實施降低了相當(dāng)?shù)娘L(fēng)險。有了這次測試之后的結(jié)果和分析，上證所最終采用了Teradata的海量并行處理技術(shù)和先進的數(shù)據(jù)倉庫實施方法論。不過選中Teradata除了技術(shù)本身的因素外，之前上證所的登記結(jié)算中心也曾經(jīng)采用了Teradata的技術(shù)。

2002年10月，上證所啟動數(shù)據(jù)倉庫一期工程。當(dāng)時作為上證所三大重要項目之一，數(shù)據(jù)倉庫起著承上啟下的作用，并將與新一代交易系統(tǒng)、消息總線、新網(wǎng)站等共同構(gòu)成未來交易所的IT基礎(chǔ)架構(gòu)。所以其重要性不言而喻。

隨后上證所開始抽調(diào)精兵強將組成項目組，制定了項目管理、文檔規(guī)范、安全保密、變更控制、匯報制度等。而全部的實施過程經(jīng)過了信息調(diào)查分析、業(yè)務(wù)需求分析、邏輯數(shù)據(jù)模型設(shè)計、體系結(jié)構(gòu)設(shè)計、物理數(shù)據(jù)庫設(shè)計、ETL設(shè)計開發(fā)、歷史數(shù)據(jù)加載、備份、業(yè)務(wù)應(yīng)用設(shè)計開發(fā)、系統(tǒng)測試、驗收移交、用戶培訓(xùn)及知識轉(zhuǎn)移等各個環(huán)節(jié)。2003年10月上證所完成了一期建設(shè)。

石曉成回憶說一期工作要解決的主要是基礎(chǔ)性的工作，大致內(nèi)容是基本的數(shù)據(jù)清洗、存儲、整合和統(tǒng)一，1990年以來存儲在光盤、磁盤等上面的信息資料，全被轉(zhuǎn)移到新建成的數(shù)據(jù)庫中。

“完成的14個節(jié)點的并行處理， 14TB的存儲，使數(shù)據(jù)處理非常快，530億成交量可以在45分鐘之內(nèi)全部清洗完畢，而后加載存儲，全部進入庫。目前在單位時間內(nèi)處理的交易筆數(shù)要高于美國近100倍。”趙小平不無得意地說。

數(shù)據(jù)深耕

但是從發(fā)展的角度來說，上證所需要對數(shù)據(jù)進行深度分析，從而實現(xiàn)業(yè)務(wù)創(chuàng)新，這就需要數(shù)據(jù)倉庫二期工程的補充。但二期工程應(yīng)該怎么做，究竟如何才能做好，解決這些問題并不是一件簡單的事情。

石曉成就是在這時候進入了上證所，并開始參與二期工程的前期論證工作。“大致時間在2003年的上半年，當(dāng)時一期還沒有完。”石曉成說自己在國外曾經(jīng)接觸過數(shù)據(jù)庫方面的工作，通過朋友聽說上證所需要這方面的人才，就回國找上證所談了一下，事情很快就確定了。

趙小平介紹實施二期工程的目的很明確：實現(xiàn)上證所深度監(jiān)管、支持產(chǎn)品創(chuàng)新和服務(wù)信息經(jīng)營三大目標。具體目標是通過信息數(shù)據(jù)共享，提高監(jiān)管能力；二是通過對ETF、權(quán)證、指數(shù)定制等新業(yè)務(wù)提供數(shù)據(jù)支持，提高創(chuàng)新能力；三是通過對信息數(shù)據(jù)的加工，為信息公司提供LEVEL-2靜態(tài)數(shù)據(jù)和數(shù)據(jù)產(chǎn)品目錄，為上證所信息經(jīng)營提供全面的數(shù)據(jù)資源。

但做這樣的工程要牽涉到上證所十幾個部門的運作，而且這是企業(yè)級的數(shù)據(jù)倉庫。并且交易所任何一個新產(chǎn)品開發(fā)，通常都會涉及測試、監(jiān)管、建模、預(yù)警、預(yù)報、監(jiān)察、指標等。而這是全局性的工作，不是一個部門或信息中心能做的。

項目實施中間的困難可想而知。

事實上，選擇什么樣的合作伙伴來做二期工程似乎成為更重要的一件事情。一個原因是好的合作伙伴有更多的經(jīng)驗可以借鑒；二是新產(chǎn)品的安全和穩(wěn)定性應(yīng)該說更為關(guān)鍵和重要，而這樣來說對合作伙伴的要求也會更高。

石曉成說當(dāng)時的競爭對手有幾家，但主要是兩家：IBM和NCR的Teradata。“在一期的時候，IBM就參加過競爭。”石曉成說，“當(dāng)時作了一個PK，把需要測試的所有機器拉到外高橋，全部封閉，然后進行測試。一共有200多個指標，最后看數(shù)據(jù)結(jié)果，當(dāng)時交易所給了他們大量的模擬數(shù)據(jù)。”

結(jié)果是Teradata再一次中標。“NCR獲得兩個項目非常不容易，完全是PK后拿到項目的，這沒辦法，一切為了公平、公正。”趙小平說。

而這時候，在一個沒有產(chǎn)品和經(jīng)驗的領(lǐng)域內(nèi)做信息系統(tǒng)，可能需要更多的是領(lǐng)導(dǎo)的支持和同事們的信任。

要獲得這些，需要證實信息系統(tǒng)的作用。“我們采用了‘沿途下蛋’的方式來做，一個項目成功了就上線一個，領(lǐng)導(dǎo)和同事逐漸看到了信息化的好處后，實施工作就好干多了。”趙小平說二期工程得到了諸多業(yè)務(wù)部門的支持與“沿途下蛋”這種辦法不無關(guān)系。

2004年12月，上證所啟動數(shù)據(jù)倉庫二期，2005年12月基本完成。從管理角度而言，數(shù)據(jù)倉庫的建設(shè)實際上整合了很多系統(tǒng)各自的建設(shè)布局，結(jié)束了之前缺乏全局性的無序建設(shè)局面。全局數(shù)據(jù)的關(guān)聯(lián)，將基礎(chǔ)性數(shù)據(jù)工作與增值性工作做出了一個恰當(dāng)?shù)姆止ぁ?/p>

但上證所畢竟是一個企業(yè)單位，也面臨著經(jīng)營發(fā)展的問題，美國的納斯達克市場本身就是一個上市公司，所以二期工程的關(guān)鍵在于如何應(yīng)用。

開通Level-2行情版只是利用信息化進行的應(yīng)用之一。上證所信息網(wǎng)絡(luò)有限公司總經(jīng)理王勇說，國內(nèi)證券市場提供的都是單一即時行情，證券信息服務(wù)業(yè)也未形成從源數(shù)據(jù)供應(yīng)到加工、增值、分發(fā)等的有效產(chǎn)業(yè)鏈。“而采用國際通行的‘交易所—信息經(jīng)營商—用戶’模式，規(guī)范化運作打造完整的產(chǎn)業(yè)鏈是上證所信息網(wǎng)絡(luò)有限公司成立的根本初衷之一。”王勇說。

“不過，如果沒有一、二期工程作支撐，所有的這些增值服務(wù)都談不上。”趙小平承認。