二．編寫(xiě)范例（中國(guó)礦業(yè)大學(xué)圖書(shū)館可視化云圖案例）
學(xué)科分析服務(wù)可視化云圖案例
案例編寫(xiě)人：鄧志文 都平平 宋迎法 鮑劼 穆亞鳳(中國(guó)礦業(yè)大學(xué)圖書(shū)館)
[內(nèi)容摘要]
高校圖書(shū)館作為機(jī)構(gòu)的信息情報(bào)中心，存儲(chǔ)和管理著大量的研究文獻(xiàn)和機(jī)構(gòu)知識(shí)，對(duì)這些大量文獻(xiàn)進(jìn)行整體和梳理，并采用文獻(xiàn)計(jì)量分析方法從中獲取有價(jià)值的信息和知識(shí)是圖書(shū)館情報(bào)服務(wù)的重要內(nèi)容，而這個(gè)過(guò)程需要科技分析人員花費(fèi)大量時(shí)間和精力?？茖W(xué)知識(shí)圖譜用可視化技術(shù)描述知識(shí)資源，挖掘、分析、構(gòu)建、繪制和顯示知識(shí)及它們之間的相互聯(lián)系，揭示知識(shí)領(lǐng)域的動(dòng)態(tài)發(fā)展規(guī)律，是圖書(shū)館提升情報(bào)服務(wù)的有效途徑。
本案例設(shè)計(jì)了基于echarts的機(jī)構(gòu)知識(shí)動(dòng)態(tài)可視化云圖平臺(tái)，該平臺(tái)實(shí)現(xiàn)了在不同粒度下的復(fù)雜合作關(guān)系、研究熱點(diǎn)、機(jī)構(gòu)分布等動(dòng)態(tài)可視化云圖展示，并有效揭示了機(jī)構(gòu)的研宄主題、研宄前沿等信息，在一定程度上為機(jī)構(gòu)、用戶的決策需求提供了參考，取得了很好的實(shí)際應(yīng)用效果。
[關(guān)鍵詞] Echart 可視化 圖譜分析 關(guān)系網(wǎng) 熱點(diǎn)云
?。ㄓ⑽臉?biāo)題、責(zé)任形式、摘要、關(guān)鍵詞，暫略）
1.引言
圖譜分析用可視化技術(shù)描述知識(shí)資源及其載體，挖掘、分析、構(gòu)建、繪制和顯示知識(shí)及它們之間的相互聯(lián)系，把復(fù)雜的知識(shí)領(lǐng)域通過(guò)數(shù)據(jù)挖掘、信息處理、知識(shí)計(jì)量和圖形繪制而顯示出來(lái)，揭知識(shí)領(lǐng)域的動(dòng)態(tài)發(fā)展規(guī)律，讓人們更加方便、準(zhǔn)確地獲取知識(shí)。
高校是知識(shí)的聚集地，不斷產(chǎn)生著各種研究成果，也存儲(chǔ)著大量的知識(shí)。這些成果知識(shí)包含著機(jī)構(gòu)研究的內(nèi)容和研究軌跡，如題名、關(guān)鍵詞、作者等屬性從不同角度顯示了學(xué)術(shù)機(jī)構(gòu)的“知識(shí)軌跡”，這些“知識(shí)軌跡”會(huì)因?yàn)闄C(jī)構(gòu)知識(shí)的不斷積累而變化，知識(shí)可視化需以知識(shí)元為基礎(chǔ)，通過(guò)實(shí)時(shí)獲取這些知識(shí)元數(shù)據(jù)，才能動(dòng)態(tài)顯示機(jī)構(gòu)知識(shí)的動(dòng)態(tài)變化過(guò)程。本案例通過(guò)分析機(jī)構(gòu)知識(shí)可視化的關(guān)鍵技術(shù)，設(shè)計(jì)出了圖書(shū)館機(jī)構(gòu)知識(shí)可視化云圖平臺(tái)的系統(tǒng)架構(gòu)，并對(duì)平臺(tái)進(jìn)行了實(shí)現(xiàn)，為機(jī)構(gòu)的學(xué)術(shù)發(fā)展?fàn)顩r、研究方向的確立、研究團(tuán)隊(duì)的構(gòu)建等提供信息支持。
2.案例實(shí)施背景
中國(guó)礦業(yè)大學(xué)圖書(shū)館機(jī)構(gòu)知識(shí)庫(kù)現(xiàn)有數(shù)據(jù)量超過(guò)2萬(wàn)，后臺(tái)元數(shù)據(jù)量超過(guò)200萬(wàn)條，為可視化分析提供了很好的源數(shù)據(jù)基礎(chǔ)。由于所使用的開(kāi)源平臺(tái)Dspace沒(méi)有對(duì)這些元數(shù)據(jù)進(jìn)行多種可視化圖譜展示的模塊，很多時(shí)候需要供助第三方工具如Citespace 、VosViewer等對(duì)Dspace進(jìn)行數(shù)據(jù)可視化的圖譜分析，分析結(jié)果都是靜態(tài)圖，并沒(méi)有將其嵌入到機(jī)構(gòu)庫(kù)實(shí)現(xiàn)其動(dòng)態(tài)可視化。北京大學(xué)calis中心、清華大學(xué)以及中科院等院校采用可視化圖譜分析技術(shù)對(duì)Dspace進(jìn)行二次開(kāi)發(fā)，實(shí)現(xiàn)了一定可視化設(shè)計(jì)，本案例以Echar為基礎(chǔ)設(shè)計(jì)了一種內(nèi)嵌的、易擴(kuò)充和多元數(shù)據(jù)整合的機(jī)構(gòu)知識(shí)可視化圖譜平臺(tái)。
3. 案例實(shí)施過(guò)程
3.1關(guān)鍵技術(shù)分析
?。?）開(kāi)源可視化開(kāi)發(fā)包echarts技術(shù)分析
隨著技術(shù)的不斷升級(jí)，應(yīng)用開(kāi)發(fā)者也開(kāi)始在用戶體驗(yàn)上下功夫，比如數(shù)據(jù)可視化，將一大堆密密麻麻的數(shù)字轉(zhuǎn)成圖表形式，可以更直觀地向用戶展示數(shù)據(jù)之間的聯(lián)系和變化情況，減少用戶的閱讀和思考時(shí)間，以便很好地做出決策，因此互聯(lián)網(wǎng)中也出現(xiàn)了很多數(shù)據(jù)可視化開(kāi)發(fā)包，如：Arbor.js、D3.js、Gephi、Tableau、Public、Echarts。在充分查閱資料后，我們選取了Echarts作為平臺(tái)可視化開(kāi)發(fā)包。ECharts是一款由百度前端技術(shù)部開(kāi)發(fā)的，基于Javascript的數(shù)據(jù)可視化圖表庫(kù)，提供直觀，生動(dòng)，可交互，可個(gè)性化定制的數(shù)據(jù)可視化圖表。Echarts體積小，開(kāi)源，而且是國(guó)內(nèi)人員開(kāi)發(fā)，文檔豐富，學(xué)習(xí)相對(duì)容易。
?。?）Dspace數(shù)據(jù)庫(kù)結(jié)構(gòu)分析
數(shù)據(jù)可視化需要有數(shù)據(jù)的支持，dspace平臺(tái)的后臺(tái)數(shù)據(jù)庫(kù)為postgres，為了便于可視化設(shè)計(jì)，需要分析dspace數(shù)據(jù)庫(kù)各表功能，尤其是條目表item、元數(shù)據(jù)表metadatavalue，確定各表之間的關(guān)系[7]，建立用于數(shù)據(jù)可視化的視圖，本文在dspace基礎(chǔ)數(shù)據(jù)庫(kù)的基礎(chǔ)上自定義了5張視圖。
（3）元數(shù)據(jù)的清洗
由人工向機(jī)構(gòu)庫(kù)錄入數(shù)據(jù)的過(guò)程中，由于操作不規(guī)范，在格式和內(nèi)容上存在一些問(wèn)題，如關(guān)鍵詞間用逗號(hào)、漢字的分號(hào)，內(nèi)容中有不該存在的字符等，這就造成元數(shù)據(jù)中存在異常的數(shù)據(jù)，需要對(duì)這些引起異常的數(shù)據(jù)進(jìn)行清洗去除。因此需要分析所有異常數(shù)據(jù)可能性，并采用一定的方法最大限度的降低這些異常數(shù)據(jù)。
《書(shū)樂(lè)園》雜志不僅是一本雜志，更重要的是它聯(lián)合了東南大學(xué)的學(xué)生社團(tuán)，充分發(fā)揮了善淵讀書(shū)會(huì)、享悅讀創(chuàng)意空間、蒲公英社團(tuán)、東南風(fēng)文學(xué)社、圖管部等學(xué)生社團(tuán)和組織的作用，與多項(xiàng)校園文化活動(dòng)形成互動(dòng)，《書(shū)樂(lè)園》是“書(shū)香校園”建設(shè)過(guò)程中最重要的參與力量。
3.2系統(tǒng)架構(gòu)
本文設(shè)計(jì)的機(jī)構(gòu)庫(kù)可視化平臺(tái)系統(tǒng)架構(gòu)如圖1所示，平臺(tái)主要包括：數(shù)據(jù)存儲(chǔ)層、應(yīng)用服務(wù)層、數(shù)據(jù)表示層。
圖1 機(jī)構(gòu)知識(shí)可視化平臺(tái)架構(gòu)圖
數(shù)據(jù)存儲(chǔ)層：主要是指物理數(shù)據(jù)庫(kù)層，該層即有postgres的元數(shù)據(jù)，也有自建的sql server中的元數(shù)據(jù)，為了向上層提供統(tǒng)一的數(shù)據(jù)格式，該層定義了各種視圖views。
應(yīng)用服務(wù)層：系統(tǒng)管理對(duì)元數(shù)據(jù)、機(jī)構(gòu)、地理坐標(biāo)等，可視化數(shù)據(jù)服務(wù)需要將獲取的元數(shù)據(jù)進(jìn)行：預(yù)處理、數(shù)據(jù)清洗、規(guī)范化、分析、采樣和結(jié)構(gòu)映射六個(gè)步驟，其中數(shù)據(jù)清洗把臟數(shù)據(jù)、敏感數(shù)據(jù)過(guò)濾掉，采樣需要剔除和可視化結(jié)果無(wú)關(guān)的冗余數(shù)據(jù)，映射是調(diào)整數(shù)據(jù)結(jié)構(gòu)到表示層能接受的格式。
數(shù)據(jù)表示層：可視化結(jié)果中我們肯定不可能把所有的數(shù)據(jù)統(tǒng)統(tǒng)展示出來(lái)，于是又涉及到包括標(biāo)準(zhǔn)化（歸一化）、采樣、離散化、降維、聚類(lèi)等數(shù)據(jù)處理的方法。
3.3實(shí)施過(guò)程
?。?）多數(shù)據(jù)源整合
為了向應(yīng)用層提供統(tǒng)一規(guī)范的元數(shù)據(jù)，需要對(duì)各種源數(shù)據(jù)進(jìn)行整合，從這些異構(gòu)或異源的數(shù)據(jù)中自動(dòng)抽取信息得到備用知識(shí)單元。對(duì)Dspace平臺(tái)通過(guò)重新定義各視圖組織各元數(shù)據(jù)，定義的幾個(gè)關(guān)鍵視圖主要包括：v_metadatavalue,v_community2collection。
其中v_metadatavalue為元數(shù)據(jù)視圖，其視圖邏輯如下，其關(guān)聯(lián)了4個(gè)基礎(chǔ)表。
視圖v_community2collection為機(jī)構(gòu)合集元數(shù)據(jù)，其視圖邏輯如下。
（2）數(shù)據(jù)清洗
數(shù)據(jù)可視化的主要工作是數(shù)據(jù)準(zhǔn)備，而數(shù)據(jù)準(zhǔn)備一個(gè)關(guān)鍵工作是從知識(shí)元中消除概念的歧義，剔除冗余和錯(cuò)誤的概念，確保知識(shí)的質(zhì)量。網(wǎng)絡(luò)爬取不可避免的會(huì)產(chǎn)生數(shù)據(jù)噪音，手動(dòng)錄入不規(guī)范或者原始數(shù)據(jù)的標(biāo)注不統(tǒng)一也會(huì)導(dǎo)致元數(shù)據(jù)中存在錯(cuò)誤、不規(guī)范的數(shù)據(jù)。本文通過(guò)sql擁有的方法對(duì)數(shù)據(jù)清洗，清洗方法包括：
1)數(shù)據(jù)輸入造成的關(guān)鍵詞空格問(wèn)題。采用Trim()函數(shù)對(duì)元數(shù)據(jù)中的空格進(jìn)行自動(dòng)去除，保證數(shù)據(jù)的唯一性。
2）同一內(nèi)容用不同關(guān)鍵詞表達(dá)的問(wèn)題，比如某些實(shí)體可能有多種表達(dá)，某個(gè)特定稱(chēng)謂也許對(duì)應(yīng)于多個(gè)不同的實(shí)體等。如機(jī)構(gòu)的中國(guó)礦業(yè)大學(xué)、中國(guó)礦大、中國(guó)礦大徐州等不同的表達(dá)方式；知識(shí)融合以消除矛盾和歧義。系統(tǒng)通過(guò)定義一個(gè)單詞庫(kù)，并采用相似度計(jì)算，統(tǒng)一替換所有表述不統(tǒng)一的元數(shù)據(jù)，保證關(guān)鍵詞表達(dá)內(nèi)容的統(tǒng)一性，提高研究主題的集中度。
3）關(guān)鍵詞的著錄問(wèn)題。如有的論文關(guān)鍵詞為服務(wù)提供商/內(nèi)容提供商；個(gè)人數(shù)字圖書(shū)館資源共享；信息技術(shù)SWOT，本文將其分別修改為“服務(wù)提供商、內(nèi)容提供商、個(gè)人數(shù)字圖書(shū)館、資源共享、信息技術(shù)、SWOT”。這樣可以使關(guān)鍵詞可以更加準(zhǔn)確地表達(dá)相關(guān)研究?jī)?nèi)容。
（3）信息抽取
知識(shí)圖譜最適合處理關(guān)聯(lián)密集型的數(shù)據(jù)，因此首先需要存放的是圖譜中的節(jié)點(diǎn)和邊的數(shù)據(jù)；本文采用自底向上的方式從各種數(shù)據(jù)源中提取出實(shí)體（概念）、屬性以及實(shí)體間的相互關(guān)系，在此基礎(chǔ)上形成本體化的知識(shí)表達(dá)，本文定義了兩個(gè)主要數(shù)據(jù)結(jié)構(gòu)：
實(shí)體結(jié)構(gòu)Node=(Category, Name, Value, Url);
實(shí)體關(guān)系三元組結(jié)構(gòu)Link=(Source, Target, Weight)。
將各數(shù)據(jù)源中抽取出來(lái)的實(shí)體、關(guān)系都存儲(chǔ)在以上兩結(jié)構(gòu)中，其中實(shí)體結(jié)構(gòu)中的Value表示實(shí)體的重要程度，它反應(yīng)到圖譜中就是節(jié)點(diǎn)的大小，而關(guān)系三元組中Weight是表示兩實(shí)體間關(guān)系的密切程度，它反應(yīng)到圖譜中就是節(jié)點(diǎn)間的距離。
?。?）多級(jí)采樣
各單位以及個(gè)人發(fā)文量不一樣，差別也很大，如果在一篇文章合作者之間的關(guān)系都記做權(quán)值1的話，那么機(jī)構(gòu)和作者之間發(fā)文量差別非常大，在圖譜中展現(xiàn)的節(jié)點(diǎn)大小差距也會(huì)非常大，顯示效果會(huì)不好，因此需要對(duì)數(shù)據(jù)源進(jìn)行預(yù)處理，本文設(shè)計(jì)出一種不同粒度下的數(shù)據(jù)采樣方法，以下是該方法實(shí)現(xiàn)的核心代碼段。
系統(tǒng)中通過(guò)定義參數(shù)symsize,根據(jù)機(jī)構(gòu)中總的節(jié)點(diǎn)權(quán)值進(jìn)行一個(gè)加權(quán)平均得到symsiz值，然后所有節(jié)點(diǎn)的Value值與symsiz相除得到Value的最終值，最后保證了圖譜中不會(huì)超現(xiàn)超級(jí)節(jié)點(diǎn)。
4. 實(shí)踐效果
本文以中國(guó)礦業(yè)大學(xué)機(jī)構(gòu)知識(shí)庫(kù)為處理對(duì)象，實(shí)現(xiàn)了有關(guān)圖譜的設(shè)計(jì)，如圖2是顯示的所有院系的作者合作關(guān)系圖譜，不同院系顏色不一樣。
圖2 所有院系合作網(wǎng)絡(luò)圖
5. 結(jié)語(yǔ)
本文研究了基于echarts組件對(duì)機(jī)構(gòu)知識(shí)庫(kù)進(jìn)行圖譜可視的關(guān)鍵技術(shù)，并依據(jù)中國(guó)礦業(yè)大學(xué)圖書(shū)館dspace機(jī)構(gòu)庫(kù)進(jìn)行了知識(shí)圖譜分析的實(shí)現(xiàn)，設(shè)計(jì)出了動(dòng)態(tài)的圖譜分析平臺(tái)，從結(jié)果來(lái)看，圖譜顯示美觀，響應(yīng)速度快，基本都在單位秒內(nèi)得到可視化圖譜，并且該平臺(tái)在大數(shù)據(jù)的前提下實(shí)現(xiàn)了對(duì)信息的處理、知識(shí)計(jì)量和圖形繪制，很好的揭示了知識(shí)領(lǐng)域的動(dòng)態(tài)規(guī)律。
6. 附件
?。?）單個(gè)機(jī)構(gòu)合作網(wǎng)絡(luò)圖
?。?）研究熱點(diǎn)圖
（3）合作機(jī)構(gòu)區(qū)域分布圖譜
案例作者的聯(lián)系方式：都平平 13852146685 ppdu168@126.com
