大數(shù)據(jù)時代基于云計算的數(shù)據(jù)監(jiān)護研究論文
在大數(shù)據(jù)時代，為了更好地管理和利用科學數(shù)據(jù)，計算機圖靈獎獲得者Jim Gray于2002年提出了數(shù)據(jù)監(jiān)護(Data Curation)的概念。十余年來，數(shù)據(jù)監(jiān)護一直是國內(nèi)外信息資源管理領(lǐng)域的熱點議題，研究主題集中在數(shù)據(jù)監(jiān)護的內(nèi)容、發(fā)展策略、合作模式、職業(yè)教育、成功實踐等領(lǐng)域。111鑒于云計算能夠為數(shù)據(jù)監(jiān)護提供強有力的技術(shù)支撐，如云計算快速提供資源的能力有助于輔助完成資源密集型數(shù)據(jù)監(jiān)護任務(wù)，網(wǎng)絡(luò)化云服務(wù)有利于實現(xiàn)數(shù)據(jù)監(jiān)護的協(xié)同工作，基于云計算開展數(shù)據(jù)監(jiān)護引起了國外信息資源管理學界和業(yè)界的廣泛關(guān)注。本文對基于云計算的數(shù)據(jù)監(jiān)護問題進行探討，希望對我國的數(shù)據(jù)監(jiān)護工作有所借鑒。
一、數(shù)據(jù)監(jiān)護工作流程
數(shù)據(jù)監(jiān)護是為了確保數(shù)據(jù)當前的使用目的，并能用于未來再發(fā)現(xiàn)及再利用，從數(shù)據(jù)產(chǎn)生伊始即對其進行管理和完善的活動。121為了有效指導數(shù)據(jù)監(jiān)護實踐，提高數(shù)據(jù)監(jiān)護效率，一些數(shù)據(jù)監(jiān)護機構(gòu)和研究者對數(shù)據(jù)監(jiān)護過程進行了概念化，提出了相應(yīng)的數(shù)據(jù)監(jiān)護生命周期模型。本文基于英國數(shù)據(jù)監(jiān)護中心的DCC數(shù)據(jù)監(jiān)護生命周期模型13與王芳和慎金花提出的細化的數(shù)據(jù)監(jiān)護生命周期模型，梳理出了數(shù)據(jù)監(jiān)護工作流程，見圖1。數(shù)據(jù)監(jiān)護工作流程由4個階段、11個業(yè)務(wù)環(huán)節(jié)組成，涵蓋了數(shù)據(jù)監(jiān)護的所有必要階段和核心工作。
數(shù)據(jù)收集階段：數(shù)據(jù)采集。數(shù)據(jù)采集是數(shù)據(jù)監(jiān)護活動的起點，指根據(jù)采集政策，從數(shù)據(jù)創(chuàng)建者、檔案館、知識庫或數(shù)據(jù)中心等接收數(shù)據(jù)。元數(shù)據(jù)創(chuàng)建。為采集到的數(shù)據(jù)創(chuàng)建管理、描述、結(jié)構(gòu)和技術(shù)元數(shù)據(jù)，以便進行數(shù)據(jù)管理和數(shù)據(jù)維護，以及實現(xiàn)數(shù)據(jù)共享。
數(shù)據(jù)處理階段：數(shù)據(jù)評價和選擇。評估數(shù)據(jù)并為長期監(jiān)護和保存選擇數(shù)據(jù)。數(shù)據(jù)評價和選擇直接關(guān)系到科學數(shù)據(jù)庫的質(zhì)量，并且?guī)в幸欢ǖ闹饔^性。數(shù)據(jù)剔除。根據(jù)成文的政策、指引或法律要求，處理未成為長期監(jiān)護和保存對象的數(shù)據(jù)，將這些數(shù)據(jù)轉(zhuǎn)移到其他檔案館、知識庫、數(shù)據(jù)中心或其他保管機構(gòu)。根據(jù)法律要求，有些數(shù)據(jù)會被安全銷毀。數(shù)據(jù)導入。將經(jīng)過選擇的數(shù)據(jù)傳送至檔案館、知識庫、數(shù)據(jù)中心或其他數(shù)據(jù)監(jiān)護機構(gòu)。為保證數(shù)據(jù)的可用性，在導入數(shù)據(jù)之前，應(yīng)進行去重、交叉注釋、格式認證等。數(shù)據(jù)遷移。根據(jù)存儲環(huán)境的需求，或者為了確保數(shù)據(jù)對硬件和軟件退化的抗擾性，改換數(shù)據(jù)的格式、存儲系統(tǒng)、存儲類型。
數(shù)據(jù)保存階段：數(shù)據(jù)長期保存。長期保存須確保數(shù)據(jù)的可信性、可靠性、可用性和完整性。長期保存包括數(shù)據(jù)清洗、數(shù)據(jù)驗證、分配保存元數(shù)據(jù)、分配表征信息，保證數(shù)據(jù)具備可接受的數(shù)據(jù)結(jié)構(gòu)和文件格式。數(shù)據(jù)存儲。遵守相關(guān)標準，選擇科學的組織方式和安全的存儲介質(zhì)組織并存儲數(shù)據(jù)。數(shù)據(jù)存儲既可以保證數(shù)據(jù)的安全性，又便于數(shù)據(jù)被隨時使用和加工處理。
數(shù)據(jù)利用階段：數(shù)據(jù)獲取。采用適當?shù)臉藴拾l(fā)布數(shù)據(jù)，并執(zhí)行嚴格的訪問控制和驗證程序，保證用戶安全、準確的訪問和獲取數(shù)據(jù)。數(shù)據(jù)復(fù)用。制訂數(shù)據(jù)復(fù)用規(guī)則，在不違反知識產(chǎn)權(quán)的前提下，提供數(shù)據(jù)復(fù)制、鏈接、引用等服務(wù)。數(shù)據(jù)轉(zhuǎn)換。根據(jù)原始數(shù)據(jù)創(chuàng)建新數(shù)據(jù)。例如，通過轉(zhuǎn)換格式、建立子集等途徑，創(chuàng)建新數(shù)據(jù)。
二、云計算為數(shù)據(jù)監(jiān)護提供支撐
云計算作為分布式計算、網(wǎng)絡(luò)存儲、負載均衡、熱備份冗余等計算機和網(wǎng)絡(luò)技術(shù)融合的產(chǎn)物，具有超大規(guī)模、虛擬化、通用性、高可擴展性等諸多特點。云計算的特點與數(shù)據(jù)監(jiān)護的需求非常契合，可以為數(shù)據(jù)監(jiān)護提供強有力的技術(shù)支撐。
彈性服務(wù)：云計算服務(wù)的規(guī)�？煽焖偕炜s，以自動適應(yīng)業(yè)務(wù)負載的動態(tài)變化。用戶使用的云計算資源與業(yè)務(wù)的實際需求相一致，避免了因為資源供需不匹配而導致的服務(wù)質(zhì)量下降或資源浪費。161數(shù)據(jù)監(jiān)護的數(shù)據(jù)剔除和數(shù)據(jù)遷移等任務(wù)不需要持續(xù)不斷的執(zhí)行，屬偶發(fā)性活動。云計算的彈性服務(wù)能夠很好地滿足偶發(fā)性數(shù)據(jù)監(jiān)護活動的資源調(diào)用需求。
按需服務(wù)：云計算以服務(wù)的形式為用戶提供基礎(chǔ)設(shè)施、存儲空間、應(yīng)用程序等，并能夠根據(jù)用戶的需求，自動分配各種資源。17用戶也可以根據(jù)需要在云中部署所需的應(yīng)用程序。云計算的按需服務(wù)為數(shù)據(jù)監(jiān)護中需要依賴主觀意識完成的任務(wù)，如元數(shù)據(jù)創(chuàng)建、數(shù)據(jù)評價和選擇提供了極大的便利。
泛在接入：用戶通過互聯(lián)網(wǎng)可以隨時隨地利用云計算服務(wù)。數(shù)據(jù)用戶越來越多的使用筆記本電腦、智能手機、平板電腦，將數(shù)據(jù)監(jiān)護業(yè)務(wù)流程轉(zhuǎn)移至云，能夠極大地方便用戶上傳、訪問和下載數(shù)據(jù)。數(shù)據(jù)監(jiān)護的數(shù)據(jù)采集、數(shù)據(jù)獲取和數(shù)據(jù)復(fù)用等業(yè)務(wù)環(huán)節(jié)，可以從云計算的這一特點中受益。
服務(wù)外包：用戶進行數(shù)據(jù)處理所需的計算資源價格昂貴，將提供計算資源的業(yè)務(wù)委托給云服務(wù)商，既能夠節(jié)省開支，又能夠使用戶專注于自己的核心工作。云服務(wù)商為了利益最大化，保持最優(yōu)競爭力，都會迅速應(yīng)對技術(shù)變革，以更低的價格提供更快的處理器和更大的存儲空間。云計算服務(wù)外包的特點使數(shù)據(jù)監(jiān)護機構(gòu)將部分信息技術(shù)支持業(yè)務(wù)委托給云服務(wù)商，以獲得更低廉的價格和更優(yōu)質(zhì)的服務(wù)成為可能。
三、基于云計算的數(shù)據(jù)監(jiān)護模型
云計算提供從硬件設(shè)施到應(yīng)用軟件的多層次服務(wù)。根據(jù)服務(wù)的對象和功能差異可以將云計算劃分為三種服務(wù)模式：基礎(chǔ)設(shè)施即服務(wù)(IaaS)、平臺即服務(wù)(PaaS)、軟件即服務(wù)(SaaS);根據(jù)租用云計算的用戶對數(shù)據(jù)和環(huán)境的控制權(quán)，可以將云計算劃分為公有云、私有云和混合云等部署模型。本文根據(jù)數(shù)據(jù)監(jiān)護不同業(yè)務(wù)階段的工作內(nèi)容和技術(shù)需求，并結(jié)合云計算的服務(wù)模式和部署模型，構(gòu)建了基于云計算的數(shù)據(jù)監(jiān)護模型，見圖2。下面分別從數(shù)據(jù)監(jiān)護的云計算服務(wù)模式和部署模型兩個方面分析基于云計算的數(shù)據(jù)監(jiān)護模型。
(一)數(shù)據(jù)監(jiān)護的云計算服務(wù)模式
IaaS層。IaaS提供基礎(chǔ)設(shè)施部署服務(wù)。IaaS通過虛擬化技術(shù)整合服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)資源、高性能計算集群等物理資源，構(gòu)建全局統(tǒng)一的動態(tài)虛擬化資源池�；谠朴嬎愕臄�(shù)據(jù)監(jiān)護模型的IaaS層為上層云計算服務(wù)提供海量硬件資源，實現(xiàn)硬件資源的按需酉己置。
PaaS層。PaaS是云計算應(yīng)用程序運行環(huán)境，提供應(yīng)用程序部署與管理服務(wù)。PaaS不僅能夠?qū)崿F(xiàn)海量數(shù)據(jù)的存儲，而且能夠提供面向海量數(shù)據(jù)的分析處理功能。在基于云計算的數(shù)據(jù)監(jiān)護模型的PaaS層，數(shù)據(jù)監(jiān)護機構(gòu)使用云供應(yīng)商的軟件工具和開發(fā)語言，開發(fā)數(shù)據(jù)收集和數(shù)據(jù)處理所需的各種應(yīng)用程序，實現(xiàn)應(yīng)用程序的多元化和定制化服務(wù)，并將科學數(shù)據(jù)保存于海量數(shù)據(jù)存儲系統(tǒng)。
SaaS層。SaaS提供以服務(wù)為形式的應(yīng)用程序。SaaS允許用戶使用部署于供應(yīng)商云基礎(chǔ)設(shè)施上的應(yīng)用程序，用戶也可以根據(jù)需求向供應(yīng)商定制應(yīng)用程序。在基于云計算的數(shù)據(jù)監(jiān)護模型的SaaS層，數(shù)據(jù)監(jiān)護機構(gòu)通過應(yīng)用程序向用戶提供數(shù)據(jù)利用服務(wù)，實現(xiàn)數(shù)據(jù)共享和科研協(xié)作。
(二)數(shù)據(jù)監(jiān)護的云計算部署模型
數(shù)據(jù)監(jiān)護的各個階段分別面向數(shù)據(jù)監(jiān)護方和數(shù)據(jù)使用方，對應(yīng)不同的數(shù)據(jù)存取、處理等操作權(quán)限，因此需要采用相適應(yīng)的云計算部署模型。數(shù)據(jù)監(jiān)護過程中的數(shù)據(jù)利用階段位于SaaS層，為用戶提供方便高效的數(shù)據(jù)獲取等服務(wù)，而公有云面向一般公眾提供敏捷彈性服務(wù)的特點與數(shù)據(jù)利用階段的功能需求相契合。用戶能夠通過網(wǎng)絡(luò)瀏覽器像使用個人電腦中的軟件那樣使用公有云的應(yīng)用程序，實現(xiàn)應(yīng)用程序的泛在訪問。因此，基于云計算的數(shù)據(jù)監(jiān)護模型的SaaS層應(yīng)采用公有云部署模型。數(shù)據(jù)收集和數(shù)據(jù)處理工作要求云計算提供量身定制的服務(wù)功能和非常穩(wěn)定的'服務(wù)質(zhì)量，而數(shù)據(jù)保存工作要求云計算能夠切實保障數(shù)據(jù)安全。私有云部署在用戶數(shù)據(jù)中心的防火墻內(nèi)，能夠提供對數(shù)據(jù)、安全性和服務(wù)質(zhì)量的最有效控制，而且不會沖擊用戶已有的業(yè)務(wù)流程。因此，基于云計算的數(shù)據(jù)監(jiān)護模型的PaaS層適宜采用私有云部署模型。上述公有云和私有云的基礎(chǔ)設(shè)施共同構(gòu)成了基于云計算的數(shù)據(jù)監(jiān)護模型的IaaS層，并且公有云和私有云具有統(tǒng)一的接口標準，保證服務(wù)的無縫遷移，即IaaS層采用混合云部署模型。
四、基于云計算的數(shù)據(jù)監(jiān)護案例
SRF項目：英國南安普頓大學的SRF項目，針對科學研究工作集成了許多已有的協(xié)作型數(shù)據(jù)管理工具，并將這些工具部署到一個共享的虛擬云平臺上，以SaaS的方式提供服務(wù)。SRF工具最大的特點是能夠在網(wǎng)絡(luò)日志中自動或者手工創(chuàng)建和共享實驗數(shù)據(jù)。例如，SRF的一款代理軟件能夠植入實驗儀器和計算機，自動抽取儀器在實驗過程中記錄的數(shù)據(jù)，并轉(zhuǎn)換為XML格式，然后以博客的形式發(fā)布以實現(xiàn)協(xié)作復(fù)用。通過博客發(fā)布平臺實現(xiàn)實驗過程、實驗數(shù)據(jù)、實驗分析的互聯(lián)，組織實驗數(shù)據(jù)記錄，構(gòu)建實驗、實驗數(shù)據(jù)、實驗設(shè)備之間的關(guān)聯(lián)關(guān)系。在數(shù)據(jù)監(jiān)護生命周期中，SRF工具主要用于接收和抽取數(shù)據(jù)，以保證實驗數(shù)據(jù)在上傳至云的過程中會被格式化成標準格式。
Data Flow項目：牛津大學的Data Flow項目，旨在創(chuàng)建免費的云托管Data Stage和Data Bank，以便于管理、保存、發(fā)布研究數(shù)據(jù)。其中，Data Stage以在用戶電腦上運行映射驅(qū)動器的方式，提供研究組水平的、安全的“本地”文件管理環(huán)境。另外，Data Stage還提供數(shù)據(jù)的網(wǎng)絡(luò)獲取和在線存儲服務(wù)，用戶通過訪問控制程序的認證之后，即可以訪問私人、共享、協(xié)作、公眾和公共數(shù)據(jù)目錄。Data Bank是一種虛擬化的、基于云部署的機構(gòu)研究數(shù)據(jù)倉儲。機構(gòu)可以選擇將Data Bank部署在Eduserv教育云或者機構(gòu)自己的基礎(chǔ)設(shè)施中。Data Bank還具備包括數(shù)據(jù)抽取、儲存、長期保存、訪問在內(nèi)的一系列數(shù)據(jù)監(jiān)護功能。
Kindura項目：倫敦國王學院的Kindura項目，是一個基于混合云部署模型的科學數(shù)據(jù)管理試點項目，提供基于存儲的數(shù)據(jù)管理服務(wù)和基于計算的數(shù)據(jù)處理服務(wù)。Kindura項目通過DuraSpace推出的托管云服務(wù)一DuraCloud，將本地服務(wù)與各種云服務(wù)相銜接。用戶利用DuraCloud提供的統(tǒng)一界面，即可享受一站式數(shù)據(jù)存取服務(wù)。Kindura項目通過部署于服務(wù)器上的規(guī)則引擎，以及面向規(guī)則的集成數(shù)據(jù)管理系統(tǒng)(iRODS)的規(guī)則庫，決定具體數(shù)據(jù)存儲在本地還是存儲于云端：二進制對象存儲在云端，元數(shù)據(jù)和Fedora對象存儲在本地。l9Kindura項目證明，混合云能夠有效節(jié)省數(shù)據(jù)監(jiān)護成本，并且能夠更加高效地利用本地存儲庫，提升數(shù)據(jù)處理能力。
東南大學AMS-02項目：東南大學為大型國際合作項目AMS-02的數(shù)據(jù)監(jiān)護工作構(gòu)建的云計算平臺，提供IaaS、PaaS、SaaS服務(wù)。該云計算平臺架構(gòu)如圖3所示。在IaaS層，云計算基礎(chǔ)設(shè)施由3500顆CPU內(nèi)核和500TB高速存儲設(shè)備構(gòu)成，提供虛擬機和物理機的按需分配，并且自動配置操作系統(tǒng)、科學計算函數(shù)庫等運行環(huán)境。在PaaS層，數(shù)據(jù)分析處理平臺提供大規(guī)模計算能力和海量數(shù)據(jù)存儲能力;應(yīng)用開發(fā)環(huán)境為AMS-02數(shù)據(jù)分析處理應(yīng)用提供編程接口。在SaaS層，以服務(wù)的形式部署云計算應(yīng)用程序，用戶通過訪問AMS-02應(yīng)用，可以獲取原始科學數(shù)據(jù)以及數(shù)據(jù)處理分析結(jié)果。云計算通過超級計算模式，整合大量的存儲、計算、帶寬等資源，為數(shù)據(jù)監(jiān)護提供了經(jīng)濟高效的解決方案。國內(nèi)的數(shù)據(jù)監(jiān)護尚處于起步階段，對基于云計算的數(shù)據(jù)監(jiān)護進行深入的理論探討和實踐探索，有助于推動我國的數(shù)據(jù)監(jiān)護實現(xiàn)跨越式發(fā)展。
【大數(shù)據(jù)時代基于云計算的數(shù)據(jù)監(jiān)護研究論文】相關(guān)文章：
云計算環(huán)境數(shù)據(jù)安全研究論文11-03
研究基于云計算角度下的數(shù)據(jù)存儲安全技術(shù)論文11-07
云計算環(huán)境下的數(shù)據(jù)挖掘研究論文10-28
大數(shù)據(jù)時代的大數(shù)據(jù)管理研究論文10-19
基于數(shù)據(jù)抽取與訂閱實現(xiàn)數(shù)據(jù)共享分析及研究論文10-30
大數(shù)據(jù)時代數(shù)據(jù)挖掘技術(shù)教學研究論文01-20
分析論文：云計算環(huán)境下大數(shù)據(jù)06-26