海量射電天文觀測(cè)數(shù)據(jù)的存儲(chǔ)與處理研究

　　本書充分應(yīng)用信息管理及相關(guān)學(xué)科知識(shí)，根據(jù)當(dāng)前天文海量數(shù)據(jù)管理中存在的關(guān)鍵問(wèn)題，重點(diǎn)開展存儲(chǔ)與檢索、傳輸、歸檔3個(gè)方面的關(guān)鍵技術(shù)研究。最后，以兩個(gè)射電望遠(yuǎn)鏡的數(shù)據(jù)管理為例［明安圖射電頻譜日像儀（MUSER）和平方公里陣列（SKA）射電望遠(yuǎn)鏡］，通過(guò)數(shù)據(jù)仿真、實(shí)例化測(cè)試、性能對(duì)比、理論分析來(lái)驗(yàn)證本書相關(guān)內(nèi)容的正確性。具體說(shuō)明如下：①針對(duì)海量射電天文觀測(cè)數(shù)據(jù)記錄的高效存儲(chǔ)與檢索需求，基于觀測(cè)數(shù)據(jù)具有固定的采樣間隔和固定數(shù)量的連續(xù)觀測(cè)數(shù)據(jù)記錄按序存放在文件中的時(shí)序數(shù)據(jù)特征，本書提出了一種以集合中的補(bǔ)集思想為核心的面向時(shí)序數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng)，即負(fù)數(shù)據(jù)庫(kù)系統(tǒng)。負(fù)數(shù)據(jù)庫(kù)系統(tǒng)將文件中存在記錄及首尾記錄之間丟失記錄的元數(shù)據(jù)信息視為全集，把文件中首尾記錄之間丟失記錄的元數(shù)據(jù)信息看成補(bǔ)集，通過(guò)補(bǔ)集構(gòu)建出來(lái)的文件邏輯結(jié)構(gòu)關(guān)系，能夠推導(dǎo)出文件中存在記錄的元數(shù)據(jù)信息。本書給出完整的形式化定義及嚴(yán)格的理論證明。實(shí)測(cè)結(jié)果表明：在記錄入庫(kù)、數(shù)據(jù)檢索及要入庫(kù)的記錄數(shù)方面，負(fù)數(shù)據(jù)庫(kù)系統(tǒng)比需要存儲(chǔ)文件中所有存在記錄的元數(shù)據(jù)信息的常用數(shù)據(jù)管理系統(tǒng)分別快18.8倍、快1.5~6.9倍及減少（N-2）/N×100%（N指文件中的固定記錄數(shù)）。進(jìn)而說(shuō)明，負(fù)數(shù)據(jù)庫(kù)系統(tǒng)能夠在大幅降低存儲(chǔ)開銷和記錄數(shù)的同時(shí)提供較高的檢索性能。②針對(duì)海量射電天文觀測(cè)數(shù)據(jù)的跨區(qū)域高速傳輸需求，本書提出帶狀態(tài)檢測(cè)和重傳功能的兩路異步消息傳輸模型——高效消息傳輸模型。該模型是指用兩路異步消息傳輸來(lái)分別單向高速傳輸數(shù)據(jù)消息和反饋消息，通過(guò)超時(shí)重傳來(lái)確保數(shù)據(jù)消息送達(dá)接收方，以及通過(guò)實(shí)時(shí)狀態(tài)檢測(cè)來(lái)決定是否繼續(xù)向接收方發(fā)送消息。該模型能夠克服當(dāng)前很多遠(yuǎn)程數(shù)據(jù)傳輸技術(shù)都使用的出錯(cuò)重傳方法存在的需要等待對(duì)端反饋消息而降低數(shù)據(jù)消息傳輸效率的不足。基于高效消息傳輸模型實(shí)現(xiàn)了一套高效數(shù)據(jù)傳輸系統(tǒng)，該系統(tǒng)的性能測(cè)試結(jié)果表明：在傳輸文件為數(shù)百kB時(shí)，該系統(tǒng)獲得的平均傳輸速度比現(xiàn)有系統(tǒng)快將近40倍；同時(shí)，在數(shù)百M(fèi)B這個(gè)量級(jí)和使用較少的并發(fā)數(shù)時(shí)，該系統(tǒng)獲得的平均傳輸速度達(dá)到1172 MB/s（該速度基本上實(shí)現(xiàn)了10 Gb/s網(wǎng)絡(luò)帶寬的滿負(fù)載），比現(xiàn)有系統(tǒng)快將近3.4倍。進(jìn)而說(shuō)明，實(shí)現(xiàn)的高效數(shù)據(jù)傳輸系統(tǒng)有效地提高了數(shù)據(jù)傳輸性能，縮短了數(shù)據(jù)傳輸時(shí)間。③針對(duì)海量射電天文觀測(cè)數(shù)據(jù)在進(jìn)行高可靠性歸檔時(shí)盡可能降低數(shù)據(jù)冗余的需求，本書提出基于糾刪碼的歸檔模型——低冗余歸檔模型。該模型是指將糾刪碼技術(shù)集成到帶狀態(tài)檢測(cè)和重傳功能的兩路異步消息傳輸模型中的數(shù)據(jù)消息接收方而形成的歸檔模型。該模型能夠克服現(xiàn)有系統(tǒng)使用副本技術(shù)歸檔時(shí)存在的高數(shù)據(jù)冗余的不足?；诘腿哂鄽w檔模型和RS（4，2）算法實(shí)現(xiàn)了一套低冗余歸檔系統(tǒng)，該系統(tǒng)的性能測(cè)試結(jié)果表明：在相同的實(shí)驗(yàn)環(huán)境下，該系統(tǒng)獲得的平均異地歸檔速度是現(xiàn)有系統(tǒng)未啟用3副本策略時(shí)的1.4倍，且只需要增加50%的額外存儲(chǔ)開銷就能達(dá)到基于3副本策略時(shí)需要200%的額外存儲(chǔ)開銷才能達(dá)到的數(shù)據(jù)可靠性；并發(fā)數(shù)和HWM是該系統(tǒng)調(diào)優(yōu)的關(guān)鍵參數(shù)。進(jìn)而說(shuō)明，實(shí)現(xiàn)的低冗余歸檔系統(tǒng)具有較高的歸檔速度，能以較低的數(shù)據(jù)冗余獲得較高的數(shù)據(jù)可靠性。

暫缺《海量射電天文觀測(cè)數(shù)據(jù)的存儲(chǔ)與處理研究》作者簡(jiǎn)介