航天遙感大數據集群處理工廠将滿足不同業(yè)務(wù)的大量用戶同時(shí)登錄、數據入庫、數據處理、信息計算等功能,工廠采用高性能存儲計算節點。航天遙感大數據集群處理工廠是一套自主研發(fā)、全流程、高效快速遙感數據處理平台,其核心部分是基于高性能集群/GPU 計算環(huán)境的海量遙感影像自動(dòng)處理算法。
工廠采用先進(jìn)的數字攝影測量技術、多任務(wù)調度技術、高性能計算技術,集 數據生產(chǎn)、任務(wù)管理調度、成果質(zhì)檢爲一體,通過(guò)合理調配計算資源與數據資源, 實(shí)現規模化、快速、智能化的遙感數據處理流程。 工廠能夠接收和處理多種國内外中高分辨率遙感影像,快速生成多種數據處 理產(chǎn)品及遙感解譯產(chǎn)品;系統建立了規範化、标準化的海量影像數據生產(chǎn)流程, 同時(shí)構建了完備的全過(guò)程質(zhì)量控制體系,最終可以爲用戶提供專(zhuān)業(yè)級及消費級應用。
爲了減少數據遷移造成的資源消耗,在技術方案上拟用“存儲—計算”一體化的集群系統;爲了滿足對時(shí)空大數據快速積累的需要,存儲和計算節點必須能夠動(dòng)态配置,實(shí)現熱插拔式的即插即用。同時(shí),集群架構采用機架式。
采用适合于海量數據的大規模存儲與高性能并行處理的“存儲—計算”一體化的分布式高性能構架是一種典型的無(wú)共享系統構架,分而治之的辦法,将數據規律地分布到節點上,充分利用節點主機的I/O能力,以使總體達到最大的I/O速率。
航天遙感大數據挖掘解譯工廠是一個(gè)面向多源空簡(jiǎn)數據實(shí)時(shí)挖掘解譯的複雜系統,以攝影測量與遙感技術爲核心的,GIS/CAD以及諸多IT技術相集成的,軟、硬件一體化的超大規模空簡(jiǎn)數據生產(chǎn)系統,我們把它叫做現代航測遙感數據挖掘解譯工廠(GDF)。該平台支持衛星、航空、地面等多種來(lái)源的光學(xué)、雷達、激光等空簡(jiǎn)數據的靈活處理解譯,滿足影像、地圖、三維模型等地理信息產(chǎn)品的快速制作。
目标自動(dòng)識别模塊
遙感影像植被檢測效果圖
平台适用于國内外各類(lèi)遙感影像數據,挖掘解譯自傳感器下行原始數據至各級地形產(chǎn)品、影像產(chǎn)品、三維產(chǎn)品及信息產(chǎn)品。平台本身自帶完整多源遙感影像數據完整處理業(yè)務(wù),并支持集成及擴展新型遙感應用業(yè)務(wù),集處理平台與集成平台與一體。
智慧行業(yè)專(zhuān)題圖制作工廠可以進(jìn)行集群硬件狀況與性能的監控;能夠實(shí)現大規模栅格數據的接入、存儲、管理、檢索、快速可視化與制圖、共享服務(wù)等(數據單景可達500GB,數據總量可達500TB);同樣實(shí)現大規模矢量數據的接入、存儲、管理、檢索、快速可視化與制圖、共享服務(wù)等(單個(gè)數據可達3GB,屬性字段支持中文,并支持WCS、WFS等标準服務(wù));還有實(shí)現大規模三維模型數據的接入、存儲、管理、檢索、快速可視化與制圖、共享服務(wù)等(支持三維模型的漸進(jìn)傳輸模型的存儲與抽取);與此之外還可以提供非時(shí)空數據的接入、存儲、管理、共享等支持,設計實(shí)現大規模時(shí)空數據的計算框架,支持集群/多核/GPU等多層次的高性能計算技術,實(shí)現分布式的空簡(jiǎn)計算(調用計算工具);提供空簡(jiǎn)數據模型(多種栅格與矢量數據格式),開(kāi)放計算框架接口與工具編寫規範,并可由用戶自主開(kāi)發(fā)計算工具;提供10~20個(gè)具有代表性的計算工具(RS計算工具、GIS計算工具),實(shí)現多層次的空簡(jiǎn)大數據計算與分析;大規模時(shí)空大數據的實(shí)時(shí)渲染與交互制圖,支持地圖配置、圖層配置、樣式配置等;達到單個(gè)地圖瓦片的服務(wù)響應時(shí)簡(jiǎn)控制在45ms以内。
在平台功能服務(wù)的需求上,要求該平台技術先進(jìn)、成熟,核心技術自主研發(fā);所有服務(wù)的使用都通過(guò)完善的加密控制和權限管理,确保用戶的數據安全;支持分布式和集群式部署,能夠實(shí)現系統服務(wù)能力的動(dòng)态擴充。
基于智慧行業(yè)專(zhuān)題圖制作工廠,根據行業(yè)的特點和需求,本着急用先建的原則,開(kāi)展智慧行業(yè)應用示範。主要開(kāi)展水、綠、地、文、環(huán)等行業(yè)的實(shí)時(shí)監測、管理、執法等專(zhuān)題服務(wù)。
1、水專(zhuān)題圖服務(wù)
主要針對智慧水務(wù)行業(yè)提供水污染在線(xiàn)監測服務(wù)以及水資源分布及資源量分布專(zhuān)題圖服務(wù)。平台主要利用衛星和航空遙感手段,利用多光譜高光譜和紅外遙感反演,獲得水體的位置、面積以及水污染變化情況,同時(shí)快速監測水質(zhì)(水體透明度、葉綠素濃度和懸浮物濃度),分析城市黑臭水體等級,進(jìn)行排污口的高頻次監測識别,獲得水污染的精确位置、源頭位置及時(shí)追溯排污企業(yè)和個(gè)人。
2、綠專(zhuān)題圖服務(wù)
航天遙感大數據平台主要針對智慧園林及林業(yè)行業(yè)提供綠被動(dòng)态監測服務(wù)以及林木分布專(zhuān)題圖等服務(wù)。利用多源遙感數據,開(kāi)展綠被監測技術、不透水面監測技術和水提取技術等手段,獲得城市區域内的景觀布局、城市宜居環(huán)境及功能區分布情況。利用無(wú)人機、系留飛艇等平台,及時(shí)發(fā)現城市綠地破壞行爲。
3、地專(zhuān)題圖服務(wù)
主要針對規劃國土行業(yè)提供地災監測以及地災風(fēng)險分布專(zhuān)題圖等服務(wù)。基于多時(shí)相衛星和航空遙感數據,提取地面塌陷前後的紋理特征和幾何特征,利用深度學(xué)習的開(kāi)展地面塌陷動(dòng)态監測和風(fēng)險預測。結合合成孔徑雷達,分析地面沉降趨勢,提供可行的預警措施。
4、文專(zhuān)題圖服務(wù)
主要針對規劃及城市建設行業(yè)提供城市違法建設及文物保護專(zhuān)題圖等服務(wù)。違章建築一般通過(guò)城市管理執法來(lái)解決,而違章建築的界定是這一過(guò)程的關鍵前置工作,其界定标準主要包括規模、時(shí)簡(jiǎn)以及地域等三方面内容。對于城市違章建築的界定,采用人工巡查、航空遙感和衛星遙感等天空地一體化手段。利用天基衛星數據全面普查,依托航空平台監測,從空、地兩個(gè)維度對區域建築進(jìn)行大範圍、多視角的長(cháng)期監控,及時(shí)發(fā)現,快速定位,爲行政執法提供有力證據。
5、環(huán)專(zhuān)題圖服務(wù)
主要針對環(huán)保行業(yè)提供空氣污染監測以及城市熱島效應等服務(wù)。整合地面監測資源,輔以激光雷達或飛艇和無(wú)人機、衛星遙感等垂直監測,構建并完善立體監測網(wǎng)絡,開(kāi)展區域大氣污染物立體監測、源解析和機制分析。聚焦工業(yè)排放、居民散燒、稭稈燃燒、汽車排放等排放源,利用遙感等技術手段追溯霾污染來(lái)源。
城市熱島效應監測,通過(guò)多通道的熱紅外遙感數據,結合大氣廓線(xiàn)、風(fēng)場(chǎng)和地形分布,反演獲得地表溫度和發(fā)射率等產(chǎn)品,分析城市熱島效應,提供城市高溫預警和公共場(chǎng)所安全保障,指導城市規劃,構建宜居城市。
火情監測專(zhuān)題圖服務(wù):指利用高頻次氣象衛星進(jìn)行火點判識,主要是遙感分析的手段判識火點像元的經(jīng)緯度、所在位置的行政區劃、土地利用類(lèi)型、火點判識的可信度(火點、可能火點、雲區火點等)等。同時(shí)加入了可能影響到火勢發(fā)展的實(shí)況風(fēng)力、天氣、相對濕度、氣壓、降水等,同時(shí)可提供天氣及自然災害預警,給森林防火監測、稭稈焚燒監測等帶來(lái)了時(shí)效性更高的監測方式,與此同時(shí)可提供緊急調度、災害專(zhuān)報自動(dòng)生成、曆史回顧,全面滿足火情監測的需求。