主持人：感謝李聰憑借20多年在人工智能技術(shù)的沉淀，商湯科技深耕遙感領(lǐng)域，為行業(yè)打造先進的落地解決方案。下面有請商湯科技高級產(chǎn)品經(jīng)理馬靈霞，為我們介紹商湯科技智能解譯方案，如何讓衛(wèi)星看懂地球。

　　馬靈霞：

　　各位專家大家下午好，下面由我代表商湯科技介紹我們的SenseRemote產(chǎn)品，我會介紹一下商湯科技人工智能遙感解譯平臺，以及在目前的階段取得的技術(shù)成果。

　　首先作為一個遙感行業(yè)的從業(yè)者，非常榮幸能夠見證我們國家遙感事業(yè)的飛速發(fā)展，尤其這些年隨著高分專項、空間基礎(chǔ)設(shè)施、商業(yè)航天的發(fā)展，我們國家自主的遙感資源得到了非常大的豐富，達到了比較高的水平。這些都為我們遙感數(shù)據(jù)在各行各業(yè)的應(yīng)用奠定了非常良好的數(shù)據(jù)基礎(chǔ)。但是我們面臨這樣海量的遙感數(shù)據(jù)同時，我們解譯識別的自動化水平、智能化水平、處理精度，都需要進一步的提升，才能充分挖掘我們海量遙感數(shù)據(jù)的價值，滿足我們不斷增長的遙感應(yīng)用的需要。

　　大家都知道美國一直是航天大國，另外美國在人工智能領(lǐng)域也是非常強，剛剛李聰提到我們在最近的全球比賽上，在300多支參賽團隊里拿到了第一的成績，但實際上這樣的比賽不是第一個。去年的時候美國的空間情報局舉辦過一場遙感影像解譯的比賽，他是希望能從眾多的參賽者里面尋找一些，能夠從衛(wèi)星影像中自動提取目標的團隊，幫他們做后面的工作。美國的研究人員已經(jīng)用人工智能的技術(shù)分析了衛(wèi)星圖片，尤其針對我們國家的導(dǎo)彈發(fā)射陣地，也訓練了深度學習的模型，能做到非?？焖俚臋z測，從原來純粹靠人工60小時的時間，提升到了僅僅42分鐘。從生產(chǎn)效率上提高了85倍。

　　商湯科技是一家人工智能技術(shù)型的公司，我們除了在人臉、自動駕駛等領(lǐng)域有非常好的技術(shù)落地之外，也針對遙感的影像解譯的需求，整合了一套我們自己的人工智能遙感解譯平臺，并且以這樣的平臺為基礎(chǔ)，結(jié)合遙感行業(yè)內(nèi)的需求，為廣大的客戶提供一些服務(wù)。

　　介紹我們具體的技術(shù)案例之前，我先簡單介紹一下平臺。因為這個平臺是我們?nèi)粘９ぷ鞯幕A(chǔ)。我從一個項目執(zhí)行的角度，以一個人工智能從業(yè)者的視角來解讀一下我們的平臺，以及我們整個平臺的工作流程。

　　一般情況下為了完成一項基于深度學習的遙感應(yīng)用，我們獲取到數(shù)據(jù)之后，數(shù)據(jù)的標注、模型的訓練、模型的優(yōu)化以及最終的應(yīng)用，是必不可少的環(huán)節(jié)。所以我們的平臺包括了遙感數(shù)據(jù)的標注系統(tǒng)，遙感解譯協(xié)議系統(tǒng)，以及遙感解譯應(yīng)用私有云，這些全部都是跟整個遙感的需求密切相關(guān)的。另外，在這個需求之下其實還有超算系統(tǒng)，以及我們的訓練框架。超算系統(tǒng)其實就是一個基于云的計算資源和存儲資源的支撐以及管理平臺，剛剛我們的研究員也介紹了，我們目前已經(jīng)有了8000塊GPU卡，也有十多個集群，最大的集群目前可以支撐800塊GPU卡同時的訓練。另外是訓練框架系統(tǒng)，也就是剛剛研究員提到的Parrots，是我們商湯自主知識產(chǎn)權(quán)的訓練框架。

　　另外是遙感數(shù)據(jù)的標注系統(tǒng)，拿到遙感數(shù)據(jù)之后我們要清洗，就是為了對我們拿到的數(shù)據(jù)做預(yù)處理，做樣本快速的標注。目前具有全人工標注以及半監(jiān)督標注的能力，可以非?？焖俚娜?gòu)建我們的訓練樣本庫。我們的標注系統(tǒng)目前能支撐的標注任務(wù)包括各種目標的監(jiān)測和識別，以及我們不同時期成像的遙感影像變化監(jiān)測的標注，還有各種各樣的土地利用的分類，或者某一地類的提取。另外我們內(nèi)部也有非常完善的標注數(shù)據(jù)和標注任務(wù)管理的軟件的功能。

　　另外一部分是遙感解譯學習系統(tǒng)，這當然是面向我們內(nèi)部的研究人員，我們基于這些系統(tǒng)來完成整個模型的訓練，以及一輪一輪模型的優(yōu)化。該系統(tǒng)內(nèi)置了我們商湯所有的研究人員在深度學習領(lǐng)域的一些知識積淀，也就是說我們不同任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)庫。尤其是我們在遙感領(lǐng)域的各種優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)，這些是我們?yōu)楦餍懈鳂I(yè)客戶提供非?？焖俜?wù)的基礎(chǔ)。

　　另外最后，這是我們目前對客戶開放的，是我們遙感解譯的處理。剛剛我講的部分，我們一般在項目的執(zhí)行過程中都是關(guān)起門來在公司內(nèi)部完成的。我們交付給客戶的是遙感解譯的SDK，我們目前也在開發(fā)自己的私有云平臺。我們整體的工程能力可以把研發(fā)取得的一些模型，非?？焖俚膩碜鰬?yīng)用端的開發(fā)，以及面向客戶的集成。這里面我特別標紅的部分，我們提供到客戶那邊的都是基于業(yè)務(wù)數(shù)據(jù)以及我們的網(wǎng)絡(luò)結(jié)構(gòu)，經(jīng)過我們研究員的訓練得出的一些遙感解譯模型。

　　我這邊簡單說一下平臺大概的部署和使用，剛剛提到了我們有一個超算系統(tǒng)，我們的訓練框架、遙感數(shù)據(jù)解譯系統(tǒng)，以及遙感解譯學習，私有云，都是部署在這個平臺上的。對外提供標注人員做樣本的標注，還有提供給研究員的解譯學習的客戶端，還有在整個流程里面不斷的網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整以及優(yōu)化，還有整個IT的運維管理。對外的業(yè)務(wù)系統(tǒng)的集成方面，我們可以提供的是一種云調(diào)用服務(wù)的接口，不管我們的業(yè)務(wù)系統(tǒng)是Windows平臺還是其他的，或者是C++的架構(gòu)，或者是Java寫的軟件，我們其實都可以非?？焖俚奶峁┘傻姆?wù)。

　　另外，我從整個項目的執(zhí)行過程中來向大家展示一下我們公司一般如何來完成人工智能解譯的項目。首先我們拿到一個項目的時候會獲取非常多的業(yè)務(wù)數(shù)據(jù)，第一步就是我們會投大量的人工，來做半監(jiān)督的標注，形成第一批的訓練樣本庫。這個訓練樣本庫會用研究員做模型訓練，生成第一個版本的可以供工程使用的模型，這個模型雖然不是那么完美，但是基本上也可以給工程端用。這個模型會非?？焖俚募傻竭b感解譯云服務(wù)里，供我們客戶方的業(yè)務(wù)數(shù)據(jù)解譯的行業(yè)應(yīng)用系統(tǒng)，基于他們新的的業(yè)務(wù)數(shù)據(jù)，來做解譯的處理。當然在最初的時候模型不可能在一個版本就做到非常完美的狀態(tài)，所以我們不可避免的在項目的執(zhí)行周期中，要去對業(yè)務(wù)系統(tǒng)里面解譯出來的這些數(shù)據(jù)做質(zhì)量的監(jiān)督和評價，然后找到其中的問題數(shù)據(jù)。然后我們的研究人員會基于這些問題數(shù)據(jù)來尋找新的解決方案，當然非常多的情況下是需要對這些問題數(shù)據(jù)的場景來做新一輪的標注，然后在這樣的標注上去不斷地擴增樣本庫。然后再根據(jù)這種擴增后的樣本庫，以及針對我們新出現(xiàn)的問題做模型優(yōu)化。這個模型的優(yōu)化包括網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整，以及訓練方式的變化。經(jīng)過這樣螺旋式的幾輪之后，整個模型在業(yè)務(wù)應(yīng)用里面的問題就會比較少。在場景的兼容性，以及工程的適應(yīng)性方面就會達到比較好的水平。

　　白色的兩個部分我著重說一下，這是我們客戶方的系統(tǒng)。我們整個的流程是跟業(yè)務(wù)系統(tǒng)非常緊密的綁在一起的。

　　剛剛介紹的是我們的人工智能遙感解譯平臺，我們的研究和工程團隊在過去的時間里，基于這樣的平臺然后以及基于我剛剛介紹的流程，結(jié)合不同客戶的需求，我們也研發(fā)了非常多的應(yīng)用點。下面我向大家介紹一下目前取得的一些技術(shù)成果。

　　首先簡單說一下我們大概做過什么，我們針對整個遙感數(shù)據(jù)處理的流程，包括預(yù)處理里面的云監(jiān)測和雪監(jiān)測，還有做DOM的云監(jiān)測，包括去云，以及我們在遙感解譯信息提取里面的目標監(jiān)測，比如說像飛機、船，飛機的關(guān)鍵點，還有各種土地的分類，包括某一個特殊地類的提取，比如道路、建筑物、水體、耕地，我們或多或少都做過一些探索。還有就是我們現(xiàn)在也在做的變化監(jiān)測，這跟之前的變化監(jiān)測方案稍微有點不一樣，我們是直接拿不同時間成像的兩個影像，在這個影像上基于深度學習的技術(shù)找其中發(fā)生變化的區(qū)域。首先說一下飛機監(jiān)測，我們商湯科技也大概用自己的力量建了一個全球十萬架飛機的樣本集，然后我們建完樣本集之后也在高分的衛(wèi)星，以及Google開源的地圖數(shù)據(jù)上做了非常多的優(yōu)化。目前在我們的數(shù)據(jù)集上，我們的召回率已經(jīng)超過了95%，我們的虛景率控制在了5%以內(nèi)。目前可以處理的數(shù)據(jù)類別，既可以處理大家看到的這種彩色的圖像，也可以處理我們常規(guī)的黑白圖像。再處理速度方面，剛剛李聰講過我們有非常復(fù)雜的方案來保證整個模型在工程應(yīng)用里面的速度，我目前可以做到的是GF-1的數(shù)據(jù)1.8萬×1.8萬的圖像，單張GPU卡上可以做到一分鐘以內(nèi)，把圖像中的飛機以及每架飛機的關(guān)鍵點都提取出來。后面是不同效果的展示，大家看到的是GF-2的0.8米的數(shù)據(jù)，是我們國內(nèi)的海口機場，綠色框是提取出來的飛機，紅色的五個點是我們在每一架飛機上提取出來的關(guān)鍵點。我們的算法是非常準確的知道哪一個點是飛機的頭部，哪里是尾部?？梢曰谶@個結(jié)果再來提取進一步的信息，包括這個飛機朝哪個方向停著，長度是什么水平，有這些信息之后可以得到飛機型號方面更進一步的成果出來。

　　這是我們在其他的數(shù)據(jù)源上，比如說GF-1的兩米尺度上的數(shù)據(jù)監(jiān)測效果。我們還從天地圖，扒過不同分辨率的數(shù)據(jù)做軟件的測試，這是當時測試的數(shù)據(jù)。

　　剛剛大家看到的是我們的飛機監(jiān)測，我們目前支持的輸入數(shù)據(jù)在0.5米到3米之間的影像都能支持，彩色、黑白都可以取得比較好的檢測效果。

　　另外，目前還在投入更多力量做的，就是更小的目標，我們遙感影像的船?，F(xiàn)在也在做非常多的數(shù)據(jù)標注以及模型優(yōu)化的工作，我們希望把海上特別小的艦船的目標，提到非常高的水平。

　　另外，剛剛介紹了我們現(xiàn)在還在做的就是變化監(jiān)測，我們基于不同時間拍攝的數(shù)據(jù)提取其中的變化圖斑。以一個數(shù)據(jù)為例，這是拉斯維加斯的數(shù)據(jù)，大概的成像時間是2015年。我們也拿到了2016年的整個城市的影像，我們找到了他們的重疊區(qū)域之后，來提取其中的變化圖斑。紅色的大家看起來是點，實際上都是一個輪廓，這個輪廓里面就是發(fā)生變化的區(qū)域。我找一個局部的地方放大之后就是這個效果，這是2016年的數(shù)據(jù)，大家可以看一下，整個城市在紅色的地方發(fā)生了非常明顯的變化，有非常多的沙地變成了建筑物。

　　現(xiàn)在介紹另外一個應(yīng)用就是路網(wǎng)提取，我們也做了一些探索，當時提取的道路是基于村村通等級的道路，提取全國各個地方的城鄉(xiāng)接合部和農(nóng)村道路的情況。這個軟件現(xiàn)在已經(jīng)在客戶現(xiàn)場運行了一年的時間了，我們的軟件現(xiàn)在已經(jīng)處理過兩遍，中國全境的數(shù)據(jù)。在測試方面我們的召回率和監(jiān)測率都能達到90%的水平。在整個軟件的形態(tài)上輸入遙感影像之后，可以給出一個，中間圖就是道路分割的產(chǎn)品，其實也是一個屬于分割的范疇。另外，我們可以在分割的產(chǎn)品基礎(chǔ)上繼續(xù)給出來道路的中心線，以及道路矢量化的產(chǎn)品。這是我們早期的時候給客戶提供測試的時候做的事情，我們曾經(jīng)在自己內(nèi)部的一臺工作站上面，有一張GPU卡，我們處理了20個城市，大概有66萬平方公里的數(shù)據(jù)，我們大概用了14個小時，就把這20個城市的矢量化的路網(wǎng)全部都提取出來了。

　　后面是我們在不同的城市，向大家展示一下路網(wǎng)提取的效果。這是北京市郊區(qū)的數(shù)據(jù)。大家可以看到這里有非常多的線條沒有提，大家都知道深度學習可以融合非常多的特征，并不是說只要是線我們就會提成道路，我們會參考更多的特征，比如說道路兩端有沒有連接建筑物，這也是我們的深度學習模型學到的一些特征，因為我們的客戶要的只是這樣的數(shù)據(jù)，他并不要一條路兩邊什么多沒有，那就不叫村村通了，哪兒都沒有連。

　　這是南方的數(shù)據(jù)監(jiān)測效果，黃色的線條是我們提出來的道路。我們用同樣的方案還做過另外一個嘗試，用道路提取的方案去做耕地的提取，尤其是耕地的田埂的提取，我們把準確的地塊分出來，這是當時的數(shù)據(jù)成果，當然這個分辨率比較高，這是0.8米的GF-2號數(shù)據(jù)，這是我們當時模型的結(jié)果，我們提取的田埂的概率圖。這樣的數(shù)據(jù)是我們在數(shù)據(jù)上最終得出的經(jīng)過，我們整個的矢量。

　　另外做了更多的探索，針對遙感影像預(yù)處理的識別，對云和雪的識別，這兩個識別一直是預(yù)處理環(huán)節(jié)一直沒有被解決的問題。我們也是國內(nèi)第一家嘗試用深度學習技術(shù)解決這個問題的單位。這個是我們早期基于GF-1的8米的光譜，建了一個非常大的樣本集。我們的測試數(shù)據(jù)非常多，這是吐魯番北部的2015年的數(shù)據(jù)，這是我們的云和雪，藍色部分是雪，紅色部分是云。我們的測試數(shù)據(jù)，我估計我們測過不下一萬個，另外我們也做了其他的云和雪的監(jiān)測，這是天繪衛(wèi)星的數(shù)據(jù)。跟剛剛的圖一樣，藍色的是雪，紅色的是云。同樣的數(shù)據(jù)我們還做了水體的提取，這是GF-1江蘇數(shù)據(jù)的影響，藍色的是在這個影像上提取的水體。還有洞庭湖的數(shù)據(jù)。我們其實在特別早期的時候還做過基于特別高的分辨率，比如說WorldWiew，0.5米的，13個地類。這個是同樣的處理效果。

　　這個圖相信大家剛剛已經(jīng)看到了，這是我們近期做的怎么去提取一個獨棟建筑，把輪廓盡量真實的提取出來，這是我們提取的結(jié)果。

　　下面我來介紹一下我們做了這么多的研發(fā)，在整個業(yè)務(wù)場景的落地方面，其實我們也做了一些工作，我介紹幾個案例。

　　第一個，早期的時候我們給客戶做的云和雪的監(jiān)測，就跟剛剛講的螺旋式的過程是一樣的，我們大概經(jīng)歷了三個階段的測試。當然不是每一個階段的測試都是一輪模型優(yōu)化，大概是第二和第三階段的時候，我們都做了兩輪的模型優(yōu)化。最終一次測試的時候，我們針對全球，右下角是我們當時所有的測試數(shù)據(jù)分布，測了整個全球各地不同的成像時間，時間的跨度應(yīng)該是從2012年到2017年，大概五年的時間的樣本，最終先了大概有一萬多張來做測試。我們最終的測試結(jié)果是我們的精度已經(jīng)比人類的質(zhì)檢員的精度還要高。尤其是在特別復(fù)雜的環(huán)境下，我們的作業(yè)員其實也沒有辦法非常準確地去區(qū)分這個圖里到底是云還是雪，人工智能的技術(shù)可以達到比人的辨識度更高一點。

　　另外是我們和合作伙伴一起探索道路、水體、云雪，這種典型要素的信息提取工作。這個技術(shù)完全都是在兩米分辨率的數(shù)據(jù)上進行的，我們基于兩米的數(shù)據(jù)提到的水體。黑色的線條是我們做的道路分割效果，紅色的是我們提取出來的矢量化的路網(wǎng)，白色的部分是提取出來的水體。當然我們除了在普通的遙感影像上做AI技術(shù)的落地之外，我們也曾經(jīng)嘗試過把深度學習技術(shù)引入到高光譜的領(lǐng)域。這是氣象的數(shù)據(jù)，氣象的光譜非常多，我們當時也是做了一個技術(shù)驗證，我們基于像氣象衛(wèi)星的高光譜數(shù)據(jù)做云的監(jiān)測，我們把大家公認的精度最高的MODIS數(shù)據(jù)拿出來，作為訓練樣本做深度學習的模型，然后用到新的數(shù)據(jù)上來做技術(shù)的驗證。我們當時驗證的結(jié)果，我們即便是拿他們的數(shù)據(jù)做樣本，我們的深度學習模型取得的精度還可以更高，尤其對沙漠或者極地這種難分的場景都有改善。另外也把這種技術(shù)在我們國家的風云的衛(wèi)星上做了嘗試，基于深度學習的技術(shù)可以得到非常大的改善。這是我們的效果，基于高光譜的數(shù)據(jù)提取云，我們把每一個像素到底屬于云還是晴空，做一個判別。

　　由于時間的關(guān)系，我的分享就到這里。