編者按:本文來自微信公眾號“量子位”(ID:QbitAI),作者 邊策 安妮。36氪經授權轉載。通過墻壁漫反射的光影,能重建原始畫面么?現在可以了。這不是科幻。一篇新論文登上了Nature,論文中顯示,僅僅用一臺普通的數碼相機,僅僅憑借墻上模糊不清的光影,就能還原最初的畫面。先來考考大家。下面這個漫反射光影,你能看出什么來?其實這是一個蘑菇。那下面這個是什么?很相似是不是?但這是一張人臉……你看不出來,但是厲害的算法,真的能憑借這種漫反射,還原逼真的原始畫面。無圖無真相。下面就是三個重建的實例。首先放墻上的漫反射光影。然后是算法重建的圖像。震不震驚!這個效果,簡直就是把一面墻,變成了一面鏡子!不信?再來對比一下原圖。無論是紅黑兩色組成的英文字母傳遞的暗號:還是超級馬里奧里熟悉的蘑菇:甚至神似辛普森一家中角色的戴紅色棒球帽的復雜頭像,這個算法都能夠通過一面墻一五一十還原出來:這個AI算法無需借助昂貴的拍攝器材就能還原屏幕,甚至你在自己家都可以把實驗模擬操作模擬出來。研究人員在一間普通的房間的一端放置了一塊屏幕,屏幕上顯示圖案,面向對面的墻壁。這塊屏幕旁邊有一套普通的數碼攝像機,同樣面向對面的墻壁,不過攝像機與屏幕間隔了一塊擋板,攝像機根本沒有機會直接拍攝到屏幕上的畫面。研究人員采用了一臺400萬像素的數碼相機完成這個實驗,售價約為1400美元(約人民幣9500元),研究人員預計比此前用脈沖激光相機探物便宜了至少30倍。而這臺數碼攝像機要做的,就是通過拍攝屏幕發射到對面墻壁的光,還原屏幕上的圖像。實驗難度還在加大:研究人員還在房間中間隨手放置了一個不明位置的遮擋物體,可以是一塊不發光的板子,也可以是隨手拽過來的一把椅子,阻擋一部分光線到達墻壁。在整個拍攝過程中,數碼相機能捕捉到的只有墻上斑駁的光影。在這項研究公布之前,這種想法被視為不可能的存在:普通攝像機、一塊普通屏幕,一把隨意搬過來的椅子加一面墻,如何還原屏幕上五彩斑斕的未知圖案,甚至是動圖?甚至連專業物理學家都不看好。荷蘭烏得勒支大學的光學物理學家Allard Mosk曾表示:“人們認為,在沒有任何先進儀器的情況下,只利用墻面上漫反射的光重建圖像幾乎是不可能的?!睕]想到,這群波士頓大學的研究人員做到了。讓墻變成鏡子先讓我們來復習一下初中物理知識:物體對光線的反射分為鏡面反射和漫反射兩種。鏡子能讓我們看清物體,是因為鏡子表面光滑,能把光線按照某個固定方向反射回去。但墻面是粗糙的,當屏幕上的光投射到上面時,光線會往各個方向反射,我們稱之為“漫反射”。在常識中,我們是無法通過漫反射的混亂光線恢復物體原貌的。之前也有些技術能恢復圖像,但對光線的要求極高,比如激光,成本也高得多。而波士頓大學的Vivek K Goyal小組這項只需要研究普通照相機。Mirror mirror on the wall!只要算法夠強,墻面也能變成鏡子!與鏡面成像不同的是,在鏡子前個東西加與阻擋視線,而在屏幕和墻面之間插入障礙物,反而會降低我們還原圖像的難度。這看似違反常識,其實是有道理的。想象一下小時候做過的“小孔成像”實驗,當光線只能通過一個小孔時,屏幕的光就會在墻面上形成清晰圖像。顯示器和墻面之間的障礙物減少了雜散光線,讓入射光線更少,就能讓成像稍微清晰一點。當然,Goyal的研究沒有把入射光線限制在太小的范圍里,而是用算法從墻上的陰影中恢復屏幕原來的樣子。雖然現在只能恢復任天堂8位機那種簡單的圖像。以上只是定性的描述,若要精確恢復屏幕上的圖像,我們需要建立墻面上各點亮度與屏幕亮度的函數關系:在上面方程中,Pw是墻上的點,x是屏幕上的點,P0是障礙物上的點,nx和nw分別是顯示器與墻面的法向量,Pw-x表示的是從點x指向Pw的向量。I(Pw)墻上點表示Pw的亮度,可以由相機拍攝的圖像獲得;f(x)表示屏幕上點x的亮度,實際代表著顯示器上的圖像;當P0在Pw和x之間時,V等于0,否則等于1;μ表示顯示器指向不同角度光照差異;b表示背景光對墻面亮度的貢獻。以上方程中,I(Pw)我們可以用相機照片獲得,通過以上方程反向推算出f(x)。如果沒有障礙物,V處處等于1,I(Pw)與f(x)的依賴關系太弱,反而不利于恢復圖像,這也是在屏幕和墻面之間加入障礙物的原因。以上方程太復雜,也不利于計算。既然屏幕的光照越強,墻上的點也就越亮,我們可以把上面的積分方程轉化為一個線性方程。y=A(po)f+by是墻上各點的亮度,我們選取126×126個點,也就總共15,876個變量的方程組,其中A(P0)代表一個變換矩陣。其實Goyal小組去年已經做出了相關成果,但當時必須要知道障礙物的形狀以及位置,才能恢復圖像。但這次他們把難度又提高了一個檔次,僅僅知道障礙物的形狀,卻不知道位置。Goyal的方法是,先估計出障礙物的位置,再通過平均位置附近的49組數據反向恢復圖像。再發展下去,他們的算法連障礙物是什么形狀都不需要知道,只通過墻上模糊的影子,就能它的樣子。相關研究通過AI算法分析光影預測直接看不到的物體不僅有這一種方法,早在2010年,MIT Media Lab的研究人員已經有了成果。和波士頓大學不同,這種方法需要單獨購置特殊設備,即一臺能夠發射出激光的相機。與耳朵接收回音類似,這種方法通過手機激光照在物體表面的反射路徑,算法預測角落中直接看不到的物體。2017年,MIT計算機科學和人工智能實驗室(CSAIL)又開發了一種新算法,這個AI系統可以借助智能手機的攝像頭,收集光反射的相關信息,檢測隱藏在障礙物后的任何物體,還能實時測量它們的移動速度和行進軌跡。想象一下,你走在一條“L”形的走廊上,拐角的另一邊放置了一堆雜物。這些雜物投射在你視線內地面上的少量光線,形成一個模糊的陰影,我們稱之為“半影”。AI系統就利用了智能手機攝像頭中半影的視頻,將一系列一維圖像組合在一起,揭示周圍物體的信息。研究人員將這個“透視眼”系統稱為“角落相機”(ConerCameras),研究人員表示,這種方法在室內和室外的效果都還不錯。這種方法也有弊端,如果如果隱藏的場景本身光線暗,系統的識別也會有問題,此外,智能手機的相機像素也影響收集的圖像質量,相機里障礙物越遠,系統收集的圖像質量也越差。但在Nature最新研究中,這種弊端不會顯現,波士頓大學的研究人員表示,從理論上講,你不僅可以拍攝屏幕,還可以拍攝同一房間內任何燈光昏暗的物體。傳送門可移步Nature原文繼續了解,論文Computational periscopy with an ordinary digital camera:網頁鏈接作者:Charles Saunders, John Murray-Bruce & Vivek K Goyal作者系網易新聞·網易號“各有態度”簽約作者