Apple新聞

探討 iPhone SE2 人像模式功能,為何不適合用來拍動物與物體?

蘋果花了四年再度推出新款 iPhone SE (第二代),被多數人稱為 iPhone SE2 新機,擁有 iPhone 8 外型/零件/鏡頭和 iPhone 11 的 A13 仿生處理器,值得注意是單鏡頭可支援人像模式,Halide 就針對 iPhone SE2 人像模式進行深入分析,發現到可透過第三方相機能解除原生人像限制,也可以用來拍攝動物或靜態物體,但效果不太好。

探討 iPhone SE2 人像模式功能,為何不適合用來拍動物與物體?

 

 

如果透過 iPhone SE(第二代)內建相機啟動人像模式拍攝時,只要拍攝主題並非人物時,相機畫面會跳出未檢測人物錯誤,難道 iPhone SE 只能限制人像模式才能拍攝嗎?

在 Halide 其中一位研究開發者 Ben Sandofsky 替 iPhone SE 鏡頭與演算法進行實際測試發現,新款 iPhone SE2 是一台搭載最新「單圖深度預測(Single Image Monocular Depth Estimation)」設備,先前 iPhone 都未曾使用過,簡單來說就是 iPhone SE 使用一顆 2D 鏡頭即可拍出人像模式,不過還需要依賴 A13 Bionic 處理器才能夠實現。

探討 iPhone SE2 人像模式功能,為何不適合用來拍動物與物體?

但是在 iPhone XR 不也是一樣採用單鏡頭實現人像模式嗎?是這樣沒有錯,iPhone XR 利用鏡頭傳感器的 Focus Pixels(相位對焦技術 , PDAF) ,可以透過焦點像素視差圖提升對焦,進一步實現粗糙的深度圖。

在新款 iPhone SE2 上則是無法使用 Focus Pixels,因為它採用的是比較舊款 iPhone 8 鏡頭傳感器,只能完全依賴 A13 仿生晶片和機器學習來產生深度,只有在人像模式中識別到人臉辨識才會啟動散景模擬效果,那麼為何不能用於寵物或物品上呢?

如果想要擺脫人像限制,那就需要依賴第三方相機 App 才能夠實現,從下方這張圖來近一步了解 iPhone XR 和 iPhone SE2 在深度圖差異,可以發現 iPhone XR 就算有色彩明顯差異可識別動物主體和背景,不過還是難以識別後方狗狗的耳朵和邊緣細節,這問題在 iPhone SE2 上已經完全改變,深度圖非常明顯可以識別近遠和狗狗邊緣的毛細節。

探討 iPhone SE2 人像模式功能,為何不適合用來拍動物與物體?

左圖 iPhone XR vs. 右圖 iPhone SE2 深度數據(來源:Haild)

既然 iPhone SE2 也能夠支援動物識別,為什麼沒有開放呢?

Sandofsky 在不同場景下拍攝寵物發現,在 iPhone SE2 機器學習中無法識別樹木,如果剛好在拍攝寵物時,背後有樹木之類景色時,手機無法辨別這是一隻鹿或是一隻狗頭上面有樹,導致寵物頭身上會相同色系時會被視為是主體,並無法判斷主體與背景的深淺。

探討 iPhone SE2 人像模式功能,為何不適合用來拍動物與物體?

左圖 iPhone XR vs. 右圖 iPhone SE2 人像模式 (來源:Haild)

如以 iPhone 11 Pro 和 iPhone SE2 進行比較,拍攝狗狗躺在地板上圖片,會發現到 iPhone 11 Pro 在三鏡頭的優勢就非常明顯,可以獲得更多的數據,在 iPhone SE2 由於僅只有單鏡頭無法正確識別景深,導致只能識別整個走廊的地板。

探討 iPhone SE2 人像模式功能,為何不適合用來拍動物與物體?

左圖 iPhone 11 Pro vs. 右圖 iPhone SE2 深度數據(來源:Haild)

如果拍攝非生物為主體,會發現到 iPhone SE2 同樣無法識別前景與背景,導致整塊融合再一起,反而在 iPhone 11 Pro 能夠辨識物體深淺分層。

探討 iPhone SE2 人像模式功能,為何不適合用來拍動物與物體?

左圖 iPhone 11 Pro vs. 右圖 iPhone SE2 深度數據(來源:Haild)

從以上可得知,Apple 在機器學習過程中已經完美利用分層技術,也能看出再多鏡頭和演算法下,在辨識深度擁有更佳的效果。

蘋果在 iOS 12 加入 PORTRAIT EFFECTS MATTE (人像效果遮罩 ,  簡稱 PEM)API,意思是指可透過 PEM 來產生一張黑白深度遮罩圖,能透過顏色區別了解深淺外,還能看出毛髮邊緣與細節。

那麼就能得知為什麼 Apple 不打算替 iPhone SE2 人像模式功能延伸在寵物或物體拍攝,主要原因是在於人像拍攝效果在拍人部分會獲得最佳的效果,也不想讓使用者感到失望,這也就是指人類遮罩、機器學習深度圖借助於 A13 優勢下,拍攝人像效果會是最好的。

那麼很多人在意 iPhone 多鏡頭對我而言沒有作用,只要有單鏡頭可以拍就夠了,的確每個人需求都會不一樣,但也不能直接否認 iPhone 多鏡頭沒有任何作用,畢竟在超廣角、望遠鏡頭拍攝中,還是利用光學鏡頭比起數位變焦會來的更好。

Halide 認為雖然 iPhone SE2 單鏡頭和採用最新「機器學習」技術,但是深度訊息獲取能力不比 iPhone 11雙鏡頭或 iPhone 11 Pro 系列三鏡頭來的好。

主要原因是 iPhone SE2 僅只是靠機器學習來判斷一張2D平面照片的實際深度,特別是在拍攝非人像時,就容易無法識別主體與背景之間的距離,容易導致誤判情況。

瘋先生在實際拿 iPhone 11 Pro 系列測試,發現三鏡頭也並非會同時間啟動取得場景深淺,一次只會同時啟動兩顆鏡頭來判別與計算,這也是為何多鏡頭下能夠拍出非人像以外的事物,會比起單鏡頭來的準確。

探討 iPhone SE2 人像模式功能,為何不適合用來拍動物與物體?

那麼在多鏡頭下,為什麼就可以精準取得深淺?

現在你可以試試看用左手遮住自己的左眼,透過右手的手指頭去碰觸桌上其中一個物體,會發現眼睛與大腦明明已經感覺到我已經碰觸到,還是需要一直往前才能真實的碰觸到,比起兩隻眼睛再次嘗試透過手指碰觸物體,視覺就能輕易識別要觸碰的物體遠近,這也是為什麼 Apple 還需要額外增加鏡頭的原因。

 

圖片與參考資料來源:halide

探討 iPhone SE2 人像模式功能,為何不適合用來拍動物與物體?

▼ 如果覺得本篇教學不錯,歡迎加入瘋先生粉絲團追最新教學技巧 ▼