首頁>攝影>

在 iPhone 11 系列的釋出會上,蘋果高階副總裁菲利普・席勒(Philip W. Schiller)在介紹 iPhone 11 Pro 系列的影像系統時,第一次將計算攝影的概念引入,這個概念也第一次被大眾所熟知。

其實,計算攝影這個概念並不新鮮,最早出現在 94 年就的一篇公開論文中,且認定機內合成 HDR、全景照片以及模擬散景都屬於計算攝影範疇。但當時照片的主流載體還是膠片,數碼相機才剛剛起步,手機上還沒有攝像頭。

幾十年後,影像記錄的載體從膠片換成數字,手機擁有了攝像頭,計算攝影也從理論中走出,漸漸成為一大潮流。

不過這這潮流跟相機關係不大,相機廠商依然按部就班的提高畫素、連拍速度和影片能力,似乎對計算攝影兩耳不聞,拍出來的照片(直出)依舊很平庸,漸漸被智慧手機「超越」。

與之相反的是, 智慧手機晶片的算力越來越強,AI、演算法、機器學習介入的範圍也更廣,影象的演繹方法越來越多,最終經過一系列「演算法」處理過的照片也愈發好看。

現在,很多人出門更願意用手機記錄、分享,而相機越來越少見,這也反應在二者的市場表現上,智慧手機市場增速強勁,相機市場則連年萎縮,甚至 DC(卡片相機)都漸漸消失。

這時,就有人會問了,既然智慧手機隨手一拍所得照片的觀感這麼好,為何傳統的相機廠商不去跟隨計算攝影的潮流,考慮提高照片直出的觀感呢?

1、是相機算力不夠,算不過來?

這個問題我們先從「核心」談起。

手機的核心是 SoC,它集成了 CPU、GPU、ISP、NPU 以及基帶等,可以讓你打電話、拍照、看影片、玩遊戲、上網等操作,也直接決定了手機的效能。

而相機的核心部件是影象感測器(CMOS),除了元件面積外,跟手機差不多,作成像與感光。另外,控制整套相機系統的中央處理晶片叫做影象處理器(Image Processor)。

以索尼的 BIONZ X 影象處理器為例(α7 系列御用),它包括 SoC 和 ISP 晶片,並沒有將 ISP 整合在 SoC 內,優點是索尼可以自行根據 CMOS 的效能需求,而自行增加 ISP 晶片的數量(α7RIII 的 BIONZ X 就配備了雙 ISP),缺點就是整合化程度沒有手機那麼高。

BIONZ X 中 SoC 的作用跟手機的類似,控制操控介面與相機功能,效能要求並不高。對影象感測器採集的「資料」進行拜爾轉型、解馬賽克、降噪、銳化等操作,多是依靠 ISP,最終把 CMOS 採集的資料轉換成相機的實時取景。在這個過程中,相機的 ISP 不涉及計算過程,只是把照片當做流水線上的產品,進行統一的處理。

隨著現在相機的畫素數、連拍速度以及影片效能不斷提升,相機的影象處理器對圖片處理的速度和吞吐量需求很高,單一的資料量很龐大,在不涉及「計算」的前提下,相機影象處理器的處理能力遠超過現在智慧手機 ISP 的處理能力。

但說到計算攝影,或者說 AI 能力,就有些不太一樣了。智慧手機的成像過程有些類似相機,不過在呈現最終畫面之前,還需要 ISP、DSP 的計算,實時調整、最佳化,尤其是在多攝系統成為主流後,手機的計算資料量成倍增長。

在 iPhone 11 Pro 系列推出多攝系統後,多攝系統能夠平滑、無縫切換的背後是 A13 Bionic 中新增的兩個機器學習加速器龐大的資料處理能力,達到了每秒一萬億次,如此高頻高效的資料處理能力才算是吃下了三個攝像頭所產生的龐大資料量。

相機的影象處理器多是對原始資料進行預處理,幾乎沒有計算的過程,而手機 SoC 則包括資料採集預處理以及後續的計算過程,二者著重的方向不同。

2、面向群體不同,市場細分的結果

手機計算攝影發展很快,根源還是因手機的影象感測器(CMOS) 尺寸太小,以現在的技術,想要在物理上超過或者接近相機只能透過演算法最佳化,拼直出觀感,比如說,自動 HDR、超級夜景、模擬大光圈、魔法換天等功能。

但這些演算法的演繹,做到可以「個性化」干預還是很難,比如說濾鏡加到什麼程度,HDR 高光暗部保留到什麼程度等。不過,對於面向大眾人群的手機而言,儘可能讓大多數人拍出不錯的照片,更加符合手機的市場定位和人群定位。

自相機發明以來,相機就有著絕對的「工具」屬性,為了高效,外觀、操控、功能等等均會向效率妥協。面向更小眾的職業人群,自然也會更符合他們的需求,相機們會盡可能的記錄色深、色彩、光線等資訊,以便使用者進行更大範圍的後期調整,直出好不好看,並不在他們的需求裡。

對於大多數沒有攝影基礎的人來說,隨手獲得一張觀感不錯的照片,遠比得到一張資訊豐富的照片更加重要。而對於面向專業領域的相機廠商們,提升 RAW 記錄的色深要比提升 JPG 直出效果更符合市場定位。

不過,事情並非那麼絕對,相機們也在嘗試改變。富士就一直致力於相機的直出效果,引入了「膠片模擬」,透過不同的演算法,讓拍出的照片更有味道,觀感也更為好看。但這過程並沒有經過場景計算,而是需使用者自行選擇,這與手機的一些膠片模擬 App 有些類似,涉及不到所謂的「計算攝影」。

3、AI 後期可能才是相機的大方向

攝影領域中,後期處理是必不可少的步驟,一方面,後期軟體可以充分利用 RAW 格式中所記錄的豐富資訊,另一方面也可藉助 PC 的高效能和算力來對照片快速處理。

與相機廠商不同,幾乎主流的專業後期軟體都已開始在 AI 上發力,強調 AI 的處理能力。

Adobe公司的 Photoshop 在近幾個版本的更新中,在摳圖、修復、磨皮等操作中加入了自動識別功能,使得操作越來越無腦,效果越來越精確。而 Mac 平臺上的 Pixelmator Pro 修圖軟體,早在 2018 年就開始藉助蘋果的 Core ML 機器學習進行識別影象,從而進行色彩調整、摳圖、選取,甚至在壓縮輸出時,都運用了 ML 機器學習引擎。

前文所提,現在相機廠商由於晶片 AI 算力限制,和麵對小眾市場問題,幾乎沒有在計算攝影上發力。但後期軟體在 AI 上的爆發,也算是在側面彌補了相機們在計算攝影上的短板。

即使算上後期軟體的 AI,相機們依然沒有擺脫傳統的流程,相機們記錄,軟體們處理,這個過程對於大眾們來說,依然繁瑣。對於專業的攝影玩家,後期軟體 AI 的介入,的確能夠減少工作量,讓原本繁複的摳圖等操作變得輕鬆不少,但依然無法扭轉傳統攝影行業的照片處理(創作)流程,與手機截然不同。

根據 CIPA 的資料,相機市場正逐步萎縮,與之相反的是,手機市場不斷的增長。智慧手機上成為潮流的「計算攝影」,並不會改變相機日趨專業的方向,也不會扭轉相機市場逐步萎縮的局面。

換句話說,即使現在相機們有著與智慧手機接近的「計算攝影」能力,就能挽救「江河日下」的相機市場嗎?

答案當然是否定的,舉個極端的例子,拼直出可行的話,那富士相機會有著第一的市場份額。事實上,現在無反相機第一的寶座,反而被直出並不好看的索尼佔據著。

面對來勢洶洶的手機們,相機們只能向著更專業的方向發展,不斷的向上細分市場,近些年全畫幅的 4000 萬、6000 萬高畫素,中畫幅的過億畫素,以及微單影片能力不斷接近專業攝錄一體機,都是相機細分市場的產物。

相機專業化越來越強,也就意味著需要效能更佳的影象感測器(CMOS),但「計算攝影」倚重單獨的機器學習模組,眾所周知,晶片的研發成本高、風險大,相機廠商們難以兼顧二者。計算攝影和發展專業化是兩條不同的道路,同時,對於專業使用者用處不大的「計算攝影」、「AI 干預」等特性,相機廠商大機率因平衡研發費用,暫時被戰略性放棄。

在現階段或者可見的未來內,想要相機廠商去擁抱「計算攝影」風險高、投資大,成效慢,是難上加難,更別說現在還有一眾專業後期軟體用 AI 修圖來託底了。

#科技##科技曼曼談##科技快訊##數碼##相機#

13
  • 會議活動拍攝丨拍前做攻略,成功率翻倍
  • 用這個相機感測器動態範圍測試網站,看看你的相機動態範圍如何