ISP—影像除錯實習生（第15天）-有解無憂

ISP—3DNR影像去噪

空域介面說明

時域介面說明

色度資訊去噪

除錯

以海思3516EV200為例去除錯3DNR

3DNR引數介面

3DNR 的亮度去噪（ NRy ）由四級串聯去噪功能組成，按如下分為 4 級，假設編號為0 ， 1 ， 2 ， 3 ，不同級之間的同樣編號、型別濾波器效果由于實現差異、串聯效應等，導致不同級結果并不完全一樣，

第 0 級、第 3 級為帶時域輔助的空域濾波器，第 1 級、第 2 級則為時空域處理，色彩濾波器獨立于亮度濾波器，如下圖所示：

說明：

nX**,mX** 引數里面的 X 的均指級數，代指第 n 級，如 n0sf2 特指 nXsf2 系列引數里的第 0 級對應引數， m1id0 特指 mXid0 系列里第一級對應引數，第 3 級空域濾波器引數 [nXsf5] 、 [dzsf5] 、 [nXsf6] 、 [nXsfr6] 、 [nXsbr6] 、 [nXsfn] 、 [nXsth] 、 [nXsthd] 和 [sfr] 分別有兩套介面（如圖 1-2 中的 3a 和 3b 區域），作用于運動區域（ 3a ）和靜止區域（ 3b ），實作不同的處理效果，第 3 級使能，需要第 2 級使能并且打開時域參考，否則第 3 級無實際效果，

空域濾波包含 0~4 號基礎濾波器即 nXsf0 、 nXsf1 、 nXsf2 、 nXsf3 、 nXsf4 ，也包含基礎濾波器的組合處理，不同級采用了不同型別的空域濾波器，第 0 級和第 1 級采用的濾波器去噪保邊的能力較強，但易出現條狀噪聲（稱為 SFi 濾波器組），第 2 級和第 3 級的濾波器去噪保邊的能力稍弱，但副作用較小（稱為 SFk 濾波器組），

空域介面說明

下圖是低光環境下的0、1、2、3級基本空域濾波器引數配置

[kmode] ：用于決定第 2 級和第 3 級濾波器的 SFk 濾波器是否根據亮度決定不同的去噪強度，

[nXsf5] ：該介面用于除錯五號濾波器，是一號至四號濾波器的混合結果，用于組合不同頻段的降噪或者細節增強，其中四個引數分別用于配置四組濾波器結果，第一個引數用于配置一號濾波器結果，以此類推，

[sfs5] ：該介面用于第 3 級，設定五號濾波中四組濾波器的強度，值越大濾波或者增強的效果越強，

[dzsf5]: 該引數用于控制五號濾波器結果在影像中的作用范圍，該值越小，作用的范圍越大，當設定成 999 的時候，相當于關閉五號濾波器功能，取值范圍為 [0,999] ，

[nXsf6] ：該介面配置六號濾波器結果，為兩組濾波器的混合結果，該介面前兩個引數為參與混合濾波器號碼（可以從 0~5 號濾波器中選擇），最后一個引數則為混合方式，取值范圍 [0, 4] ，該引數取 0 的時候輸出是原始值，其他表示四種不同的混合方式：

[nXsfr6] ：該介面在 sf6 介面的第四個引數選擇 4 的時候生效，用于該模式約束的四種檢查機制，值越大傾向選擇 [nXsf6] 的第二個結果，取值范圍均為 [0,31] ，結果取 4 種方式中最靠近第二個結果的，

[nXsbr6] ：該介面用于六號濾波器的亮暗非對稱調節，該引數只在 [nXsf6] 第四個引數選擇 4 的時候生效，兩個引數用于分別控制 [nXsf6] 第一個結果和第二個結果混合比例，可以配置在亮和暗的兩個結果采用不同的混合比例，

[nXsfn] [nXsth/nXsthd] ： nXsfn 表示不同影像特征區域選擇不同濾波器的型別，取值 [0,6] ，與 [nXsth/nXsthd] 介面配合使用， nXsth/nXsthd 則表示不同區域的特征區分閾值的上下限，取值為 [0,511] ， nXsth 的取值應大于等于 nXsthd ，

[sfr] ：整個空域濾波結果控制，取值 [0,31] ，值越大空域作用程度越強，當 N 為0 ，則空域濾波關閉，

[DeRt]: 該介面的第一個引數為 0 表示非串行（普通）模式（如圖 2-1 ），大于 0的時候，表示串行模式（如圖 2-2 ），串行模式僅適用于 NRy 第 0 級和 NRc 模塊，

[SelRt]: 用于產生串行模式的疊加細節的 0 ， 1 ， 2 號濾波器結果的混合比例，取值范圍為 [0, 16] ，第一個引數決定 0 和 1 號濾波器結果的混合比例，第二個引數決定 1 和 2 號濾波器結果的混合比例，該介面取值越大會疊加更多的細節，但同時噪聲也會相應加大，

在非串行模式下，兩個值只能取值 16 ，

時域介面說明

每一級都包含了時域資訊用于影像處理，第 1 級的時域可采用分層處理結構，其中每個時域的介面都有兩套分別對應于兩層，（如果介面有多個引數，介面帶上后綴 0,1 來區分層級，例如 nXtfr0, nXtfr1），針對 IPC 應用場景一般建議采用分層處理，將第 1 層設定為背景層，將第 0 層設定為前景層分開處理，

[ref]:該介面表示參考幀開關，一般設定為1，

[tedge]:對可能產生拖尾內容區域的處理，0 表示關閉，不做處理，1 則處理可能出現的拖尾，2 和 3 則處理可能出現的模糊，

[nXstr] ：時空域濾波處理，減小噪聲，但可能引入一定的蒙紗噪聲，值越大去噪噪聲越好，蒙紗噪聲出現概率越高，取值 [0,31] ，

[nXsdz] ：用于配合 nXstr 介面對應的空域濾波器的限制，引數取值為 [0,999] ，值越小 nXstr 作用越明顯，取值 999 相當于該級的空域濾波器關閉，

[nXtss] ：值越大靜止區域越光滑，但靜止區域影像內容可能越模糊，取值范圍為[0,15] ，該引數的兩個值表示分別作用不同區域，

[nXtsi] ：用于配合 nXtss 介面，取值為 0 、 1 ，分別表述不同處理方式，選擇 0 是純空域的處理方式， 1 是時空域的處理方式

[nXtfs] ：時域濾波強度，當前濾波區域使用時域時，此引數表示時域作用強度，值越大強度越大，該介面的取值范圍是 [0, 15] ，

[nXtfr] ：拖尾、去噪平衡控制引數，總共 6 種處理方式，每個值越小可以控制拖尾越小，但去噪能力減弱，結果取 6 種方式中去噪效果最明顯的一種，取值范圍均為 [0,31] ，

[nXtfrs]: 第 0 級有效，用于配合 [nXtfr] 使用，值越大空域效果越強，

[nXdzm] ：用于 tdz 介面的選擇模式，取值范圍 [0, 1] ，

[nXtdz] ：用于保護紋理或者去噪效果加強，取值范圍 [0, 999] ，

[nXtdx]：默認值為2，不建議修改

[mXmath/mXmathd] ：動靜判決閾值的上下限，其值越大，被運動檢測單元判定為 “ 靜止 ” 的像素越多，因而被實施時域濾波的像素也越多，畫面當然也越安靜，一般情況下，將 TFS 調最大，將 mXmath/mXmathd 調到剛好抑制雨點現象，這時再適當調低 TFS 直到沒有雨點；第 1 級采用分層應用，系統會先根據該接口的第二個值劃分出影像的靜止區域，作為影像的背景層（即絕對靜止區域），剩余影像作為前景層，將會根據第一個引數繼續劃分出相對靜止區域和運做分別處理，第 3 級的 mXmath/mXmathd 用于劃分影像為運動和靜止區域，可以分別濾波或者增強處理，但無時域濾波效果，該介面的取值范圍是 [0, 999] ， mXmath 的取值應大于或等于 mXmathd 的取值，

[mXmate] ：表示平坦區域運動檢測指數，其值越大，被平坦運動檢測單元判定為“ 靜止 ” 的像素越多，因而被實施時域濾波的像素也越多，畫面當然也越安靜；一般需要先將 math 除錯到合適，再微調 mate ，以平衡雨點噪聲和運動拖尾為合適，其取值范圍為 [0,8] ，

[mXmabw] ：運動檢測內容視窗大小的選擇，主要配合 math 使用，值越大，視窗越大，當在低照度下 math 調大還不能抑制雨點，建議將 mabw 除錯到 7 以上，從而可以減輕 math 抑制雨點的負擔，降低時域濾波的副作用，取值范圍為 [0, 9] ，如果某一級分層處理，背景層（第 1 層）的 mabw 的取值范圍為 [5, 9] ；前景層（第 0 層）的取值為 [0, 9] ，但推薦使用 [0, 4] 以防止拖尾，如果不分層（也就是 biPath = 0 ） , mabw 的取值范圍為 [5, 9] ，

[mXid] ：根據 [mXmath] 的結果分為不同區域，分別選擇采用哪種輸出效果，每個數的取值為 [0,3] ，分別表示 [sfr] 、 [nXstr] 、 [nXtfr] 、 [nXtfs] 的輸出結果，取值越大，時域引數作用越強，

[mXmabr] 和 [mXmadz] 其濾波器的選擇對應于 mXid 中的第二個引數，

[AdvMath] 開關用于選擇普通型動靜判決介面 math 還是增強型動靜判決介面，建議在分層處理時開啟該開關，增強模式只作用于第一級的前景層，當采用增強型介面，前景層的 math 設定的值通常小于普通型介面的值，取值范圍 [0, 1] ， 0 為普通模式， 1 為增強模式，如果不磁區域，該介面取值為 0 ，

[AdvTh] 該介面決定增強型 math 的作用強度，值越小，作用越強，

[mXmatw] 時域濾波防運動拖尾指數，該值越大，運動拖尾收斂越快，反之，該值越小，運動拖尾收斂越慢，其取值范圍為 [0, 3] ，一般默認為2，

[mXmasw]：時域濾波防雨點指數，該值越大，有助于降低雨點噪聲出現的概率，其取值范圍為[0,15]，一般不建議除錯，設定為默認值 12，

色度資訊去噪

視頻色度去噪介面 NRc 去噪主要除錯引數為 sfc ， tfc ， trc, tpc ，

色度去噪主要除錯引數為 sfc ， trc ， tfc ， tpc ；在低照度下，由于色度噪聲比較強，一般除錯 sfc=255 ， tfc =15 ， tpc = 15 ， trc =255 ；正常照度下，色度噪聲比較弱，可以適當將 sfc ， trc ， tfc ， tpc 調小

[sfc] ：表示色度空域濾波強度，取值范圍為 [0, 255] ，

[tfc] ：表示色度時域濾波強度，一般建議 tfc 在低照度下除錯不超過 15 ，否則會出現色彩拖尾等副作用，取值范圍為 [0, 32] ，

[tpc] ：表示時域色噪濾波型別，建議除錯 tpc=tfc ，取值范圍為 [0, 32] ，

[trc] ：用于抑制運動區域的色彩侵染現象，當出現色彩浸染 trc 調為 10 以內，取值范圍為 [0, 255] ，

除錯

關于3DNR去噪模塊與YUV sharpen模塊相似，需要與感光度ISO進行聯動除錯，主要分為兩部分介紹，一是高ISO環境的下的3DNR去噪，一是低ISO環境下的3DNR去噪，

先是高ISO方面的3DNR去噪，通過曝光資訊可以看到，場景下所處的ISO為137447，下圖場景說明環境處于黑暗低光環境當中，這時候我們需要對當前ISO下進行3DNR去噪，盡可能的使得影像噪聲減少，影像變得清晰，

影響這部分的主要是，第1、第2級去噪功能，我們可以通過除錯下下圖紅框部分，使得影像變得清晰，

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/237553.html

標籤：其他

上一篇：WebRTC音視頻開發-整套方案(Flutter+React+Go+WebRTC)

下一篇：《劍指offer》NO34 二叉樹中和為某一值的路徑詳解＜Java實作＞