此系列是為了記錄自己學習VTM10.0的程序和鍛煉表達能力，主要是從解碼端進行入手，由于本人水平有限，出現的錯誤懇請大家指正，歡迎與大家一起交流進步，
接著本系列的上一篇博客繼續講，上一篇博客的末尾講到呼叫slice解碼器進行解碼，就是m_cSliceDecoder.decompressSlice()這個函式，大致的作用就是將slice切成CTU然后繼續解碼，下面開始講解具體流程，
1. decompressSlice()
//-- For time output for each slice
slice->startProcessingTimer();//slice解碼開始，記錄開始時間
const SPS* sps = slice->getSPS();//獲得SPS
Picture* pic = slice->getPic();//獲得slice所在幀
CABACReader& cabacReader = *m_CABACDecoder->getCABACReader( 0 );//獲得決議語法元素的類
// setup coding structure
CodingStructure& cs = *pic->cs;//獲得幀中的coding structure類
cs.slice = slice;
cs.sps = sps;
cs.pps = slice->getPPS();
memcpy(cs.alfApss, slice->getAlfAPSs(), sizeof(cs.alfApss));
cs.lmcsAps = slice->getPicHeader()->getLmcsAPS();
cs.scalinglistAps = slice->getPicHeader()->getScalingListAPS();
cs.pcv = slice->getPPS()->pcv;
cs.chromaQpAdj = 0;
cs.picture->resizeSAO(cs.pcv->sizeInCtus, 0);//清空存有SAO引數的容器
cs.resetPrevPLT(cs.prevPLT);//重置cs里面的prevPLT，PLT(palette coding mode)
startProcessingTimer():記錄開始解碼slice的時間
sps:Sequence Parameter set
pic:slice所在幀的Picture指標
cabacReader:決議語法元素的類實體，與CABAC有關
cs:存盤解碼資訊的重要類實體
如果對上面三個aps相關的類指標有些疑問的話，可以看VLCReader.cpp里面的parseAPS()這個函式以及DecLib.cpp里面的xActivateParameterSets()和activateAPS()兩個函式，
if (slice->getFirstCtuRsAddrInSlice() == 0)//如果解碼程序處于幀中的第一個slice segment
{//重置一些幀級的屬性快取
cs.picture->resizeAlfCtuEnableFlag( cs.pcv->sizeInCtus );
cs.picture->resizeAlfCtbFilterIndex(cs.pcv->sizeInCtus);
cs.picture->resizeAlfCtuAlternative( cs.pcv->sizeInCtus );
}
如果解碼程序處于幀中的第一個slice，那么要重置一些幀級的屬性快取
//將碼流切成subStreams，主要參考JVET-S2001 P203 語法元素sh_entry_point_offset_minus1
const unsigned numSubstreams = slice->getNumberOfSubstreamSizes() + 1;
// init each couple {EntropyDecoder, Substream}
// Table of extracted substreams.
std::vector<InputBitstream*> ppcSubstreams( numSubstreams );
for( unsigned idx = 0; idx < numSubstreams; idx++ )
{
ppcSubstreams[idx] = bitstream->extractSubstream( idx+1 < numSubstreams ? ( slice->getSubstreamSize(idx) << 3 ) : bitstream->getNumBitsLeft() );
}
numSubstreams:Substream的數量
ppcSubstreams：Substreams的容器
上面這一段就是將碼流切成substream，與cabac有關系，具體的還是參考JVET-S2001 P203 語法元素sh_entry_point_offset_minus1，不太準確得說就是如果開啟WPP，substream就是tile中的一行CTUs；不開啟WPP，substream就是一個tile，
const unsigned widthInCtus = cs.pcv->widthInCtus;//幀的寬度以CTU為單位
const bool wavefrontsEnabled = cs.sps->getEntropyCodingSyncEnabledFlag();//是否開啟WPP(wavefront parallel processing)
const bool entryPointPresent = cs.sps->getEntryPointsPresentFlag();//是否存在entry point
cabacReader.initBitstream( ppcSubstreams[0] );//設定決議語法元素類的輸入位元流
cabacReader.initCtxModels( *slice );//初始化背景關系模型
// Quantization parameter
pic->m_prevQP[0] = pic->m_prevQP[1] = slice->getSliceQp();//重置prevQP
widthInCtus:幀的寬度以CTU為單位
wavefrontsEnabled:是否開啟WPP(wavefront parallel processing)
entryPointPresent:是否存在entry point,就是存不存在substream劃分
initBitstream():設定決議語法元素類的輸入位元流
initCtxModels():初始化背景關系模型，看CABAC的時候可以仔細看看里面
m_prevQP:代表前一個QP，這里需要重置一下
//如果slice不是I slice且參考幀串列中RPL0的第一個參考幀有subpicture劃分，要設定clipMv函式指標為相對應的函式
#if JVET_S0258_SUBPIC_CONSTRAINTS
if( slice->getSliceType() != I_SLICE && slice->getRefPic( REF_PIC_LIST_0, 0 )->subPictures.size() > 1 )
#else
if (slice->getSliceType() != I_SLICE && slice->getRefPic(REF_PIC_LIST_0, 0)->numSubpics > 1)
#endif
{
clipMv = clipMvInSubpic;
}
else
{
clipMv = clipMvInPic;
}
這里主要設定clipMv這個函式指標，暫時不清楚具體作用
// for every CTU in the slice segment...
unsigned subStrmId = 0;//subStream的Id
for( unsigned ctuIdx = 0; ctuIdx < slice->getNumCtuInSlice(); ctuIdx++ )
{
//...
}
subStrmId:標識解碼程序處于的subStream的Id
這里的for回圈就是將slice切成每個CTU進行解碼的程序，下一節再具體講，
// deallocate all created substreams, including internal buffers.
for( auto substr: ppcSubstreams )
{
delete substr;
}
slice->stopProcessingTimer();//計算解碼slice的時間
這里的for就是釋放存有subStreams的資訊
stopProcessingTimer():計算解碼slice的時間并存在slice類中的m_dProcessingTime
2.for回圈解碼CTU
首先來看看JVET-S2001對這個for回圈的描述：
然后我們來看一下實際的代碼
const unsigned ctuRsAddr = slice->getCtuAddrInSlice(ctuIdx);//CTU的幀內地址，按光柵掃描來排序的
const unsigned ctuXPosInCtus = ctuRsAddr % widthInCtus;//CTU的x軸坐標，以CTU為單位
const unsigned ctuYPosInCtus = ctuRsAddr / widthInCtus;//CTU的y軸坐標，以CTU為單位
const unsigned tileColIdx = slice->getPPS()->ctuToTileCol( ctuXPosInCtus );//CTU所在tile的列Index
const unsigned tileRowIdx = slice->getPPS()->ctuToTileRow( ctuYPosInCtus );//CTU所在tile的行Index
const unsigned tileXPosInCtus = slice->getPPS()->getTileColumnBd( tileColIdx );//CTU所在tile的左邊界的x軸坐標，以CTU為單位
const unsigned tileYPosInCtus = slice->getPPS()->getTileRowBd( tileRowIdx );//CTU所在tile的上邊界的y軸坐標，以CTU為單位
const unsigned tileColWidth = slice->getPPS()->getTileColumnWidth( tileColIdx );//CTU所在tile的寬度，以CTU為單位
const unsigned tileRowHeight = slice->getPPS()->getTileRowHeight( tileRowIdx );//CTU所在tile的高度，以CTU為單位
const unsigned tileIdx = slice->getPPS()->getTileIdx( ctuXPosInCtus, ctuYPosInCtus);//CTU所在tile的Index，按光柵掃描來排序的
const unsigned maxCUSize = sps->getMaxCUWidth();//CTU的寬高，也是CU的最大寬高
Position pos( ctuXPosInCtus*maxCUSize, ctuYPosInCtus*maxCUSize) ;//CTU左上角點的位置
UnitArea ctuArea(cs.area.chromaFormat, Area( pos.x, pos.y, maxCUSize, maxCUSize ) );//初始化unit類，代表所在CTU的區域
const SubPic &curSubPic = slice->getPPS()->getSubPicFromPos(pos);//獲得CTU所在的subPicture類
上面設定了很多變數，具體含義都在相應的注釋里面，最好仔細看一遍，后面會用到
// padding/restore at slice level
//如果所在幀有subPicture劃分，所在subpicture在解碼程序被視為picture(區別好像是不包括環路濾波操作)，同時解碼程序處于當前slice的第一個CTU
if (slice->getPPS()->getNumSubPics()>=2 && curSubPic.getTreatedAsPicFlag() && ctuIdx==0)
{
int subPicX = (int)curSubPic.getSubPicLeft();//所在subpicture的左邊界的x軸坐標
int subPicY = (int)curSubPic.getSubPicTop();//所在subpicture的上邊界的y軸坐標
int subPicWidth = (int)curSubPic.getSubPicWidthInLumaSample();//所在subpicture的寬度
int subPicHeight = (int)curSubPic.getSubPicHeightInLumaSample();//所在subpicture的高度
for (int rlist = REF_PIC_LIST_0; rlist < NUM_REF_PIC_LIST_01; rlist++)
{
int n = slice->getNumRefIdx((RefPicList)rlist);
for (int idx = 0; idx < n; idx++)
{
Picture *refPic = slice->getRefPic((RefPicList)rlist, idx);
#if JVET_S0258_SUBPIC_CONSTRAINTS
if( !refPic->getSubPicSaved() && refPic->subPictures.size() > 1 )//如果參考幀的subpicture的邊界沒有被保存，且參考幀的有subpicure劃分
#else
if (!refPic->getSubPicSaved() && refPic->numSubpics > 1)
#endif
{
//下面這兩句咱猜猜，第一句就是保存擴展之前的邊界，第二句就是擴展邊界(實在不想跟進去看= =)
refPic->saveSubPicBorder(refPic->getPOC(), subPicX, subPicY, subPicWidth, subPicHeight);
refPic->extendSubPicBorder(refPic->getPOC(), subPicX, subPicY, subPicWidth, subPicHeight);
refPic->setSubPicSaved(true);//設定表示參考幀的subpicutre的邊界有被保存
}
}
}
}
這個分支觸發要滿足以下三個條件:
-
slice所在幀有subpicture劃分
-
slice所在subpicture在解碼程序被視為picture
-
解碼程序處于當前slice的第一個CTU
這時就要回圈參考幀串列的每一個參考幀，如果參考幀也有subpicture劃分，且沒有保存的邊界，那么就要進行以下操作：
- saveSubPicBorder():保存未被擴展的邊界
- extendSubPicBorder():擴展邊界
- setSubPicSaved():設定有邊界被保存
cabacReader.initBitstream( ppcSubstreams[subStrmId] );//設定對應的substream的位元流
// set up CABAC contexts' state for this CTU
if( ctuXPosInCtus == tileXPosInCtus && ctuYPosInCtus == tileYPosInCtus )
{//如果解碼程序處于tile的第一個CTU
if( ctuIdx != 0 ) // if it is the first CTU, then the entropy coder has already been reset
{
cabacReader.initCtxModels( *slice );//初始化背景關系模型
cs.resetPrevPLT(cs.prevPLT);//重置一下cs里面的prevPLT
}
pic->m_prevQP[0] = pic->m_prevQP[1] = slice->getSliceQp();//重置prevQP
}
else if( ctuXPosInCtus == tileXPosInCtus && wavefrontsEnabled )//如果開啟WPP，并且解碼程序處于tile中一行CTU中的第一個的話
{
// Synchronize cabac probabilities with top CTU if it's available and at the start of a line.
if( ctuIdx != 0 ) // if it is the first CTU, then the entropy coder has already been reset
{
cabacReader.initCtxModels( *slice );//初始化背景關系模型
cs.resetPrevPLT(cs.prevPLT);//重置一下cs里面的prevPLT
}
if( cs.getCURestricted( pos.offset(0, -1), pos, slice->getIndependentSliceIdx(), tileIdx, CH_L ) )
{//如果上面的CU拿得到的話
// Top is available, so use it.
cabacReader.getCtx() = m_entropyCodingSyncContextState;//設定背景關系模型
cs.setPrevPLT(m_palettePredictorSyncState);//設定cs里面的prevPLT
}
pic->m_prevQP[0] = pic->m_prevQP[1] = slice->getSliceQp();//重置prevQP
}
initBitstream():設定對應subStream的位元流
第一個if表示如果解碼程序處于tile的第一個CTU，那就要進行以下三步:
-
初始化背景關系模型
-
重置cs里面的prevPLT
-
重置prevQP
如果解碼程序處于slice的第一個CTU的話，我們已經在回圈外面執行了第一步和第二步，就只用執行一下第三步就行，
對應的elseif表示如果不滿足上面的條件，但是解碼程序處于tile的右邊界的CTU，并且開啟WPP，那就重復上面if的操作，只是還要再多執行一個判斷，
如果上方的CU通過getCURestricted()這個函式拿得到的話，就要進行一下兩步:
-
用m_entropyCodingSyncContextState設定背景關系模型
-
用m_palettePredictorSyncState設定cs里面的prevPLT
上面提到的兩個屬性都是存盤著tile中其他行的背景關系模型和PLT資訊，這里再說明一下getCURestricted()這個函式對能否取到對應位置的CU有一定的要求，可以跟進去看看，
//如果當前slice是B slice，且解碼程序處于slice中的第一個CTU，那么重置BCW的編碼順序
bool updateBcwCodingOrder = cs.slice->getSliceType() == B_SLICE && ctuIdx == 0;
if(updateBcwCodingOrder)
{
resetBcwCodingOrder(true, cs);
}
//如果解碼的CTU處于所在tile的左邊界，且滿足以下條件之一:(1)解碼程序所處的slice不是I slice;(2)開啟IBC
if ((cs.slice->getSliceType() != I_SLICE || cs.sps->getIBCFlag()) && ctuXPosInCtus == tileXPosInCtus)
{//下面兩個我就不瞎猜了，Lut是lookup table的縮寫
cs.motionLut.lut.resize(0);
cs.motionLut.lutIbc.resize(0);
cs.resetIBCBuffer = true;//標志要重置IBCBuffer
}
if( !cs.slice->isIntra() )//如果解碼的slice不是I slice
{
pic->mctsInfo.init( &cs, getCtuAddr( ctuArea.lumaPos(), *( cs.pcv ) ) );//貌似還沒寫完，目前只有設定mctsInfo的m_tileArea屬性，代表所在tile的區域
}
第一個分支就是當滿足以下兩個條件時:
- 解碼程序所處的slice是B slice
- 解碼程序處于當前slice的第一個CTU
那就重置BCW的編碼順序，具體的里面的內容沒有看，等看到BCW再說吧
第二個分支就可以和JVET-S2001里面的描述對應起來了，只是判斷條件有些不同，
第三個分支的判斷條件是當前解碼的slice不是I slice，里面執行的函式還沒寫完，
cabacReader.coding_tree_unit( cs, ctuArea, pic->m_prevQP, ctuRsAddr );//決議CTU級語意元素,具體參考JVET-S2001 7.3.11.2 P112
m_pcCuDecoder->decompressCtu( cs, ctuArea );//呼叫CU解碼器類解碼CTU
這兩句就是本篇博文最重要的兩個函式，詳細內容會在之后的博文，先講一下大致的作用:
coding_tree_unit():決議CTU級的語意元素
decompressCtu():呼叫CU解碼器類解碼CTU
if( ctuXPosInCtus == tileXPosInCtus && wavefrontsEnabled )
{//如果開啟WPP，并且解碼程序處于tile中一行CTU中的第一個的話
m_entropyCodingSyncContextState = cabacReader.getCtx();//存盤背景關系模型
cs.storePrevPLT(m_palettePredictorSyncState);//存盤cs里面的prevPLT
}
這里的分支就能與上面的對應了，如果開啟wpp，并且解碼程序處于tile的右邊界的CTU，那么就存盤一下背景關系模型和cs里面的prevPLT，
//下面的分支對應JVET-S2001 7.3.11.1 P111 slice_data()中coding_tree_unit()之后的部分
if( ctuIdx == slice->getNumCtuInSlice()-1 )
{
unsigned binVal = cabacReader.terminating_bit();
CHECK( !binVal, "Expecting a terminating bit" );
#if DECODER_CHECK_SUBSTREAM_AND_SLICE_TRAILING_BYTES
cabacReader.remaining_bytes( false );
#endif
}
else if( ( ctuXPosInCtus + 1 == tileXPosInCtus + tileColWidth ) &&
( ctuYPosInCtus + 1 == tileYPosInCtus + tileRowHeight || wavefrontsEnabled ) )
{
// The sub-stream/stream should be terminated after this CTU.
// (end of slice-segment, end of tile, end of wavefront-CTU-row)
unsigned binVal = cabacReader.terminating_bit();
CHECK( !binVal, "Expecting a terminating bit" );
if( entryPointPresent )
{
#if DECODER_CHECK_SUBSTREAM_AND_SLICE_TRAILING_BYTES
cabacReader.remaining_bytes( true );
#endif
subStrmId++;
}
}
這里同樣可以和JVET-S2001里面的描述對應起來，里面有細微的不同，例如里面有subStrmId的自增1，
//如果當前幀都subpicture劃分，所在subpicture在解碼程序被視為picture，且解碼程序處于當前slice的最后一個CTU
if (slice->getPPS()->getNumSubPics() >= 2 && curSubPic.getTreatedAsPicFlag() && ctuIdx == (slice->getNumCtuInSlice() - 1))
// for last Ctu in the slice
{
int subPicX = (int)curSubPic.getSubPicLeft();//所在subpicture的左邊界的x軸坐標
int subPicY = (int)curSubPic.getSubPicTop();//所在subpicture的上邊界的y軸坐標
int subPicWidth = (int)curSubPic.getSubPicWidthInLumaSample();//所在subpicture的寬度
int subPicHeight = (int)curSubPic.getSubPicHeightInLumaSample();//所在subpicture的高度
//
for (int rlist = REF_PIC_LIST_0; rlist < NUM_REF_PIC_LIST_01; rlist++)
{
int n = slice->getNumRefIdx((RefPicList)rlist);
for (int idx = 0; idx < n; idx++)
{
Picture *refPic = slice->getRefPic((RefPicList)rlist, idx);
if (refPic->getSubPicSaved())//如果subpicture的邊界有被保存下來
{
refPic->restoreSubPicBorder(refPic->getPOC(), subPicX, subPicY, subPicWidth, subPicHeight);//復原原始的邊界
refPic->setSubPicSaved(false);//設定標志表示subpicture的邊界沒有保存
}
}
}
}
這里同樣可以和上面的對應起來，大致意思就是如果參考幀進行了subpicture的邊界擴展，那么就得還原一下，
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/189637.html
標籤：其他
上一篇：碼元通俗解釋
下一篇：10-22筆記 冒泡排序