背景：

由于最近的幾個專案中在使用TensorFlow，但是一直使用python API，使得寫代碼的程序漸漸的成為了“調包”的程序，程式員也漸漸成為了“調包俠”，

想深入學習TensorFlow，但是其原始碼比較大又太復雜，沒有好的學習方法，沒有好的師傅領進門，常常讓人感覺到無從下手，

之前喜歡在IDE下除錯原始碼，這樣既能加深對代碼的理解，又能提升學習的效率；一直喜歡侯捷那句“原始碼面前，了無秘密”，

我是老王，出于對技術的極致追求，使用TensorFlow的時候總想窺探其底層的秘密，所以耗費大量的精力開發出了適合學習TensorFlow的可除錯工具，

TensorFlow代碼很難除錯，這個大家已達成共識，不過，就算是難，也還是需要除錯的，畢竟誰也沒有把握不出bug，看看這篇文章能不能讓你減輕一點除錯時的痛苦，

學習的方式沒有好壞之分，只有適合與不適合的方法，

關鍵詞：TensorBoard 、可視化監督、tf.Print 、TensorFlow 、tfdbg

為什么需要除錯

通過單步除錯，查看堆疊資訊和變數實時值，勝過任何資深講師的講解

Tensorflow的學習困惑:
雖然tensorflow是開源的
但是，學習tensorflow的方法只能是用各種源代碼閱讀工具（Source Insight）
進行原始碼級的閱讀、理解、分析代碼間的關系流程，
由于tensorflow是基于C++開發，各種模板（template）類（class）具有可繼承性，
一個基類會派生出多個子型別,每個子型別才是真正要實作的功能，
這給學習人員帶來了很大的挑戰性；目前，網上提供的除錯方法大致有：

1、使用 TensorBoard 可視化進行監督
2、使用 tf.Print 操作輸出變數值
3、使用CLI TensorFlow 除錯工具tfdbg
4、Other…..

把這些除錯工具能運行起來，學習和使用這些除錯工具都需要花費大量的時間，
本人（王工）在使用的時候也有“力不從心”的感覺，

	眾所周知，在用C/C++語言編程這個領域，最優的開發除錯環境IDE當屬于Microsoft Visual Studio/ VC6.0工具

為學習而開發工具:

為了從底層徹底掌握和使用tensorflow-r1.8-CPU（不支持GPU）這個專案

我本人（王工）經歷了三個月的親身學習和除錯，

tensorflow-r1.8-CPU經過我編譯之后，包含中間的臨時檔案，*.obj檔案等，

占用了26G的硬碟空間，把這些代碼*.h,*.cc檔案進行編譯并生成帶有除錯資訊的*.lib,

共占用了11G的硬碟空間，下面是庫 VS2019-tensorflow-r1.8-CPU-Debug 的截圖:

工具包含內容：

1、VS2019-tensorflow-r1.8-CPU整個工程檔案

說明：

此檔案是基于vs2019編譯出的帶有Debug資訊的TensorFlow可除錯庫，

意味著可以在windows平臺下使用vs2019單步除錯TensorFlow的原始碼，

單步除錯概覽：

2、除錯樣例

multibox_detector_test示例:

/**********************************************************************

* * TensorFlow C++多盒物件檢測演示

本演示基于 [使用深度神經網路進行擴展物件檢測],，并使用該multibox_model.pb檔案，檢測影像中包含的物件:用于實時人員檢測和跟蹤相機預覽，

*********************************************************************/

演示源圖如下surfers.jpg:

經過示例的運行結果圖：

輸出資訊：

========================wyx demo的除錯輸出=================

2020-09-16 15:20:52.399710: Tensor<type: uint8 shape: [228,480,3] values: [[160 140 149]]...>

2020-09-16 15:20:52.412927: ===== Top 5 Detections ======

2020-09-16 15:20:52.426605: Detection 0: L:324.406 T:76.3239 R:373.032 B:214.923 (635) score: 0.239021

2020-09-16 15:20:52.444433: Detection 1: L:332.595 T:76.064 R:372.239 B:204.336 (523) score: 0.237581

2020-09-16 15:20:52.470445: Detection 2: L:143.498 T:86.0459 R:187.015 B:195.247 (387) score: 0.173919

2020-09-16 15:20:52.525309: Detection 3: L:144.457 T:86.2542 R:185.335 B:165.518 (219) score: 0.1659

2020-09-16 15:20:52.568824: Detection 4: L:306.302 T:76.0753 R:370.994 B:217.478 (634) score: 0.160769* ****************************/

load_pre_trained_recognize_objects_test示例:

/**********************************************************************

* tensorflow C++影像分類提取演示

此示例演示如何加載預先訓練的 TensorFlow 網路并使用它

進行分類提取,以識別出影像是屬于以下1000種物件中哪一種型別：

dummy

tench

goldfish

大白鯊

虎鯊

hammerhead

electric ray

stingray

cock

hen

ostrich

*********************************************************************/

輸入圖片檔案: tensorflow_demo_release\label_image\data\grace_hopper.jpg

經過運算,輸出分類的結果如下:

/******************************************************

result:

military uniform 0.834305

mortarboard 0.0218694

academic gown 0.0103581

pickelhaube 0.00800818

bulletproof vest 0.0053509

軍裝 0.834305

砂漿板 0.0218694

學術禮服 0.0103581

皮克爾豪貝 0.00800818

防彈背心 0.0053509

******************************************************/

通過以上兩個除錯樣例，你可以學習到detector和 recognize的更多細節，

從而進一步根據需求去修改它們

core_framework_all_test演示工程介紹：

包含以下24個單個子示例,你可以單步除錯,方便對單個模塊進行深入理解，單步運行每個功能的細節.

transform_graph_test演示工程：

包含以下25個單個子示例,你可以單步除錯,方便對單個模塊進行深入理解，單步運行每個功能的細節.

transform_graph_test測驗案例功能簡介

1-1 .測驗Conv2D操作的檔案:fold_batch_norms_test.cc位于 transform_graph_test\transform_graph_test\test_cc\fold_batch_norms_test.cc
1-2 TestFoldBatchNormsConv2D 該測驗案例展示了手工建立一個op(操作)Conv2D的計算節點,
手工將節點引數賦初值,然后呼叫root.ToGraphDef()函式
將節點的網表轉換成GraphDef型別,最后,根據轉換后的網表建立一個session,
并呼叫TF_ASSERT_OK(session->Run({}, {"output"}, {}, &original_outputs));執行運算.
示例代碼如下:

Tensor input_data(DT_FLOAT, TensorShape({1, 1, 6, 2}));
    test::FillValues<float>(&input_data, {1.0f, 4.0f, 2.0f, 5.0f, 3.0f, 6.0f, -1.0f, -4.0f, -2.0f, -5.0f, -3.0f, -6.0f});
    Output input_op =  Const(root.WithOpName("input_op"), Input::Initializer(input_data));
    Tensor weights_data(DT_FLOAT, TensorShape({1, 2, 2, 2}));
    test::FillValues<float>(&weights_data,{1.0f, 2.0f, 3.0f, 4.0f, 0.1f, 0.2f, 0.3f, 0.4f});
    Output weights_op =Const(root.WithOpName("weights_op"), Input::Initializer(weights_data));
    Output conv_op = Conv2D(root.WithOpName("conv_op"), input_op, weights_op,{1, 1, 1, 1}, "VALID");
    Tensor mul_values_data(DT_FLOAT, TensorShape({2}));
    test::FillValues<float>(&mul_values_data, {2.0f, 3.0f});
    Output mul_values_op = Const(root.WithOpName("mul_values"),Input::Initializer(mul_values_data));
    Output mul_op = Mul(root.WithOpName("output"), conv_op, mul_values_op);

    GraphDef original_graph_def;
    TF_ASSERT_OK(root.ToGraphDef(&original_graph_def));

    std::unique_ptr<Session> original_session(NewSession(SessionOptions()));
    TF_ASSERT_OK(original_session->Create(original_graph_def));
    std::vector<Tensor> original_outputs;
    TF_ASSERT_OK(original_session->Run({}, {"output"}, {}, &original_outputs));transform_graph_test.cc

除錯的跟蹤：

除錯圖1: