ChatGPT是近期最火的概念了，和之前的AlphaGo不同，GPT讓AI和普通大眾如此接近，讓大家可以親自接觸到AI帶來的全新體驗，

不過，AI并不是魔法，ChatGPT也不是革命性的新技術，
目前我個人來看，ChatGPT要取代人類的作業還言之過早，不過，輔助人類提高作業效率卻已經綽綽有余，

ChatGPT如此熱門，相信很多人都對它能力的來源充滿好奇，本文是我個人查閱一些資料后對其原理的粗淺理解，
不足之處，還望不吝指正，

1. 核心概念

ChatGPT的背后肯定會涉及很多AI相關技術和概念，
其中，理解ChatGPT技術最核心的幾個概念是：

1.1. GPT

GPT是Generative Pre-trained Transformer的縮寫，是一種基于神經網路訓練AI模型的方法，
硬翻譯成中文的話叫生成式預訓練轉換器，很別扭，不如直接用簡稱GPT，

ChatGPT之所以對話起來如此自然，與GPT技術密切相關，
GPT在訓練時使用了大量的資料，但不是簡單的在資料上建立規則，模板之類的，而是考慮了背景關系資訊，通過分析輸入的文本，來生成回答的內容，這也是神經網路擅長的地方，

而且，GPT還有自我糾錯的能力，當生成的內容出現錯誤時，GPT可以自動進行調整和改進，
這使得GPT生成的內容越來越可靠和正確，

1.2. LLM

LLM是Large Language Model的縮寫，中文叫大語言模型，
這個模型可以理解成一個擬合函式，這個函式的引數非常之多，據說GPT-3就已經有大約 1750億引數，
可見語言模型有多么復雜，

1.3. embedding

簡單來說，embedding就是將某個東西映射為向量，然后就可以通過計算向量之間的關系（比如距離）來確定這些東西之間的關系，

所以embedding技術是關鍵，如果不能把語言通過embedding技術映射成向量，那么人類的各種語言是無法傳遞給演算法去運算的，

2. 程序

了解了上面三個核心概念之后，簡單繪制了一個訓練程序的圖，

每個步驟都是一個大工程，
第一步，將本文和一連串對應的token關聯起來，讓后用embedding技術（向量）表達這種關聯，
這一步就需要面對海量的文本，GPT-3有1750億個引數，那么訓練材料可能就超過17500億個詞元，
這大概什么規模呢，以小說《紅樓夢》為例的話，ChatGPT 的訓練材料相當于175萬本《紅樓夢》，

根據報道，ChatGPT 實際上用了 570 GB 的訓練材料，來自互聯網上各種資源，

第二步訓練時，面對如此龐大的資料，消耗的計算資源可想而知，這也是為什么人工智能只能大公司才有實力去做的主要原因，
不說技術上的人才儲備，只是硬體上的成本已不是一般公司所能承受的了，

最后生成一個LLM（大語言模型），這個LLM不是一成不變的，在使用的程序中也在不斷的完善自己，

3. 思考

整體看來，ChatGPT其實并沒有革命性的技術突破，只是隨著互聯網的普及和硬體的性能的極大提升，AI需要的資料和算力都有了長足的發展，

所以，之前停留在理論上的AI演算法終于有了用武之地，
不過，在驚嘆ChatGPT能力，擔憂其取代人類的同時，也必須看到其局限性，

首先，ChatGPT的所有知識都來自于人類已有的知識，GPT并不能創造新的知識，只能重組已有的知識，
我看到很多文章把這個當成ChatGPT的一個局限性或者不及人類的地方，
不過，我覺得目前人類的知識總量早已不是一個人所能掌握的了，再也沒有古時候無所不知的圣人了（那時候知識總量有限），
所以，ChatGPT掌握的知識對個人來說，有很多很多就是認知之外的新知識，
由此也可看出，ChatGPT取代人類，尤其是取代已經探索到人類知識邊界的人們還為時尚早，

此外，人類突然冒出的新的想法和靈感，目前也不知道如何通過機器來模擬這種情況，

其次，GPT的訓練程序有不可約性，
所謂不可約性，是指不能進一步簡化，或者不能由其他一些簡單的規則推匯出來，
也就是說，ChatGPT給我們什么樣的回答，不是由明確的數學證明推匯出來的，我們是無法預測回答結果的，

因此，在一些關鍵的地方，特別是涉及到人身安全的方面，完全交給ChatGPT，雖然知道ChatGPT也許會做的更好，心里總是有些擔心，

最后，ChatGPT要用的好也沒那么容易，要想得到好的答案，先得提出好的問題，這一點和搜索引擎的關鍵字類似，
不過，ChatGPT能夠關聯背景關系，每次的提問它都會考慮進去，不像搜索引擎每次都是獨立的搜索，所以對普通人來說更加友好，更加親切一些，

總之，ChatGPT還在發展完善之中，面對新的AI技術，我們既不要妄自菲薄，神話它，也不要妖魔化它，抵制它，
而是基于自己的知識水平和理解能力，盡可能的先去了解它，嘗試使用它，切實用好AI技術提高自己的作業學習效率，比爭論其優缺點更有意義，

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/553851.html

標籤：其他

上一篇：Unity_Photon