視學演算法報道
來源：AIM
編輯：好困
【新智元導讀】不要100萬億！也不要10萬億！更不要1750億！GPT-4引數量竟然比GPT-3還少！
GPT-4官宣？
?
近日，OpenAI的首席執行官Sam Altman出席了「the AC10 online meetup」的線上QA，并透露了關于GPT-4的最新訊息，
去年，OpenAI在一篇題為「語言模型是小樣本學習者」的論文中介紹了當時最大的神經網路GPT-3，
作為最先進的語言模型，GPT-3包括1750億個引數，而其前身GPT-2的引數為15億，并且擊敗了之前保持「有史以來最大」記錄的圖靈NLG模型（170億），
由于OpenAI幾乎是每間隔一年就發布一個GPT模型：2018年發布了GPT-1，2019年發布了GPT-2，2020年發布了GPT-3，
到了2021年，網路上對于測GPT-4的猜測就如雨后春筍一般層出不窮，
例如7月份的一篇報道預測GPT-4或許會有10萬億的引數量，
也有文章表示GPT-4的引數量將與大腦的突觸一樣多，達到100萬億個，
甚至連OpenAI的「自己人」也覺得這怎么也得有個100億吧，
然而，誰也沒有想到，GPT-4的引數竟然比GPT-3還少！
GPT-4的期待
Altman在采訪中表示：「與流行的看法相反，GPT-4不會比GPT-3大，但會使用更多的計算資源，」
實作這一點，GPT-4將使用與之前GPT模型不同的方法，包括資料演算法和微調，這其中的重點顯然是在較小的模型中獲得最大的收益，
通常認為，一個模型的引數越多，它能實作的任務就越復雜，
不過，有越來越多的研究指出，一個模型的有效性可能不一定像人們認為的那樣與它的大小相關，
例如，最近一項來自谷歌的的研究表明，比GPT-3小得多的模型：微調語言網（FLAN），在一些具有挑戰性的基準上比前者提供了更好的結果，
https://arxiv.org/pdf/2109.01652.pdf
這篇標題為「微調語言模型是零樣本學習者」的論文，似乎是直指OpenAI的那篇GPT-3論文，火藥味十足，
言歸正傳，從Altman的發言中可以看出，OpenAI也一直在摸索如何通過訓練較小的模型來完成一些任務，并達到更好的效果，
Altman還表示，GPT-4將更加關注代碼的生成，也就是更接近OpenAI通過API在私人測驗中發布的Codex模型，
Codex是GPT-3的衍生版本，也是GitHub Copilot的基礎，
它能理解十幾種語言，還能用自然語言解釋簡單的命令，并代表用戶執行這些命令，允許為現有的應用程式建立自然語言界面，
只要對Codex發號施令，它就會將英語翻譯成代碼，
比如：「add this image of a rocketship」
隨后，這張火箭照片就被添加進來了：
Codex不僅能夠收到指令后自行編程，還能夠開發個小游戲，
此外，Codex還能接受語音指令，
「啪，每行開頭的空格消失了！」
除了GPT-4之外，Altman還表示，之后的GPT-5或許能夠通過圖靈測驗，
不過，這可能并不值得付出努力去做，
DALL.E將開源
DALL.E要開源了！
DALL.E與GPT-3一樣，也是一個Transformer語言模型，
作為GPT-3的120億引數衍生版本，它將文本和影像作為單一的資料流接收，其中包含多達1280個詞元，并使用最大似然法進行訓練，
自然語言輸入是一個完全開放的沙盒，如果能按照模型的喜好使用文字，你幾乎可以創造任何東西，
DALL-E文本到影像的端到端生成
由于OpenAI一直沒有開源DALL.E，因此之前的創作都是基于影像標注模型CLIP，
在概念上，這種從文本描述生成影像的想法與DALL.E模型驚人地相似，但實際上卻完全不同，
DALL.E是直接從語言中產生高質量的影像而進行的端到端訓練，而CLIP則是使用語言來引導現有的無條件影像生成模型，
而這些基于CLIP的方法要相對拙略一些，所以輸出的結果并不像DALL.E那樣具有很高質量和精確度，相反，這些生成的影像是怪異、迷幻和抽象的，
正是這種怪異使這些基于CLIP的作品如此獨特，讓人在熟悉的事物上看到完全不同的結果，
「牛油果形狀的扶手椅」：上圖由DALL.E生成，下圖由CLIP生成的
AGI：演算法、資料和計算機
對于AGI，UCLA的計算機科學教授、人工智能先驅Stuart Russell表示深度學習是不足實作的，
「關注原始計算能力完全沒有抓住重點，我們不知道如何讓一臺機器真正智能化，即使它有宇宙那么大，」
相比之下，OpenAI相信，在大型資料集上輸入大型神經網路并在巨大的計算機上進行訓練是實作AGI的最佳途徑，
OpenAI的首席技術官Greg Brockman表示：「誰擁有最大的計算機，誰就能獲得最大的好處，」
此外，OpenAI相信縮放假說：給定一個可擴展的演算法，如GPT系列背后的基本架構Transformer，就可能有一條通向AGI的直接路徑，包括基于該演算法訓練越來越大的模型，
但大型模型只是AGI難題的一個部分，訓練它們需要大型資料集和大量的計算能力，
當機器學習界開始揭示無監督學習的潛力時，資料不再是一個瓶頸，
再加上生成性語言模型，以及少量的任務轉移，也就解決了「大型資料集」問題，
OpenAI只需要巨大的計算資源來訓練和部署他們的模型就可以了，
這或許就是在2019年決定與微軟合作的原因，這樣就通過授權微軟在商業上使用OpenAI的模型，以換取使用其云計算基礎設施和所需的強大GPU，
參考資料：
https://analyticsindiamag.com/gpt-4-sam-altman-confirms-the-rumours/
https://towardsdatascience.com/gpt-4-will-have-100-trillion-parameters-500x-the-size-of-gpt-3-582b98d82253
點個在看 paper不斷！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/302044.html
標籤：其他
下一篇：CSS和圖片優化（將樣式表置頂、避免使用CSS運算式、用＜link＞代替@import、GPU加速、優化影像、不在HTML中縮放圖片等）