ChatGLM-6B 自3月14日發布以來，深受廣大開發者喜愛，截至 6 月24日，來自 Huggingface 上的下載量已經超過 300w，
為了更進一步促進大模型開源社區的發展，我們再次升級 ChatGLM-6B，發布 ChatGLM2-6B ，在主要評估LLM模型中文能力的 C-Eval 榜單中，截至6月25日 ChatGLM2 模型以 71.1 的分數位居 Rank 0 ，ChatGLM2-6B 模型以 51.7 的分數位居 Rank 6，是榜單上排名最高的開源模型，
- CEval榜單，ChatGLM2暫時位居Rank 0，ChatGLM2-6B位居 Rank 6
ChatGLM2-6B 是開源中英雙語對話模型 ChatGLM-6B 的第二代版本，在保留了初代模型對話流暢、部署門檻較低等眾多優秀特性的基礎之上，ChatGLM2-6B 引入了如下新特性：
更強大的性能：基于 ChatGLM 初代模型的開發經驗，我們全面升級了 ChatGLM2-6B 的基座模型，ChatGLM2-6B 使用了 GLM 的混合目標函式，經過了 1.4T 中英識別符號的預訓練與人類偏好對齊訓練，評測結果顯示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等資料集上的性能取得了大幅度的提升，在同尺寸開源模型中具有較強的競爭力，
更長的背景關系：基于 FlashAttention 技術，我們將基座模型的背景關系長度（Context Length）由 ChatGLM-6B 的 2K 擴展到了 32K，并在對話階段使用 8K 的背景關系長度訓練，允許更多輪次的對話，但當前版本的 ChatGLM2-6B 對單輪超長檔案的理解能力有限，我們會在后續迭代升級中著重進行優化，
更高效的推理：基于 Multi-Query Attention 技術，ChatGLM2-6B 有更高效的推理速度和更低的顯存占用：在官方的模型實作下，推理速度相比初代提升了 42%，INT4 量化下，6G 顯存支持的對話長度由 1K 提升到了 8K，
更開放的協議：ChatGLM2-6B 權重對學術研究完全開放，在獲得官方的書面許可后，亦允許商業使用，如果您發現我們的開源模型對您的業務有用，我們歡迎您對下一代模型 ChatGLM3 研發的捐贈，
在關注ChatGLM第二代模型的同時，我們也看到了團隊的另一個大模型作品CodeGeeX，CodeGeeX 是一個具有130億引數的大規模多編程語言代碼預訓練模型，該預訓練模型支持二十多種主流編程語言，實作高精度的代碼生成，代碼翻譯和代碼注釋等功能，模型開源開放，目前在Github上已經獲得6000+ Star好評，
基于CodeGeeX模型的插件產品，支持多種主流IDE，如VS Code、IntelliJ IDEA、PyCharm、Vim等，目前CodeGeeX插件的安裝用戶超過100,000+，每天為開發者生成數百萬行代碼，
下載使用——CodeGeeX插件，在VSCode和JetBrains IDEs可以直接免費下載使用，CodeGeeX插件可以自動實作代碼生成，可以逐行為代碼添加注釋，也可以進行不同編程語言之間的代碼翻譯，特別值得點贊的功能“Ask CodeGeeX”，把類似chatGPT一樣的智能問答功能，與開發者編程環境IDE深度融合，開發者可以在IDE中，通過問答對話的方式解決技術問題，
在IDE中使用Ask CodeGeeX功能，使得開發程序中遇到的問題，都可以在IDE中沉浸式解決，不用跳出開發環境尋找解決代碼問題的答案，提升了代碼開發效率，同時，在這個新版本中，通過對話框區域常用命令“explain/解釋代碼”、“comment/生成注釋”、“fixbug/檢查bug”的快捷方式，可以直接操作代碼，實作代碼解釋，逐行添加代碼注釋，嘗試修復代碼片段潛在bug等功能，
“explain/解釋代碼”按鈕，獲得整段代碼解釋
當你撰寫代碼時，希望了解某一段生成的代碼作何解釋？那么你就可以在CodeGeeX插件的代碼生成區域中，選中該段代碼，左側邊欄的對話區會出現浮層，同時展示選中代碼，在對話區通過快捷按鈕：“解釋代碼”，在對話界面中就可以回復出整段的代碼解釋，
“comment/生成注釋”按鈕為代碼逐行添加注釋
同樣，當你希望為一段生成的代碼逐行添加注釋，你就可以在CodeGeeX代碼生成區域，選中該段代碼，側邊欄的對話區會出現浮層，同時展示選中代碼，在對話區通過快捷按鈕：“生成注釋”，在對話界面就可以直接為這段代碼逐行添加注釋，
“fixbug/檢查bug”修復代碼潛在bug
當你撰寫代碼遇到一個錯誤時，在CodeGeeX插件的代碼生成區域中選中該段代碼，左側邊欄的對話區會出現浮層，同時展示選中代碼，在對話區通過快捷按鈕：“檢查bug”，代碼編輯區就可以直接幫你找到這段代碼中的問題并進行錯誤修復，并且對修復代碼的區域做高亮標記，方便進行代碼對照，
本文由博客一文多發平臺 OpenWrite 發布！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/556192.html
標籤：其他
上一篇：自然語言處理 Paddle NLP - 機器同傳技術及應用-理論
下一篇：返回列表