近日研究人員發現,GitHub Copilot 提供的代碼中有接近40%存在 bug,研究人員創建了 89 個測驗場景以考查其代碼質量,撰寫出了 1600 多個程式,經過全面審查,證實了 GitHub Copilot 自動生成的代碼存在安全漏洞,

GitHub Copilot是GitHub和OpenAI 聯手發布了人工智能代碼工具,Copilot是基于OpenAI 全新的Codex演算法,Codex是AI語言模型GPT-3的一種延伸版本,但是在代碼生成方面比GPT-3強大得多,它可以根據當前代碼中背景關系語意,自動生成代碼或建議供程式員選擇,而且該模型可以不斷地學習,從而變得更智能化,
這次GitHub Copilot存在安全漏洞問題,首先出現在名為《An Empirical Cybersecurity Evaluation of GitHub Copilot’s Code Contributions》學術論文上,該論文作者考慮到 Copilot 處理的大量未經審查的代碼,語言模型肯定會從一些錯誤代碼中學習,他們從而引發了對 Copilot 代碼安全性的擔憂,
論文研究人員于是從三個維度測驗Copilot代碼安全性:
- 弱點的多樣性,在可能存在此類漏洞的情況下,它傾向于生成易受 CWE 前 25 名中每個弱點影響的代碼
- prompt 的多樣性,它對特定場景的背景關系的回應(SQL 注入)
- 領域的多樣性,它對領域的反應,即編程語言/范式
研究人員總共為Copilot生成了89個不同的場景(類似于高風險常見弱點列舉(CWE)),生成了1692個程式,發現40%程式存在安全漏洞,
實際上早在上個月,一篇題為“《Evaluating Large Language Models Trained on Code 》的論文也研究Copilot安全性等問題,該論文研究表明:“基于GPT 語言模型Codex雖然也能生成有效的解決方案,但是不能完全按照用戶意圖生成對應代碼,并且有可能會被濫用,”
對于此次GitHub Copilot安全漏洞問題,研究人員表示“盡管Copilot能快速生成大量代碼,建議使用GitHub Copilot的開發人員采取相關措施,最大程度減少代碼中出現安全漏洞的風險,”
OpenAI公司上個月對基于GPT 語言模型Codex演算法進行了改進,并在測驗版本中展示了Codex 通過輸入自然語言命令到控制臺,直接生成代碼的能力,OpenAI公司表示,之前的Codex版本可以解決27%的基準問題,而最新模型演算法可以解決37%,卻沒有提到任何關于避免安全漏洞問題,
對于此次GitHub Copilot 存在安全漏洞事件,你怎么看?歡迎留言評論,
參考鏈接:https://visualstudiomagazine.com/articles/2021/08/26/github-copilot-security.aspx
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/296811.html
標籤:AI
