代碼大模型具有強大的表達能力和復雜性，可以處理各種自然語言任務，包括文本分類、問答、對話等。這些模型通?；谏疃葘W習架構，如Transformer，并使用預訓練目標（如語言建模）進行訓練。

在對大量代碼數(shù)據(jù)的學習和訓練過程中，代碼大模型能夠提升代碼編寫的效率和質(zhì)量，輔助代碼理解和決策，在代碼生成、代碼補全、代碼解釋、代碼糾錯以及單元測試等任務中都表現(xiàn)出十分出色的能力。

為了幫大家深入掌握代碼大模型的發(fā)展歷程和挑戰(zhàn)，學姐這次整理了相關的48個模型以供同學們學習，分為了4大類，包括原始LM、LM改進、專用LM，以及微調(diào)模型。

掃碼添加小享，回復“代碼大模型”

免費領取模型原文+代碼合集

原始LM

1.Lamda: Language models for dialog applications

用于對話應用程序的語言模型

模型簡介：LaMDA是一種專門用于對話的神經(jīng)網(wǎng)絡語言模型，通過預訓練和微調(diào)，可以顯著提高其安全性和事實依據(jù)。在安全性方面，使用少量眾包工人注釋的數(shù)據(jù)進行微調(diào)的分類器過濾候選響應可以提高模型的安全性。在事實依據(jù)方面，允許模型咨詢外部知識源可以使生成的響應基于已知來源。

2.Palm: Scaling language modeling with pathways

使用路徑縮放語言模型

模型簡介：本文介紹了一種名為PaLM的540億參數(shù)密集激活Transformer語言模型，使用Pathways新機器學習系統(tǒng)在多個TPU Pod上進行高效訓練。作者通過數(shù)百個語言理解和生成基準測試展示了規(guī)?？s放的持續(xù)優(yōu)勢，PaLM在一些多步推理任務上實現(xiàn)了突破性的性能，超過了最新的細調(diào)最先進技術和人類平均水平。此外，PaLM在多語言任務和源代碼生成方面也表現(xiàn)出強大的能力。

3.Gpt-neox-20b: An open-source autoregressive language model

一個開源的自回歸語言模型

模型簡介：論文介紹了一種200億參數(shù)的自回歸語言模型GPT-NeoX-20B，該模型在Pile上進行訓練，并通過允許性許可證向公眾免費提供其權重。GPT-NeoX-20B是目前提交時公開可用權重最大的密集自回歸模型。在這項工作中，作者描述了該模型的架構和訓練，并在一系列語言理解、數(shù)學和基于知識的任務上評估了其性能。作者發(fā)現(xiàn)GPT-NeoX-20B是一個非常強大的少樣本推理器，當評估5個示例時，其性能比類似的GPT-3和FairSeq模型獲得更多收益。

• 4.BLOOM: A 176b-parameter open-access multilingual language model

• 5.lama: Open and efficient foundation language models

• 6.GPT-4 technical report

• 7.lama 2: Open foundation and finetuned chat models

• 8.Textbooks are all you need II: phi-1.5 technical report

LM改進

1.Evaluating large language models trained on code

評估基于代碼訓練的大型語言模型

模型簡介：Codex是一個用GPT模型微調(diào)的代碼生成器，它在GitHub Copilot中有應用。在HumanEval評估集中，Codex的表現(xiàn)優(yōu)于GPT-3和GPT-J。此外，通過從模型中重復采樣，可以生成對困難提示的有效解決方案。然而，Codex存在局限性，例如難以處理描述長操作鏈的文檔字符串以及將操作綁定到變量的能力。最后，作者討論了部署強大的代碼生成技術可能帶來的更廣泛的影響，包括安全、隱私和倫理問題。

2.Solving quantitative reasoning problems with language models

使用語言模型解決定量推理問題

模型簡介：本文介紹了一種名為Minerva的大型語言模型，該模型在一般自然語言數(shù)據(jù)上進行預訓練，并在技術內(nèi)容上進行了進一步的訓練。該模型在技術基準測試中實現(xiàn)了最先進的性能，而無需使用外部工具。作者還對物理學、生物學、化學、經(jīng)濟學和其他需要定量推理的科學領域的200多個本科水平的問題進行了評估，發(fā)現(xiàn)該模型可以正確回答近三分之一的問題。

3.Palm 2 technical report

Palm 2技術報告

模型簡介：本文介紹了一種新型最先進的語言模型，該模型具有更好的多語言和推理能力，并且比其前身PaLM更計算高效。PaLM 2是一種基于Transformer的模型，使用多種目標進行訓練。通過在英語和多語言語言以及推理任務上的廣泛評估，作者證明PaLM 2在不同模型大小下對下游任務的質(zhì)量有顯著提高，同時表現(xiàn)出比PaLM更快和更高效的推理。

4.Code llama: Open foundation models for code

開放源代碼模型

模型簡介：論文提出了一個大型語言模型家族CodeLlama，可以生成代碼，具有先進性能、開箱即用的填充能力以及對編程任務的指令跟隨能力。作者提供了多種版本，覆蓋各種應用，所有模型都在16k個令牌的序列上進行訓練，并在最多100k個令牌的輸入上有所改進。該模型在幾個基準測試中表現(xiàn)出色，作者也發(fā)布了CodeLlama的Python版本。

掃碼添加小享，回復“代碼大模型”

免費領取模型原文+代碼合集

專用LM

1. Learning and evaluating contextual embedding of source code

學習與評估源代碼的上下文嵌入

模型簡介：本文介紹了一種名為CuBERT的開源代碼理解BERT模型，該模型使用GitHub上740萬個Python文件的去重語料庫進行預訓練。作者還創(chuàng)建了一個包含五個分類任務和一個程序修復任務的開源基準測試集，類似于文獻中提出的代碼理解任務。作者將CuBERT與不同的Word2Vec標記嵌入、BiLSTM和Transformer模型以及已發(fā)布的最先進模型進行了比較，結果表明，即使使用較短的訓練時間和較少的標記示例，CuBERT也能超越所有其他模型。

2.Codebert: A pre-trained model for programming and natural languages

一種用于編程和自然語言的預訓練模型

模型簡介：論文介紹了一種新的預訓練模型CodeBERT，用于編程語言和自然語言。該模型使用基于Transformer的神經(jīng)網(wǎng)絡架構進行開發(fā)，并使用混合目標函數(shù)進行訓練，以支持下游的自然語言代碼搜索、代碼文檔生成等應用。作者通過微調(diào)模型參數(shù)在兩個NL-PL應用上評估了CodeBERT的性能，結果表明，CodeBERT在這些任務上表現(xiàn)出色。

3.Graphcodebert: Pre-training code representations with data flow

基于數(shù)據(jù)流的代碼表征預訓練模型

模型簡介：論文介紹了一種基于數(shù)據(jù)流的代碼表征預訓練模型Graphcodebert，該模型考慮了代碼的內(nèi)在結構。作者使用數(shù)據(jù)流作為語義級別的代碼結構，而不是采用抽象語法樹（AST）這樣的語法級別的代碼結構。作者還引入了兩個結構感知的預訓練任務，并在四個任務上評估了該模型，結果表明該模型在代碼搜索、克隆檢測、代碼翻譯和代碼優(yōu)化等任務上表現(xiàn)出色。

• 4.Syncobert: Syntax-guided multi-modal contrastive pre-training for code representation

• 5.CODE-MVP: learning to represent source code from multiple views with contrastive pre-training

• 6.Intellicode compose: code generation using transformer

• 7.Codexglue: A machine learning benchmark dataset for code understanding and generation

• 8.A systematic evaluation of large language models of code

• 9.Codegen: An open large language model for code with multi-turn program synthesis

• 10.CERT: continual pretraining on sketches for library-oriented code generation

• 11.Pangu-coder: Program synthesis with function-level language modeling

• 12.Codegeex: A pre-trained model for code generation with multilingual evaluations on humaneval-x

• 13.Textbooks are all you need

• 14.Codefuse-13b: A pretrained multi-lingual code large language model

• 15.Incoder: A generative model for code infilling and synthesis

• 16.Santacoder: don’t reach for the stars!

• 17.Starcoder: may the source be with you!

• 18.Multi-task learning based pre-trained language model for code completion

• 19.Unixcoder: Unified cross-modal pre-training for code representation

• 20.Pymt5: multi-mode translation of natural language and python code with transformers

• 21.Studying the usage of text-to-text transfer transformer to support code-related tasks

• 22.DOBF: A deobfuscation pre-training objective for programming languages

• 23.Unified pre-training for program understanding and generation

• 24.Codet5: Identifier-aware unified pre-trained encoder-decoder models for code understanding and generation

• 25.Sptcode: Sequence-to-sequence pre-training for learning source code representations

• 26.Competition-level code generation with alphacode

• 27.Natgen: generative pre-training by "naturalizing" source code

• 28.Codet5+: Open code large language models for code understanding and generation

代碼微調(diào)

1.Wizardcoder: Empowering code large language models with evolinstruct

使用evolinstruct為大型語言模型提供動力

模型簡介：本文介紹了WizardCoder模型，它通過將Evol-Instruct方法應用于代碼領域，為大型語言模型提供了更強的能力。作者在四個著名的代碼生成基準測試上進行了實驗，結果表明該模型比其他開源的大型語言模型表現(xiàn)更好，甚至超過了一些封閉的語言模型。

2.Pangu-coder2: Boosting large language models for code with ranking feedback

使用排名反饋提高大型語言模型的代碼能力

模型簡介：論文提出了一種新的RRTF（Rank Responses to align Test&Teacher Feedback）框架，可以有效且高效地提高預訓練的大型語言模型的代碼生成能力。在該框架下，作者提出了PanGu-Coder2，它在OpenAI HumanEval基準測試上達到了62.20%的pass@1。此外，通過對CoderEval和LeetCode基準測試進行廣泛評估，作者表明PanGu-Coder2始終優(yōu)于之前的所有Code LLM。

3.Octopack: Instruction tuning code large language models

指令調(diào)優(yōu)代碼大型語言模型

模型簡介：該論文介紹了通過使用Git提交中的代碼更改和人類指令，對大型語言模型進行指令調(diào)優(yōu)的方法。這種方法利用了自然結構的Git提交，將代碼更改與人類指令配對起來。他們編譯了一個包含4TB數(shù)據(jù)的數(shù)據(jù)庫CommitPack，涵蓋了350種編程語言的Git提交。在16B參數(shù)的StarCoder模型上，與其他指令調(diào)優(yōu)模型進行基準測試，該方法在HumanEval Python基準上取得了最佳性能（46.2% pass@1）。

• 4.Mftcoder: Boosting code llms with multitask fine-tuning

• 5.Compilable neural code generation with compiler feedback

• 6.Coderl: Mastering code generation through pretrained models and deep reinforcement learning

• 7.Execution-based code generation using deep reinforcement learning

• 8.RLTF: reinforcement learning from unit test feedback

掃碼添加小享，回復“代碼大模型”

免費領取模型原文+代碼合集