正常操作，正常分析，大家好我是D1N910。

我學習了李沐老師說的讀論文的方法后，現(xiàn)在來實踐了。

第一遍讀?

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

1、title

自翻：

Pre-training 預訓練

Bidirectional 雙方向？二元方向？

Transformers 轉移

Language Understanding 語言理解

自翻組合：

BERT：基于語言理解方向的深度兩方向轉移的預訓練方法

作者：扎克伯格·戴維林、常名威、肯托·李、克里斯娜·陶安娃

團隊：谷歌AI語言

底下的那一串花括號的應該是為了節(jié)約一下資源，所以大家的郵箱都是@google.com后綴的，就統(tǒng)一了(o′ω`o)?

咨詢大哥

我：你好，請幫我用中國大陸計算機研究人員的翻譯習慣，翻譯一下下面的論文的標題和人名：

這里是標題的英文版內(nèi)容

大哥：

標題：BERT：深度雙向Transformer語言理解的預訓練

人名：

• Jacob Devlin：雅各布·德夫林

• Ming-Wei Chang：張銘偉

• Kenton Lee：肯頓·李

• Kristina Toutanova：克里斯蒂娜·托托諾娃

機構：Google AI Language (谷歌人工智能語言部門)

我：我想知道為什么上面的標題里，transformer后面為什么要加s？

大哥：在這篇論文中，“transformer”后面加了“s”，指的是一種模型結構——Transformer模型（Transformer model），其中“Transformer”是名詞單數(shù)形式，而在這篇論文中，是用了“Transformers”的名詞復數(shù)形式，指的是將多個Transformer模型結合在一起的系統(tǒng)。這樣的命名方式可能是為了突出這篇論文所提出的模型的獨特之處，以及它是建立在之前Transformer模型的基礎上的，所以使用了復數(shù)形式。

2、Abstract

本文介紹了一種新的語言表達模型——BERT，它是由 Bidirectional Encoder Representations from Transformers （對于Transformer的雙向編碼表達）的首字母組成的。與現(xiàn)有的語言表達模型（Peters et al., 2018a; Radford et al., 2018）的不同，我們設計的BERT可以通過給沒有標簽的文字加入左邊和右邊的上下文，從而可以在所有的框架里進行文字預處理。結果表明，預處理REPT模型對于廣泛的任務，可以在只有一個附加的輸出框架時，創(chuàng)建優(yōu)秀的模型，比如問題回答和語言引用，而不需要大量的基于任務特殊的結構上的修改。

BERT在概念上雖然簡單，但是實踐起來卻非常強大。在11種自然語言處理任務下，它都有著更優(yōu)秀的表現(xiàn)，包括把GLUE的分數(shù)提高到80.5%（完全提高了7.7%），MultiNLI 精確度到達86.7%（完全提高了4.6%），SQuAD v1.1 問題回答測試F1達到93.2（完全提高了1.5）以及SQuAD v2.0 測試F1打到83.1（5.1 pint absolute improvement）。

從摘要里，我得到的信息是這個BERT可能是類似中間件的東西，在現(xiàn)有的自然語言處理模型里，我可以加入BERT并且能夠提升得到的結果。

下面是詢問了大哥

我：同上

6、Conclusion

結論

最近的經(jīng)驗方法由于基于語言模型的轉移學習已經(jīng)展示了，大量的未被監(jiān)督的預處理是許多語言處理系統(tǒng)的一個完整部分。尤其是這些結果甚至允許低資源的任務從深度單向結構中獲益。我們主要的貢獻是更進一步擴大了這些深度雙向結構的發(fā)現(xiàn)，允許相同的預處理模型來成功地處理NLP任務的廣泛集合。

通過以上的內(nèi)容，我可以發(fā)現(xiàn)我自己的翻譯水平是有待提高的。文字語言能力有待加強。

這篇論文看起來很不錯。

希望我第二次自己讀能夠有好的效果。