大家好啊，B站的粉絲數(shù)增多了，我也不好意思再擺了。寫一篇帖子分享給大家。

大概一個月前，我和一位Amazon的DS/ML經(jīng)理來了一場3個半小時的1on1，啥都聊，主要討論了有關(guān)類GPT項目規(guī)劃、技術(shù)問題、業(yè)務(wù)落地等話題。其中，我們還深入探討了模型訓(xùn)練的問題，特別是如何降低模型訓(xùn)練的成本，以及如何將數(shù)據(jù)存入數(shù)據(jù)庫中。

我們都知道，數(shù)據(jù)是機器學(xué)習(xí)模型訓(xùn)練的基礎(chǔ)，而數(shù)據(jù)庫則是存儲和管理數(shù)據(jù)的重要工具。因此，在聊天中，我們也著重探討了如何將數(shù)據(jù)以合適的方式存儲到數(shù)據(jù)庫中。正好，我們談到了一些常用的數(shù)據(jù)庫存儲方式。比如，使用關(guān)系型數(shù)據(jù)庫（如MySQL等）來存儲和鏈接結(jié)構(gòu)化數(shù)據(jù)，例如元數(shù)據(jù)。同時，歸功于其事務(wù)處理和ACID的特性，DB也能保證數(shù)據(jù)的一致性和完整性。然后，還可以使用非關(guān)系型數(shù)據(jù)庫（如MongoDB、Cassandra等）來存儲半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，例如文本。以鍵值對、文檔、列族等形式存儲，來實現(xiàn)快速讀取和寫入大量數(shù)據(jù)。GraphQL等等，就不一一列出了。

在討論類GPT模型訓(xùn)練的成本問題時，我們提出了一些自己的解決方案。舉例來說，采用模型壓縮的方式來減少模型參數(shù)，從而減少模型訓(xùn)練的成本。其次我們還可以采用分布式訓(xùn)練的方式，將模型訓(xùn)練任務(wù)分配到多個計算節(jié)點上進(jìn)行，并行訓(xùn)練模型。最后，我們還可以使用GPU加速器來提高模型訓(xùn)練的速度和效率。（這個問題已經(jīng)被我解決完了，寫于一個月后）

事實上，選擇合適的數(shù)據(jù)庫存儲方式對于數(shù)據(jù)管理和機器學(xué)習(xí)模型訓(xùn)練都是非常重要的：正確的存儲方式可以提高數(shù)據(jù)的讀取和寫入效率，同時保證數(shù)據(jù)的完整性和一致性，從而提高機器學(xué)習(xí)模型的精度和效率；而在降低模型訓(xùn)練成本方面，采用模型壓縮、分布式訓(xùn)練和GPU加速等方式也是非常有效的。

然而，在業(yè)務(wù)中我們進(jìn)展并不順利。大家知道的，機器學(xué)習(xí)模型需要大量的訓(xùn)練數(shù)據(jù)來訓(xùn)練和優(yōu)化，因此，需要從業(yè)務(wù)和數(shù)據(jù)角度來考慮如何獲取和管理訓(xùn)練數(shù)據(jù)。另外還需要考慮如何將學(xué)習(xí)模型應(yīng)用到實際場景中，例如如何處理I don't know的場景，如何做道德訓(xùn)練等。

其實在和他對話的過程中，我和他側(cè)重點不同，歸因于他的身份，他對數(shù)據(jù)模型和數(shù)據(jù)訓(xùn)練特別敏感，也有特別優(yōu)秀的領(lǐng)域/業(yè)務(wù)見解。而我作為一名軟件工程師，我更加注重于工程的實踐和工程。比如，他善于從業(yè)務(wù)和技術(shù)邏輯來分析項目，喜歡從宏觀把控問題（雖然在面對GPT這樣的新技術(shù)時，因為反職業(yè)經(jīng)驗而犯錯）。而我善于從具體的技術(shù)細(xì)節(jié)來驗證項目的可行性。

盡管困難重重，但是我還是對我們的項目抱有信心。

#chatGPT#DS#ML#數(shù)據(jù)庫