2G顯存可用，阿里Qwen-1.8B整合包
2G顯存可用，阿里Qwen-1.8B整合包
通義千問-1.8B（Qwen-1.8B）是阿里云研發(fā)的通義千問大模型系列的18億參數(shù)規(guī)模的模型。Qwen-1.8B是基于Transformer的大語言模型, 在超大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)上進行訓(xùn)練得到。預(yù)訓(xùn)練數(shù)據(jù)類型多樣，覆蓋廣泛，包括大量網(wǎng)絡(luò)文本、專業(yè)書籍、代碼等。
通義千問-1.8B（Qwen-1.8B）主要有以下特點：
低成本部署：提供int8和int4量化版本，推理最低僅需不到2GB顯存，生成2048 tokens僅需3GB顯存占用。微調(diào)最低僅需6GB。
大規(guī)模高質(zhì)量訓(xùn)練語料：使用超過2.2萬億tokens的數(shù)據(jù)進行預(yù)訓(xùn)練，包含高質(zhì)量中、英、多語言、代碼、數(shù)學(xué)等數(shù)據(jù)，涵蓋通用及專業(yè)領(lǐng)域的訓(xùn)練語料。通過大量對比實驗對預(yù)訓(xùn)練語料分布進行了優(yōu)化。
優(yōu)秀的性能：Qwen-1.8B支持8192上下文長度，在多個中英文下游評測任務(wù)上（涵蓋常識推理、代碼、數(shù)學(xué)、翻譯等），效果顯著超越現(xiàn)有的相近規(guī)模開源模型，具體評測結(jié)果請詳見下文。
覆蓋更全面的詞表：相比目前以中英詞表為主的開源模型，Qwen-1.8B使用了約15萬大小的詞表。該詞表對多語言更加友好，方便用戶在不擴展詞表的情況下對部分語種進行能力增強和擴展。
學(xué)術(shù)Fun將上述工具制作成一鍵啟動包，點擊即可使用，避免大家配置Python環(huán)境出現(xiàn)各種問題，下載地址：?https://xueshu.fun/3410/，在此頁面右側(cè)區(qū)域點擊下載！
注意電腦配置如下：
windows 10/11
2G顯存以上英偉達顯卡
下載使用教程
下載壓縮包 下載地址：?https://xueshu.fun/3410/，
在此頁面右側(cè)區(qū)域點擊下載！解壓，最好不要有中文路徑，解壓后，如下圖所示，雙擊
啟動.exe文件運行
瀏覽器訪問http://127.0.0.1:7860/，即可在瀏覽器使用
Qwen-1.8B除了顯存需求低之外，還支持“系統(tǒng)指令跟隨” 功能。通過調(diào)整系統(tǒng)指令，可以實現(xiàn)角色扮演，語言風(fēng)格遷移，任務(wù)設(shè)定，和行為設(shè)定等能力，如下圖所示可以讓它扮演一個Python專家。
