"上下文窗口長(zhǎng)度是大模型的核心技術(shù)之一。"

本文為IPO早知道原創(chuàng)

作者｜Stone Jin

據(jù)IPO早知道消息，百川智能于10月30日發(fā)布了Baichuan2-192K大模型。其上下文窗口長(zhǎng)度高達(dá)192K，是目前全球最長(zhǎng)的上下文窗口。

值得一提的是，Baichuan2-192K能夠處理約35萬(wàn)個(gè)漢字，是目前支持長(zhǎng)上下文窗口最優(yōu)秀大模型Claude2（支持100K上下文窗口，實(shí)測(cè)約8萬(wàn)字）的 4.4倍，更是 GPT-4（支持32K上下文窗口，實(shí)測(cè)約 2.5萬(wàn)字）的14倍。Baichuan2-192K不僅在上下文窗口長(zhǎng)度上超越Claude2，在長(zhǎng)窗口文本生成質(zhì)量、長(zhǎng)上下文理解以及長(zhǎng)文本問(wèn)答、摘要等方面的表現(xiàn)也全面領(lǐng)先Claude2。

這里不妨補(bǔ)充一點(diǎn)，上下文窗口長(zhǎng)度是大模型的核心技術(shù)之一，通過(guò)更大的上下文窗口，模型能夠結(jié)合更多上下文內(nèi)容獲得更豐富的語(yǔ)義信息，更好的捕捉上下文的相關(guān)性、消除歧義，進(jìn)而更加準(zhǔn)確、流暢的生成內(nèi)容，提升模型能力。

擴(kuò)大上下文窗口能有效提升大模型性能是人工智能行業(yè)的共識(shí)，但是超長(zhǎng)上下文窗口意味著更高的算力需求和更大的顯存壓力。目前，業(yè)內(nèi)有很多提升上下文窗口長(zhǎng)度的方式，包括滑動(dòng)窗口、降采樣、小模型等。這些方式雖然能提升上下文窗口長(zhǎng)度，但對(duì)模型性能均有不同程度的損害，換言之都是通過(guò)犧牲模型其他方面的性能來(lái)?yè)Q取更長(zhǎng)的上下文窗口。

而本次百川發(fā)布的Baichuan2-192K通過(guò)算法和工程的極致優(yōu)化，實(shí)現(xiàn)了窗口長(zhǎng)度和模型性能之間的平衡，做到了窗口長(zhǎng)度和模型性能的同步提升。

更進(jìn)一步來(lái)講，Baichuan2-192K的發(fā)布不僅是大模型技術(shù)層面的突破，對(duì)于學(xué)術(shù)領(lǐng)域同樣有著重要意義——Baichuan2-192K驗(yàn)證了長(zhǎng)上下文窗口的可行性，為大模型性能提升開拓出了新的科研路徑。

今年9月25日，百川智能已開放了Baichuan2的API接口，正式進(jìn)軍企業(yè)級(jí)市場(chǎng)，開啟商業(yè)化進(jìn)程。此次Baichuan2-192K將以API調(diào)用和私有化部署的方式提供給企業(yè)用戶，目前百川智能已經(jīng)啟動(dòng)Baichuan2-192K的API內(nèi)測(cè)，開放給法律、媒體、金融等行業(yè)的核心合作伙伴。

全面開放API之后，Baichuan2-192K便能夠與更多的垂直場(chǎng)景深度結(jié)合，真正在人們的工作、生活、學(xué)習(xí)中發(fā)揮作用，助力行業(yè)用戶更好的降本增效。