【ITBEAR】近期，阿里通義千問(wèn)在其官方平臺(tái)上發(fā)布了一項(xiàng)重大更新，正式推出了Qwen2.5-Turbo開(kāi)源AI模型。這一新模型在歷經(jīng)數(shù)月的精心優(yōu)化后，終于面向廣大社區(qū)用戶亮相。
Qwen2.5-Turbo的最大亮點(diǎn)在于其顯著提升了上下文長(zhǎng)度的處理能力。相較于之前的版本，該模型將上下文長(zhǎng)度從12.8萬(wàn)個(gè)tokens大幅擴(kuò)展至100萬(wàn)個(gè)tokens，這一改進(jìn)意味著它能夠處理約100萬(wàn)英語(yǔ)單詞或150萬(wàn)漢字的文本內(nèi)容，足以容納10部完整的小說(shuō)、150小時(shí)的演講稿，或是30000行代碼。
在自然語(yǔ)言處理（NLP）領(lǐng)域，大型語(yǔ)言模型（LLM）的上下文長(zhǎng)度是一個(gè)至關(guān)重要的指標(biāo)。它決定了模型在一次處理過(guò)程中能夠考慮和生成的文本的最大長(zhǎng)度。Qwen2.5-Turbo在這一方面的突破，無(wú)疑為其在處理長(zhǎng)文本任務(wù)時(shí)提供了更大的優(yōu)勢(shì)和靈活性。
在性能表現(xiàn)上，Qwen2.5-Turbo同樣不負(fù)眾望。在1M-token的Passkey檢索任務(wù)中，該模型實(shí)現(xiàn)了100%的準(zhǔn)確率，而在RULER長(zhǎng)文本評(píng)估中，其得分也高達(dá)93.1，成功超越了GPT-4和GLM4-9B-1M等業(yè)界知名模型。
為了進(jìn)一步提升處理效率，Qwen2.5-Turbo還整合了稀疏注意力機(jī)制（sparse attention mechanisms）。這一機(jī)制使得模型在處理100萬(wàn)tokens文本時(shí)，從輸入到輸出第一個(gè)token的時(shí)間從4.9分鐘縮短至68秒，速度提升了4.3倍。這一顯著的效率提升，使得Qwen2.5-Turbo在處理長(zhǎng)文本時(shí)更加迅速和高效。
除了性能上的提升，Qwen2.5-Turbo在經(jīng)濟(jì)性方面也表現(xiàn)出色。其處理成本保持在每百萬(wàn)個(gè)tokens 0.3元的水平，能夠處理3.6倍于GPT-4o-mini的token數(shù)量。這一優(yōu)勢(shì)使得Qwen2.5-Turbo在長(zhǎng)上下文處理解決方案中更具競(jìng)爭(zhēng)力，成為用戶們的高效、經(jīng)濟(jì)之選。
然而，盡管Qwen2.5-Turbo在多個(gè)基準(zhǔn)測(cè)試中取得了優(yōu)異的成績(jī)，其團(tuán)隊(duì)仍然保持著清醒的頭腦。他們意識(shí)到，在真實(shí)場(chǎng)景中的長(zhǎng)序列任務(wù)表現(xiàn)可能還存在不夠穩(wěn)定的問(wèn)題，同時(shí)大型模型的推理成本也還有進(jìn)一步優(yōu)化的空間。
對(duì)此，Qwen2.5-Turbo的團(tuán)隊(duì)承諾將繼續(xù)努力，不斷優(yōu)化模型的人類偏好、提高推理效率，并探索更強(qiáng)大的長(zhǎng)上下文模型，以滿足用戶們?nèi)找嬖鲩L(zhǎng)的需求和期待。
