【ITBEAR科技資訊】6月9日消息，亞馬遜云科技近日宣布，阿布扎比技術(shù)創(chuàng)新研究所(TII)開源的大型語言模型Falcon 40B和Falcon 7B已于6月7日起在其機器學(xué)習(xí)中心Amazon SageMaker JumpStart中可使用。
Amazon SageMaker JumpStart是一個提供預(yù)訓(xùn)練模型、內(nèi)置算法和解決方案模板的平臺，旨在幫助用戶快速進行機器學(xué)習(xí)，實現(xiàn)文章總結(jié)、圖片生成等任務(wù)。
據(jù)ITBEAR科技資訊了解，用戶只需在SageMaker Studio中簡單操作，即可輕松部署和使用Falcon模型，或者通過SageMaker Python SDK進行編程方式的應(yīng)用。
此次發(fā)布意味著，不論是何行業(yè)、何規(guī)模的企業(yè)或開發(fā)者，都可以快速、輕松地部署Falcon 40B模型，并進行個性化定制以滿足特定需求，如翻譯、問答、信息總結(jié)、圖像識別等應(yīng)用程序。對于生成式AI行業(yè)的發(fā)展來說，這無疑具有重要意義。
Falcon 40B是阿聯(lián)酋的首個大型人工智能模型，由阿布扎比技術(shù)創(chuàng)新研究所(TII)開發(fā)并推出。該模型擁有400億參數(shù)，在高質(zhì)量token上進行了1萬億次的訓(xùn)練，性能超越了扎克伯格旗下的650億參數(shù)LLaMA模型以及其他知名開源模型，成為Hugging Face開源大語言模型全球榜的領(lǐng)軍者。
Falcon 40B不僅在性能上表現(xiàn)出色，而且在訓(xùn)練資源的利用效率上也非常高。相較于GPT-3模型，F(xiàn)alcon 40B只使用了75%的訓(xùn)練預(yù)算，卻能顯著超越GPT-3的性能。此外，在推理階段的計算量僅需GPT-3的1/5。
值得一提的是，F(xiàn)alcon 40B采用開源Apache 2.0許可證，廣泛允許免費使用(商業(yè)化開源收入超過100萬美元時，需繳納10%的授權(quán)費用)，為廣大AI應(yīng)用開發(fā)者提供了便利。開發(fā)者可在任何地方下載、檢查和部署模型權(quán)重，構(gòu)建滿足用戶需求的定制化AI工具。
根據(jù)了解，TII利用亞馬遜云科技的SageMaker進行Falcon大語言模型的訓(xùn)練工作。SageMaker是一個托管API集合，為開發(fā)、訓(xùn)練、優(yōu)化和托管機器學(xué)習(xí)模型提供支持，包括大型語言模型。TII使用SageMaker Training API提供的瞬態(tài)集群來訓(xùn)練Falcon大語言模型，最多支持48個ml.p4d.24xlarge實例(384個英偉達A100 GPU)。
目前，TII正在訓(xùn)練下一代Falcon大語言模型，并計劃將訓(xùn)練擴展到3136個A100 GPU(392個ml.p4d實例)。
除了Falcon，其他知名大型語言模型如Stability AI、AI21 Labs和LG AI也使用了亞馬遜云科技的SageMaker來處理其大語言模型工作負載。
通過Amazon SageMaker JumpStart，開發(fā)者現(xiàn)在可以快速輕松地部署自己的Falcon 40B模型，并進行個性化定制，加速生成式AI應(yīng)用產(chǎn)品的落地。
總而言之，亞馬遜云科技推出的Amazon SageMaker JumpStart為開發(fā)者提供了便利，使各行業(yè)客戶都能夠快速應(yīng)用Falcon 40B模型，并根據(jù)自身需求進行定制化開發(fā)。隨著各種大型語言模型的不斷涌現(xiàn)，生成式AI的發(fā)展前景將更加廣闊。
