今日頭條
官方微信
官方抖音
資訊頻道Mistral AI 最近推出了兩款新的 AI 模型，Ministral 3B 和 Ministral 8B。這些模型專(zhuān)為邊緣設備和本地計算設計，適合在智能手機、平板電腦和物聯(lián)網(wǎng)設備上使用，目標是實(shí)現低延遲和高效的 AI 推理。
1.設計與應用
這兩款模型被稱(chēng)為 "les Ministraux"，由于它們體積小，非常適合本地部署，可以滿(mǎn)足對隱私保護的需求。例如，用戶(hù)可以在設備上進(jìn)行翻譯，使用無(wú)需網(wǎng)絡(luò )的智能助手，或者進(jìn)行本地的數據分析。Ministral 3B 和 8B 都支持長(cháng)達 128,000 個(gè) token 的上下文長(cháng)度，其中 Ministral 8B 還加入了特殊的滑動(dòng)窗口注意力機制，進(jìn)一步提升了速度和內存效率。
2.模型特點(diǎn)
高效的邊緣計算：Ministral 3B 和 8B 針對低功耗和高效率進(jìn)行了優(yōu)化，特別適合在邊緣設備上進(jìn)行推理，如智能手機和物聯(lián)網(wǎng)設備。
功能調用能力：這兩款模型都具備強大的功能調用能力，能夠在多步驟任務(wù)中充當代理，幫助管理任務(wù)分配和處理輸入，從而降低整體計算成本。
Ministral 8B 的增強功能：Ministral 8B 具備“交錯滑動(dòng)窗口注意力機制”，顯著(zhù)提升了推理速度和內存利用效率，使其在處理大量上下文任務(wù)時(shí)更加高效。
可調量化支持：模型支持無(wú)損量化，可以根據具體使用場(chǎng)景進(jìn)行優(yōu)化，以確保在性能和效率之間實(shí)現平衡。
3.模型性能
在多任務(wù)語(yǔ)言理解評估中，Ministral 3B 和 8B 的表現超過(guò)了其他同類(lèi)模型，如 Google 的 Gemma 2 和 Meta 的 Llama 3.2。它們的發(fā)布為那些需要本地推理和高效計算的用戶(hù)提供了新的選擇，尤其適合在移動(dòng)和邊緣設備上的應用場(chǎng)景。
來(lái)源：AI數智圈
北京市公安局海淀分局備案號：11010802023656號