[快速帶你看] Breeze-7B: 透過 Mistral-7B Fine-Tune 出來的繁中開源模型

管理員

2024-01-13 | SimonLiu

I. Breeze 模型介紹

模型名稱

Breeze-7B 系列模型
此模型是由聯發科研發小組所 Fine-Tuning，並且開源出來的 LLM 模型。

模型開源狀況 / License

從 HuggingFace 資訊可以看到，Apache 2.0 License，是一個開源模型。

參數量

7B

模型種類

Breeze-7B 這次開源出來總共有三種模型：

  1. MediaTek-Research/Breeze-7B-Base-v0.1: 此模型是 Breeze-7B 的 Base Model。如果有需要針對特定的領域做調整，那可以嘗試使用此模型進行處理。
  2. MediaTek-Research/Breeze-7B-Instruct-v0.1: 此模型是從 Breeze-7B-Base-v0.1 去進行調整，讓模型適合用於常見任務，例如說問答系統就可以使用此模型進行介接和使用。
  3. MediaTek-Research/Breeze-7B-Instruct-64k-v0.1: 此模型是 Breeze-7B-Instruct-v0.1 的微調版本，可在大約 9 萬個中文字的 64k token 上進行使用。

模型表現

  • 根據官方的資料顯示，以 TMMLU+ 的測試結果進行比較，此模型能夠在繁體中文的評分上，比原始的 Mistral-7B-v0.1, Taiwan-LLM-7B/13B-chat, QWen-7B-Chat, and Yi-6B-Chat 有更好的表現。
  • 若跟 OpenAI GPT 模型相比，此模型目前在 TMMLU+ 與 GPT-3.5 模型同等分數，讓整體的預測能力能夠更接近 OpenAI 所提供的模型。
模型在 MMLU, TMMLU+ 資料集的表現狀況 (透過 ChatGPT 整理的表格)
  • 至於在推論模型的速度來說，推論時間越短表示模型處理輸入的速度越快，而最大輸入長度則顯示模型能夠處理的字符數量上限。這些指標對於評估模型的實用性和效能非常重要。在作者實測，於同一個環境下，Breeze-7B 速度又可以比其他模型還要來得更快，最大輸入長度又可以比較長，讓整體使用上的效果更好。
推論時間與輸入長度表格 (透過 ChatGPT 整理的表格)

詳細比較結果可見 HuggingFace 上的資訊：

MediaTek-Research/Breeze-7B-Instruct-64k-v0.1 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

相關模型網路資源

  • HuggingFace – Breeze-7B專案資訊：

MediaTek-Research (MediaTek Research)

Org profile for MediaTek Research on Hugging Face, the AI community building the future.

huggingface.co

II. 我的觀點

Mistral-7B 在後續的開源模型中，可以看到能夠越來越跟 OpenAI GPT 模型匹敵，甚至超越 GPT 3.5 模型，像是 Zephyr-7B、Notus-7B 模型都是有這樣的特性：

Liu Yu-Wei on LinkedIn: 當小模型越來越強，或許未來的小型裝置，都會佈滿許多的 LLM 模型！ Mistral 7B介紹：https://lnkd.in/gM76_KWu

當小模型越來越強，或許未來的小型裝置，都會佈滿許多的 LLM 模型！ Mistral 7B介紹：https://lnkd.in/gM76_KWu

當小模型越來越強，或許未來的小型裝置，都會佈滿許多的 LLM 模型！ Mistral 7B介紹：https://lnkd.in/gM76_KWuwww.linkedin.com

也因此，這些 Mistral-7B 的後續 Fine-Tune 模型上，若能夠持續降低耗費的運算資源，並且在預測表現持續更好的狀況下，部署在 Edge 端的硬體裝置的可能性就會越來越高，我想這也能夠幫助聯發科團隊在研究如何將 LLM 模型放到半導體晶片中有很好的效果。

至於若想將此類模型導入在一般專案上，因為 Breeze-7B 仍為小模型，在專案任務上，建議還是要定義簡單明瞭的專案目標，並且若在專案初期無法有足夠硬體資源下，要注意使用的資源是否能夠承受負擔，來幫助專案能夠實踐成功。

資料來源:https://blog.infuseai.io/quick-demo-3-breeze-7b-mediatek-intro-3e2f8e2f6da9

Related posts