ONNX搭配Phi-3-vision模型進行圖像理解-GPU版

管理員

2024-06-30 | RiCo 技術農場

先前使用CPU版進行圖像理解，分析理解過程中，CPU幾乎100%且回應也沒很順暢，這篇來試看看GPU版本，效能和使用者體驗可說輾壓CPU，也順便記錄Windows11設定CUDA環境的雷。

ONNX Runtime generate目前還是RC，我依Run with NVIDIA CUDA進行CUDA環境設定始終有問題，我也去github讚聲相關issue(後面我解決也更新我的留言)，爬issue後整理如下

  1. 請安裝CUDA-11.8版本
  2. 下載cudnn-8.9.7.29_cuda11版本，將裡面資料夾和檔案，複製並取代CUDA/v11.8相同的目錄
  3. 確認CUDA_PATH環境變數

4.確認Nvidia Cuda compiler版本

nvcc — version

5.專案只參考Microsoft.ML.OnnxRuntimeGenAI.Cuda(GPU) package

6.選擇GPU版本模型

P.S:

miss dll或找不到指定模組錯誤:請確認CUDA_PATH環境變數是否設定正確，cuda compiler版本是否正確，設定正確後，VS2022 需重新啟動。

CUDA provider is not enable錯誤:移除Microsoft.ML.OnnxRuntimeGenAI(CPU) package

測試結果:

GPU的使用者體驗和效能真的比CPU好太多了，我終於知道Cuda為什麼讓NVIDIA如此驕傲了。

Demo:

資料來源:https://medium.com/ricos-note/onnx%E6%90%AD%E9%85%8Dphi-3-vision%E6%A8%A1%E5%9E%8B%E9%80%B2%E8%A1%8C%E5%9C%96%E5%83%8F%E7%90%86%E8%A7%A3-gpu%E7%89%88-161ea66776e7

Related posts