癥狀與修復(fù)清單)
llama.cpp MUSA 后端編譯告警三類(lèi)癥狀與修復(fù)清單【免費(fèi)下載鏈接】llama.cppLLM inference in C/C項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp在 llama.cpp 中開(kāi)啟 MUSA 后端后最常見(jiàn)的構(gòu)建問(wèn)題集中在三處工具鏈探測(cè)失敗、mudnn 庫(kù)的數(shù)據(jù)類(lèi)型限制、mudnn 靜態(tài)庫(kù)缺失。這三處癥狀的報(bào)錯(cuò)形態(tài)差異很大混在一起排查容易走偏先對(duì)號(hào)入座再動(dòng)手能省掉大量試錯(cuò)時(shí)間。癥狀自檢表按你實(shí)際看到的第一條報(bào)錯(cuò)從上往下對(duì)癥狀觸發(fā)條件報(bào)錯(cuò)形態(tài)嚴(yán)重度A. Toolkit 找不到MUSA_PATH未設(shè)置且默認(rèn)目錄不存在配置階段直接FATAL_ERROR: MUSA Toolkit not found阻斷B. 數(shù)據(jù)類(lèi)型不受支持開(kāi)啟GGML_MUSA_MUDNN_COPY且張量非 F32/F16運(yùn)行期NOT_SUPPORTED檢查失敗或編譯期符號(hào)告警功能受限C. mudnn 靜態(tài)鏈接缺失GGML_STATICON且開(kāi)啟GGML_MUSA_MUDNN_COPY鏈接期找不到mudnn_static阻斷僅靜態(tài)構(gòu)建三個(gè)問(wèn)題的根因都不在業(yè)務(wù)代碼里而在ggml/src/ggml-musa的構(gòu)建配置與庫(kù)能力邊界上下面逐個(gè)拆開(kāi)。AToolkit 找不到——CMake 探測(cè)邏輯與 MUSA_PATH 配置先說(shuō)判斷這是純環(huán)境問(wèn)題不是代碼問(wèn)題。ggml/src/ggml-musa/CMakeLists.txt 開(kāi)頭的探測(cè)順序是MUSA_PATH環(huán)境變量存在就用它否則按/opt/musa優(yōu)先、/usr/local/musa兜底拿到路徑后依次做三件事——把${MUSA_PATH}/bin/clang設(shè)為編譯器、把${MUSA_PATH}/cmake追加進(jìn)CMAKE_MODULE_PATH、執(zhí)行find_package(MUSAToolkit)。任何一環(huán)落空else()分支直接拋出FATAL_ERROR構(gòu)建在 configure 階段就終止。所以動(dòng)作很簡(jiǎn)單分三步# 1. 確認(rèn)環(huán)境變量指向真實(shí)安裝目錄 echo $MUSA_PATH # 2. 驗(yàn)證編譯器實(shí)際可用 ${MUSA_PATH}/bin/clang --version # 3. 重新進(jìn)入干凈構(gòu)建目錄配置舊的 CMakeCache 里殘留的路徑不會(huì)自動(dòng)更新 cmake -B build -DGGML_MUSAON如果機(jī)器上根本沒(méi)有 MUSA Toolkit官方 CI 用的容器是mthreads/musa:rc4.3.0-devel-ubuntu22.04-amd64見(jiàn) ci/README-MUSA.md用容器跑可以繞開(kāi)本機(jī)環(huán)境差異。另外注意CMAKE_CXX_EXTENSIONS OFF和-x musa這類(lèi)編譯標(biāo)志都在同一段里寫(xiě)死換 Toolkit 大版本后如果.cu編譯報(bào)語(yǔ)法錯(cuò)誤優(yōu)先懷疑 arch 列表默認(rèn)MUSA_ARCHITECTURES是21;22;31按你的卡實(shí)際支持的值覆蓋-DMUSA_ARCHITECTURES...。Bmudnn 類(lèi)型邊界——只有 F32 和 F16 能過(guò)判斷這不是 bug是當(dāng)前代碼明確的能力邊界ggml/src/ggml-musa/mudnn.cu 里的類(lèi)型映射函數(shù)只寫(xiě)死了兩個(gè)分支case GGML_TYPE_F32: return mudnn::Tensor::Type::FLOAT; case GGML_TYPE_F16: return mudnn::Tensor::Type::HALF; // TODO: Add support for other types default: MUDNN_CHECK(mudnn::Status::NOT_SUPPORTED);也就是說(shuō)只要張量走的是 F32/F16mudnn 加速路徑GGML_MUSA_MUDNN_COPY就沒(méi)問(wèn)題其他量化類(lèi)型一旦進(jìn)入這條路徑會(huì)被NOT_SUPPORTED檢查攔下。源碼里的 TODO 注釋標(biāo)明了后續(xù)要補(bǔ)的類(lèi)型支持但在那之前正確的用法是默認(rèn)保持-DGGML_MUSA_MUDNN_COPYOFFCMake 選項(xiàng)默認(rèn)就是 OFF需要加速拷貝時(shí)再單獨(dú)打開(kāi)并且只用浮點(diǎn)張量驗(yàn)證。不要試圖在 CMake 里繞過(guò)這個(gè)檢查MUDNN_CHECK是運(yùn)行期斷言繞過(guò)等于吞錯(cuò)。C靜態(tài)鏈接——mudnn 至今沒(méi)有靜態(tài)庫(kù)判斷如果你同時(shí)開(kāi)了GGML_STATICON和GGML_MUSA_MUDNN_COPYON鏈接階段會(huì)缺mudnn_static。根因?qū)懺?CMakeLists 的注釋里if (GGML_STATIC) target_link_libraries(ggml-musa PRIVATE MUSA::musart_static MUSA::mublas_static) # TODO: mudnn has not provided static libraries yet # if (GGML_MUSA_MUDNN_COPY) # target_link_libraries(ggml-musa PRIVATE mudnn_static) # endif()musart 和 mublas 都有靜態(tài)版本可以鏈唯獨(dú) mudnn 的靜態(tài)目標(biāo)被注釋掉了上游還沒(méi)提供。動(dòng)作需要靜態(tài)構(gòu)建 MUSA 后端時(shí)把GGML_MUSA_MUDNN_COPY關(guān)掉即可ggml-musa仍能以musart_static mublas_static完成靜態(tài)鏈接必須用 mudnn 加速拷貝的場(chǎng)景則走動(dòng)態(tài)鏈接默認(rèn)。回歸驗(yàn)證清理、重編、跑一條最小推理排查完以上任一項(xiàng)后用同樣流程回歸避免舊緩存掩蓋修復(fù)效果# 詳細(xì)日志構(gòu)建定位剩余告警的具體來(lái)源 make -C build VERBOSE1 # 或清理后全量重編 cmake -B build -DGGML_MUSAON cmake --build build -j$(nproc)重點(diǎn)核對(duì)兩件事configure 階段是否打印出MUSA Toolkit found和實(shí)際使用的Using MUSA architectures: ...GGML_BACKEND_DL與靜態(tài)開(kāi)關(guān)的組合是否還匹配。編譯通過(guò)后跑一次最小推理例如加載一個(gè)小模型做幾輪生成確認(rèn)ggml-musa后端真正被加載而不只是鏈接成功。收尾檢查清單MUSA_PATH能echo出來(lái)、${MUSA_PATH}/bin/clang --version有輸出且 CMake configure 打印了MUSA Toolkit found除非只用 F32/F16 張量否則不要開(kāi)-DGGML_MUSA_MUDNN_COPYONGGML_STATICON時(shí)確認(rèn) mudnn 加速拷貝處于關(guān)閉狀態(tài)避免鏈接期缺mudnn_static【免費(fèi)下載鏈接】llama.cppLLM inference in C/C項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 llama.cpp MUSA 后端編譯告警：三類(lèi)癥狀與修復(fù)清單
llama.cpp MUSA 后端編譯告警三類(lèi)癥狀與修復(fù)清單【免費(fèi)下載鏈接】llama.cppLLM inference in C/C項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp在 llama.cpp 中開(kāi)啟 MUSA 后端后最常見(jiàn)的構(gòu)建問(wèn)題集中在三處工具鏈探測(cè)失敗、mudnn 庫(kù)的數(shù)據(jù)類(lèi)型限制、mudnn 靜態(tài)庫(kù)缺失。這三處癥狀的報(bào)錯(cuò)形態(tài)差異很大混在一起排查容易走偏先對(duì)號(hào)入座再動(dòng)手能省掉大量試錯(cuò)時(shí)間。癥狀自檢表按你實(shí)際看到的第一條報(bào)錯(cuò)從上往下對(duì)癥狀觸發(fā)條件報(bào)錯(cuò)形態(tài)嚴(yán)重度A. Toolkit 找不到MUSA_PATH未設(shè)置且默認(rèn)目錄不存在配置階段直接FATAL_ERROR: MUSA Toolkit not found阻斷B. 數(shù)據(jù)類(lèi)型不受支持開(kāi)啟GGML_MUSA_MUDNN_COPY且張量非 F32/F16運(yùn)行期NOT_SUPPORTED檢查失敗或編譯期符號(hào)告警功能受限C. mudnn 靜態(tài)鏈接缺失GGML_STATICON且開(kāi)啟GGML_MUSA_MUDNN_COPY鏈接期找不到mudnn_static阻斷僅靜態(tài)構(gòu)建三個(gè)問(wèn)題的根因都不在業(yè)務(wù)代碼里而在ggml/src/ggml-musa的構(gòu)建配置與庫(kù)能力邊界上下面逐個(gè)拆開(kāi)。AToolkit 找不到——CMake 探測(cè)邏輯與 MUSA_PATH 配置先說(shuō)判斷這是純環(huán)境問(wèn)題不是代碼問(wèn)題。ggml/src/ggml-musa/CMakeLists.txt 開(kāi)頭的探測(cè)順序是MUSA_PATH環(huán)境變量存在就用它否則按/opt/musa優(yōu)先、/usr/local/musa兜底拿到路徑后依次做三件事——把${MUSA_PATH}/bin/clang設(shè)為編譯器、把${MUSA_PATH}/cmake追加進(jìn)CMAKE_MODULE_PATH、執(zhí)行find_package(MUSAToolkit)。任何一環(huán)落空else()分支直接拋出FATAL_ERROR構(gòu)建在 configure 階段就終止。所以動(dòng)作很簡(jiǎn)單分三步# 1. 確認(rèn)環(huán)境變量指向真實(shí)安裝目錄 echo $MUSA_PATH # 2. 驗(yàn)證編譯器實(shí)際可用 ${MUSA_PATH}/bin/clang --version # 3. 重新進(jìn)入干凈構(gòu)建目錄配置舊的 CMakeCache 里殘留的路徑不會(huì)自動(dòng)更新 cmake -B build -DGGML_MUSAON如果機(jī)器上根本沒(méi)有 MUSA Toolkit官方 CI 用的容器是mthreads/musa:rc4.3.0-devel-ubuntu22.04-amd64見(jiàn) ci/README-MUSA.md用容器跑可以繞開(kāi)本機(jī)環(huán)境差異。另外注意CMAKE_CXX_EXTENSIONS OFF和-x musa這類(lèi)編譯標(biāo)志都在同一段里寫(xiě)死換 Toolkit 大版本后如果.cu編譯報(bào)語(yǔ)法錯(cuò)誤優(yōu)先懷疑 arch 列表默認(rèn)MUSA_ARCHITECTURES是21;22;31按你的卡實(shí)際支持的值覆蓋-DMUSA_ARCHITECTURES...。Bmudnn 類(lèi)型邊界——只有 F32 和 F16 能過(guò)判斷這不是 bug是當(dāng)前代碼明確的能力邊界ggml/src/ggml-musa/mudnn.cu 里的類(lèi)型映射函數(shù)只寫(xiě)死了兩個(gè)分支case GGML_TYPE_F32: return mudnn::Tensor::Type::FLOAT; case GGML_TYPE_F16: return mudnn::Tensor::Type::HALF; // TODO: Add support for other types default: MUDNN_CHECK(mudnn::Status::NOT_SUPPORTED);也就是說(shuō)只要張量走的是 F32/F16mudnn 加速路徑GGML_MUSA_MUDNN_COPY就沒(méi)問(wèn)題其他量化類(lèi)型一旦進(jìn)入這條路徑會(huì)被NOT_SUPPORTED檢查攔下。源碼里的 TODO 注釋標(biāo)明了后續(xù)要補(bǔ)的類(lèi)型支持但在那之前正確的用法是默認(rèn)保持-DGGML_MUSA_MUDNN_COPYOFFCMake 選項(xiàng)默認(rèn)就是 OFF需要加速拷貝時(shí)再單獨(dú)打開(kāi)并且只用浮點(diǎn)張量驗(yàn)證。不要試圖在 CMake 里繞過(guò)這個(gè)檢查MUDNN_CHECK是運(yùn)行期斷言繞過(guò)等于吞錯(cuò)。C靜態(tài)鏈接——mudnn 至今沒(méi)有靜態(tài)庫(kù)判斷如果你同時(shí)開(kāi)了GGML_STATICON和GGML_MUSA_MUDNN_COPYON鏈接階段會(huì)缺mudnn_static。根因?qū)懺?CMakeLists 的注釋里if (GGML_STATIC) target_link_libraries(ggml-musa PRIVATE MUSA::musart_static MUSA::mublas_static) # TODO: mudnn has not provided static libraries yet # if (GGML_MUSA_MUDNN_COPY) # target_link_libraries(ggml-musa PRIVATE mudnn_static) # endif()musart 和 mublas 都有靜態(tài)版本可以鏈唯獨(dú) mudnn 的靜態(tài)目標(biāo)被注釋掉了上游還沒(méi)提供。動(dòng)作需要靜態(tài)構(gòu)建 MUSA 后端時(shí)把GGML_MUSA_MUDNN_COPY關(guān)掉即可ggml-musa仍能以musart_static mublas_static完成靜態(tài)鏈接必須用 mudnn 加速拷貝的場(chǎng)景則走動(dòng)態(tài)鏈接默認(rèn)。回歸驗(yàn)證清理、重編、跑一條最小推理排查完以上任一項(xiàng)后用同樣流程回歸避免舊緩存掩蓋修復(fù)效果# 詳細(xì)日志構(gòu)建定位剩余告警的具體來(lái)源 make -C build VERBOSE1 # 或清理后全量重編 cmake -B build -DGGML_MUSAON cmake --build build -j$(nproc)重點(diǎn)核對(duì)兩件事configure 階段是否打印出MUSA Toolkit found和實(shí)際使用的Using MUSA architectures: ...GGML_BACKEND_DL與靜態(tài)開(kāi)關(guān)的組合是否還匹配。編譯通過(guò)后跑一次最小推理例如加載一個(gè)小模型做幾輪生成確認(rèn)ggml-musa后端真正被加載而不只是鏈接成功。收尾檢查清單MUSA_PATH能echo出來(lái)、${MUSA_PATH}/bin/clang --version有輸出且 CMake configure 打印了MUSA Toolkit found除非只用 F32/F16 張量否則不要開(kāi)-DGGML_MUSA_MUDNN_COPYONGGML_STATICON時(shí)確認(rèn) mudnn 加速拷貝處于關(guān)閉狀態(tài)避免鏈接期缺mudnn_static【免費(fèi)下載鏈接】llama.cppLLM inference in C/C項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考