LLM性能測試

硬體

CPU: Intel i5-12500
RAM: 64GB DDR4-3200 (雙通道)
GPU: NVIDIA RTX 3060 12GB
OS: Unraid 7.5

測試軟體:llama-benchy 0.3.7
指令
llama-benchy --base-url <api url> --model zerofata/G4-MeroMero-26B-A4B --depth 0 4096 8192 16384 --tg 128 --latency-mode generation --enable-prefix-caching
測試模型:G4-MeroMero-26B-A4B Q5_K_M量化版本(Gamma 4 26B A4B的微調版本)

測試標的

llamacpp b9014 cuda12 backend(官方提供的docker映像)

啟動參數
llama-server -m /models/model.gguf --port 8000 --host 0.0.0.0 -fit on -c 32768 --chat-template-file /models/g4-chat_template.jinja

測試結果

model test t/s peak t/s ttfr (ms) est_ppt (ms) e2e_ttft (ms)
zerofata/G4-MeroMero-26B-A4B pp2048 512.92 ± 26.80 4105.91 ± 202.11 4005.34 ± 202.11 4105.91 ± 202.11
zerofata/G4-MeroMero-26B-A4B tg128 31.04 ± 0.27 32.00 ± 0.00
zerofata/G4-MeroMero-26B-A4B ctx_pp @ d4096 468.40 ± 29.34 8880.41 ± 526.80 8779.84 ± 526.80 8880.41 ± 526.80
zerofata/G4-MeroMero-26B-A4B ctx_tg @ d4096 29.73 ± 0.10 31.00 ± 0.00
zerofata/G4-MeroMero-26B-A4B pp2048 @ d4096 466.13 ± 21.00 4503.40 ± 204.89 4402.83 ± 204.89 4503.40 ± 204.89
zerofata/G4-MeroMero-26B-A4B tg128 @ d4096 29.50 ± 0.04 30.00 ± 0.00
zerofata/G4-MeroMero-26B-A4B ctx_pp @ d8192 461.37 ± 16.77 17882.10 ± 663.02 17781.53 ± 663.02 17882.10 ± 663.02
zerofata/G4-MeroMero-26B-A4B ctx_tg @ d8192 29.79 ± 0.04 31.00 ± 0.00
zerofata/G4-MeroMero-26B-A4B pp2048 @ d8192 451.60 ± 13.77 4639.80 ± 140.88 4539.23 ± 140.88 4639.80 ± 140.88
zerofata/G4-MeroMero-26B-A4B tg128 @ d8192 28.83 ± 0.66 30.67 ± 0.47
zerofata/G4-MeroMero-26B-A4B ctx_pp @ d16384 473.32 ± 15.88 34756.61 ± 1166.07 34656.04 ± 1166.07 34756.61 ± 1166.07
zerofata/G4-MeroMero-26B-A4B ctx_tg @ d16384 28.18 ± 0.48 30.00 ± 0.00
zerofata/G4-MeroMero-26B-A4B pp2048 @ d16384 453.97 ± 5.18 4612.45 ± 51.82 4511.88 ± 51.82 4612.45 ± 51.82
zerofata/G4-MeroMero-26B-A4B tg128 @ d16384 29.21 ± 0.11 30.00 ± 0.00

測試結果分析(Gemini

這份針對 32k 上下文長度(Context Size) 的測試結果,展現了 Gemma 4 26B A4BRTX 3060 12GB 顯卡上極為驚人的長文本處理韌性。以下將數據整理為效能分析段落:

核心生成效能與穩定性

在將上下文長度擴展至 32,768 的環境下,模型展現了極強的生成速度(Token Generation)穩定性。從初始狀態的 31.04 t/s 到處理至 16k 深度時的 28.18 t/s,效能衰減率僅約 9.2%。這意味著即便在長篇對話或處理複雜劇本時,使用者幾乎感受不到「蹦字」速度的變化。這種在 26B 等級模型中罕見的高穩定性,側面證實了該模型架構(如 GQA 分組查詢注意力機制)與 llama.cpp 記憶體管理的高度優化,能將活躍參數與 KV Cache 完美控制在 12GB 的 VRAM 極限內。

提示詞處理與延遲趨勢

在處理輸入(Prompt Processing)方面,吞吐量穩定維持在 450 ~ 510 t/s 之間,展現了極佳的預處理效率。首字響應時間(TTFT)則隨著文本長度呈精確的線性增長:處理 4k 文本約需 8.8 秒,8k 需 17.8 秒,當長度達到 16k 時則需約 34.7 秒。雖然等待時間隨長度增加,但並沒有出現因顯存溢出或系統記憶體交換(Swap)導致的效能崩潰(Cliff edge),這對於需要頻繁貼入長文進行摘要或代碼分析的使用者來說,提供了非常可預測且穩定的使用體驗。

綜合效能評價

總結來看,這套配置在 16k context 範圍內達到了「效能與容量」的甜蜜平衡點。雖然系統設定上限為 32k,但在 16k 深度下依然能維持超過 28 t/s 的生成速度,完全能勝任中長篇文件閱讀、深度角色扮演(Roleplay)以及長代碼庫的維護任務。對於 RTX 3060 12GB 的使用者而言,這份數據證明了該硬體在適當的量化方案下,依然擁有越級挑戰大型長文本模型的實力。

Edit

Pub: 05 May 2026 08:30 UTC

Views: 81