↑ UL Procyon AI Image Generation Benchmark Stable Diffusion XL (FP16)。
↑ UL Procyon AI Image Generation Benchmark Stable Diffusion (FP16)。
UL Procyon AI Text Generation Benchmark 提供 ONNX 模型包含 Phi-3.5-mini、Llama-3.1-8B、Mistral-7B 與 Llama-2-13B 測試,每個模型測試 7 個 Prompts 包含 RAG 與非 RAG 的查詢,通過權重後的總分與平均 Time To First Token(TTFT)、平均 Output Token Speed(OTS)提供專業用戶橫量電腦的 AI LLM 推論效能。