UL Procyon AI Image Generation Benchmark 提供 Stable Diffusion XL (FP16) 與 Stable Diffusion 1.5 (FP16) 的兩種測試情境,並支援 ONNX runtime with DirectML、NVIDIA TensorRT 與 Intel OpenVINO 的推論引擎。
目前版本的 Stable Diffusion 還不支援使用新版的 TensorRT 引擎,因此先使用 ONNX 模式進行測試。
▲ UL Procyon AI Image Generation Benchmark
UL Procyon AI Text Generation Benchmark 提供 ONNX 模型包含 Phi-3.5-mini、Llama-3.1-8B、Mistral-7B 與 Llama-2-13B 測試,每個模型測試 7 個 Prompts 包含 RAG 與非 RAG 的查詢,通過權重後的總分與平均 Time To First Token(TTFT)、平均 Output Token Speed(OTS)提供專業用戶橫量電腦的 AI LLM 推論效能。
▲ UL Procyon AI Text Generation Benchmark