UL Procyon AI Image Generation Benchmark 提供 Stable Diffusion XL (FP16) 與 Stable Diffusion 1.5 (FP16) 的兩種測試情境,並支援 ONNX runtime with DirectML、NVIDIA TensorRT 與 Intel OpenVINO 的推論引擎。
目前版本的 Stable Diffusion 還不支援使用新版的 TensorRT 引擎,因此先使用 ONNX 模式進行測試。
可以看到 RTX 5090 的圖形生成能力差不多是 RTX 5080 的 1.7 倍,兩項測試的速度都有將近一倍的優勢。
▲ UL Procyon AI Image Generation Benchmark
UL Procyon AI Text Generation Benchmark 提供 ONNX 模型包含 Phi-3.5-mini、Llama-3.1-8B、Mistral-7B 與 Llama-2-13B 測試,每個模型測試 7 個 Prompts 包含 RAG 與非 RAG 的查詢,通過權重後的總分與平均 Time To First Token(TTFT)、平均 Output Token Speed(OTS)提供專業用戶橫量電腦的 AI LLM 推論效能。
RTX 5090 在四項測試中的成績差不多是 RTX 5080 的 1.3 倍,如果是有機械學習方面需求的使用者,直接封頂那將是最理想的選擇。
▲ UL Procyon AI Text Generation Benchmark