LLM Runtime & Serving Atlas

LLM Runtime & Serving Atlas LLM çalıştırma ortamlarını ve sunma motorlarını yedi mimari katmanda sınıflandıran, etkileşimli öğrenme katmanına sahip kaynaklı alan rehberi. Bu sayfa JavaScript olmadan okunabilen bir özettir; etkileşimli atlas, arama, karşılaştırma ve dersler JavaScript gerektirir. Atlasın kapsadığı yedi mimari katman:

Çıkarım Motorları ve Çalışma Zamanları

Model Sunucuları ve Servis Çerçeveleri

Yerel Model Çalıştırıcıları ve Yöneticileri

Masaüstü ve Web LLM Çalışma Alanları

Dağıtık Çıkarım Platformları

LLM Ağ Geçitleri ve Yönlendiriciler

Uç ve Cihaz Üzeri Çalışma Zamanları

Source-backed field guide to LLM runtimes and serving engines across seven architectural layers, with an interactive learning layer.