TensorRT-LLM

TensorRT-LLM, NVIDIA GPU'lerde LLM çıkarımını optimize eder. Modelleri, uçuşta toplama (in-flight batching), sayfalı KV önbellekleme ve tensör paralelliği içeren bir TensorRT motoruna derler. AutoDeploy, herhangi bir değişiklik gerektirmeden Transformers modellerini kabul eder. Modeli otomatik olarak optimize edilmiş bir çalışma zamanına dönüştürür.

Hub'dan bir model kimliğini build_and_run_ad.py dosyasına geçirerek bir Transformers modeli çalıştırın.

cd examples/auto_deploy
python build_and_run_ad.py --model meta-llama/Llama-3.2-1B

Arka planda AutoDeploy, bir LLM sınıfı oluşturur. Model yapılandırmasını AutoConfig.from_pretrained() ile yükler ve tp_plan içinde saklanan paralellik meta verilerini çıkarır. AutoModelForCausalLM.from_pretrained(), modeli yapılandırma ile yükler ve Transformers’ın yerleşik tensor paralelliğini etkinleştirir.

from tensorrt_llm._torch.auto_deploy import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B")

TensorRT-LLM, torch.export ile model grafığını çıkarır ve optimizasyonlar uygular. Transformers dikkatini TensorRT-LLM dikkat çekirdekleri ile değiştirir ve modeli optimize edilmiş bir çalışma zamanı arka ucuna derler.

Kaynaklar

• Daha ayrıntılı kullanım kılavuzları için TensorRT-LLM belgeleri.
• AutoDeploy kılavuzu, gelişmiş örneklerle nasıl çalıştığını açıklar.