vllm

Motor de servicio e inferencia de alto rendimiento y memoria eficiente para modelos de lenguaje grandes. Implemente IA más rápido con un rendimiento de última generación.