Conversaciones
RunAnywhere publica como código abierto TrnRT, un motor de inferencia LLM para AWS Trainium
RunAnywhere publicó en Hacker News el proyecto de código abierto TrnRT, es decir, Trainium RunTime, un motor de inferencia de grandes modelos para AWS Trainium. El proyecto comenzó hace tres semanas y actualmente puede ejecutar la versión FP8 de GLM-5.3 flash en trn2.48xlarge; el equipo invita a la comunidad a contribuir.
El publicador Sanchit afirma que un único dispositivo puede dar servicio a dos instancias de GLM-5.3 flash mediante un enrutador consciente de la caché, utilizando ocho trn2; en la referencia SemiAnalysis AgentX puede procesar 3570000 TPM. AgentX reproduce sesiones reales de agentes de programación, y los resultados incluyen 28.9 RPM con un batch de 12 y 32 agentes; con 16 agentes y caché de prompts, la P50 TTFT es de aproximadamente 1.24 segundos y la velocidad de decodificación es de 35.9 TPS.
El equipo eligió Trn2 porque quería explorar su eficiencia de coste frente a H100/H200. El publicador afirma que los grandes modelos MoE con ventanas de contexto de aproximadamente 1000000, como GLM-5.3 flash, requieren mucha memoria, mientras que el coste por TB de memoria de trn2.48xlarge es menos de la mitad del de ocho H200 en AWS. Como el vLLM Neuron existente no tenía registrado el modelo GLM, NxDI ya no se desarrolla activamente y el soporte de SGLang Neuron para Trn2 tampoco es suficiente, el equipo escribió sus propios kernels NKI: cada capa utiliza un kernel para la decodificación de media cara, y las 11 capas de atención dispersa fusionan dos bloques; un mega kernel hace que toda la capa solo necesite dos programaciones, lo que acelera la decodificación con batch 8 un 25%. El publicador también aclara que el prefill de atención dispersa incluye aproximaciones que afectan aproximadamente al 1.2% de la selección de bloques.