Conversaciones
Un desarrollador utiliza agentes de programación para ejecutar inferencia de IA en una FPGA y logra una aceleración de 33 veces
Un desarrollador con formación en aprendizaje automático documenta el proceso de usar agentes de programación para desarrollar en FPGA. En una instancia AWS F2 intentó adaptar la arquitectura de pesos ternarios de DeepGrove y, tras cientos de experimentos, logró una aceleración de 33 veces respecto a la primera línea de base de modelo completo y precisión a nivel de bits, con un coste de aproximadamente 10000 dólares en tokens.
El autor afirma que los agentes de programación le permitieron adentrarse en ámbitos que le resultaban desconocidos, como el software de bajo nivel y el hardware. Apenas tenía experiencia previa con FPGA; solo sabía que una FPGA puede cambiar la lógica y las conexiones de cableado en el chip mediante configuración, obteniendo así ventajas de rendimiento frente a una CPU de propósito general; el desarrollo tradicional suele implicar abundante C++, Verilog y análisis manual de formas de onda.
Inspirado por la demanda de inferencia de IA, el autor utilizó una instancia F2 de AWS con hardware FPGA. La instancia cuenta con 16 GB de HBM para la FPGA, una memoria relativamente limitada. Al mismo tiempo, conoció la arquitectura de pesos ternarios discutida por el fundador de DeepGrove, consideró que era adecuada para escenarios con restricciones de memoria e intentó que el modelo se ejecutara en la FPGA a una velocidad útil.
Los experimentos fueron realizados durante varios días por agentes en la nube que se ejecutaban en Conductor; el autor se limitó principalmente a dar ánimos periódicamente y algunas sugerencias puntuales orientadas al aprendizaje automático, como considerar speculative decoding o trasladar fuera partes que se ejecutaban en la CPU. Finalmente, el agente consiguió que el modelo completo funcionara y logró una aceleración de 33 veces respecto a la primera línea de base de modelo completo y precisión a nivel de bits.
Según los cálculos del autor, en todo el proceso de investigación automatizada se escribieron aproximadamente 3000000 líneas de código en el historial de experimentos, se analizaron unos 30000000 líneas de salida, se ejecutaron cientos de experimentos y se consumieron cerca de 10000 dólares en tokens de Claude y OpenAI. El código era principalmente C++, con algo de Verilog; el autor afirma que llevaba aproximadamente una década sin escribir grandes cantidades de C++ y que nunca había escrito Verilog.