社媒话题
开发者用编码代理在 FPGA 上跑 AI 推理并提速33倍
一位机器学习背景开发者记录用编码代理进行 FPGA 开发的过程。他在 AWS F2 实例上尝试适配 DeepGrove 三值权重架构,经数百次实验,将首个全模型位精确基线提速33倍,花费约1万美元 token 费用。
作者称,编码代理让他能进入低层软件和硬件等陌生领域。他此前几乎没有 FPGA 经验,只知道 FPGA 可通过配置改变芯片上的逻辑与布线连接,从而相对通用 CPU 获得性能优势;传统开发通常涉及大量 C++、Verilog 以及手工分析波形。
受 AI 推理需求启发,作者使用 AWS 带 FPGA 硬件的 F2 实例。该实例具有16 GB FPGA HBM,内存相对有限。与此同时,他接触到 DeepGrove 创始人讨论的三值权重架构,认为其适合内存受限场景,便尝试让模型在 FPGA 上运行并达到有用速度。
实验由运行在 Conductor 中的云端代理持续数日完成,作者主要定期鼓励和给出少量机器学习方向提示,例如考虑 speculative decoding,或将运行在 CPU 上的部分移植出去。代理最终让完整模型运行起来,并相对首个全模型位精确基线实现33倍提速。
据作者统计,整个自动研究过程在实验历史中写出约300万行代码,解析约3000万行输出,运行数百次实验,消耗 Claude 与 OpenAI token 约1万美元。代码主要是 C++,也有部分 Verilog;作者称自己已约十年没写大量 C++,也从未写过 Verilog。