知一知 · 今日
← 返回本期日报

AI 前沿

Sebastian Raschka发布从零构建推理模型视频课

本期日期 2026-10-27 · 08:00 北京时间

Sebastian Raschka在Hacker News分享8集、共11小时的视频课程,配合其《Build Reasoning Model (From Scratch)》内容,用Python和PyTorch从预训练小模型开始实现评估、推理缩放、强化学习和蒸馏等推理模型方法。

Sebastian Raschka在Hacker News宣布发布《Build Reasoning Model (From Scratch)》配套视频课程。他表示,过去两年在Ahead of AI写了许多关于推理模型的文章,近期还讨论过控制当代大语言模型推理强度的机制;当前几乎所有新一代大语言模型本身就是推理模型,或提供推理模式。

新课程包含8个从零编写推理模型的视频,总时长11小时。课程从一个预训练大语言模型开始,使用Python和PyTorch实现评估与改进方法,内容涵盖推理缩放、强化学习和蒸馏。Raschka认为,从头实现仍是理解机制如何运作的最佳方式。该课程可视作其去年《Coding LLMs from the Ground Up》课程的续作,但不要求必须先学习前一门课。

Raschka还解释了大语言模型、推理模型和智能体之间的关系。他将推理模型描述为传统大语言模型的升级:通过带可验证奖励的强化学习等后训练,并可选结合推理缩放技术,使其更能解决困难问题。推理模型最初多用于数学和代码,但能力也可迁移到其他领域。

在智能体结构中,推理模型相当于“引擎”,智能体框架则负责复杂上下文管理并向模型提供工具,以处理大型编程任务、旅行预订或个人助理任务。Raschka指出,智能体可以使用传统大语言模型或推理模型,但推理模型通常更有能力,因此理解推理模型仍是理解现代大语言模型智能体的重要部分。

据文章介绍,视频课程聚焦一个小型预训练Qwen3模型,并围绕可驱动智能体系统的推理模型开发展开。提供的材料还包括《Build a Large Language Model (From Scratch)》图书和视频、《Build A Reasoning Model (From Scratch)》图书及相关文章。

原文来源

Hacker News ↗
返回本期日报打开交互阅读页