GRPO | Ryan's Blog

合璧之路：用 1200 行手搓 Agentic RL 双卡训推分离闭环（nano-miles + nano-openshell）

当强化学习从简单的文本输出走向真实的操作系统交互（Shell / 工具调用）时，系统复杂度成倍剧增：多轮对话中的 Token Mask 漂移、环境执行的安全隔离、跨进程乃至跨卡通信的硬件瓶颈，让许多开发者望而却步。本文带你用 1200 行纯 Python 代码，将 nano-miles 与 nano-openshell 彻底打通，在双卡 GPU 上实现训推物理分离、零磁盘显存热同步与真实的 Shell 任务收敛。

大道至简：用 720 行纯 Python 手搓 miles 最小闭环（SGLang + GRPO + 50ms CUDA IPC 热更新）

当 DeepSeek-R1 掀起后训练（Post-Training）强化学习浪潮时，Ray + vLLM/SGLang + FSDP 的传统分布式框架动辄数万行代码，阻碍了研究者探究其底层数学与通信本质。本文带你从单张 GPU 物理机出发，用 720 行高内聚代码，手搓一个真刀真枪跑通 GSM8K 算术推理收敛的最小闭环框架（nano-miles）。