PenguinHarness 深度测评:从 LlamaFactory 到 Agent 自进化,一条递归改进的开源路线
发布机构:OpenUs Lab 实验室
标签:#Agent #RSI #开源框架 #LlamaFactory #智能体评测 摘要:当模型微调工具已经成熟,下一个瓶颈落在 Agent 全生命周期的构建、评估与迭代。本文为 OpenUs Lab 实测测评,梳理 PenguinHarness 的技术脉络、核心能力、落地场景,同时客观标注边界与短板,供企业 AI 团队、Agent 研究者参考。
前言
在大模型基础设施这条线上,国内开源社区长期存在一条断层:模型微调工具链日趋成熟,但 Agent 开发依然高度手工化。 写 Prompt、组装工具、搭建 RAG、写评估集、反复试错,整个流程碎片化、不可复现、难以持续迭代。很多业务 Agent 上线即停滞,没有自动化的反馈闭环;而学术界讨论的 RSI(递归自改进),大多停留在论文与 Demo,缺少一套能落地、带安全护栏、面向业务的工程框架。
PenguinHarness,正是 LlamaFactory 作者郑耀威带领 PrismShadow 团队给出的答案。在 OpenUs Lab 为期两周的本地部署与多场景实测后,我们认为它不是又一个 Agent 开发脚手架,而是一套原生以“自进化闭环”为核心的 Agent Harness。
一、前世今生:从 LlamaFactory 到 PenguinHarness,同一套降维思路
很多人认识郑耀威,来自 LlamaFactory。
LlamaFactory 解决的时代命题非常清晰:大模型微调门槛太高。它把繁杂的训练脚本、环境依赖、参数调优、数据集处理全部封装,让开发者不用手写大量训练代码,低成本完成 LLM SFT、DPO、LoRA 微调。凭借易用性,LlamaFactory 成为国内影响力最大的开源微调工具之一,大量企业与研究者基于它做模型对齐。
但微调解决的是“模型本身”,模型再好,落到业务 Agent 层面依然会遇到新困境:
- Agent 方案没有标准化流水线,每个业务都要重新写一套编排、工具调用、RAG 逻辑;
- Agent 评估集依赖人工构建,容易过拟合、Reward Hacking,刷分不等于真实能力变强;
- Prompt、技能、召回策略的迭代完全依靠人肉调试,迭代慢、成本高;
- RSI 递归自改进方向缺少安全约束,一旦放开自修改,存在不可控风险。
PrismShadow 团队 2025 年成立,延续 LlamaFactory“降低专业门槛”的路线,把能力边界从模型微调延伸到智能体全生命周期,在 2026 年 8 月正式开源 PenguinHarness,Apache 2.0 协议,TypeScript 实现。
一句话概括这条演进线:
- LlamaFactory:让普通人能低成本调模型
- PenguinHarness:让 Agent 自动构建 Agent,并且可控、可审计地持续进化
它和市面上其他 Agent Harness(例如 DeepSeek Harness)定位有明确区分:DeepSeek Harness 偏向插件化、组件可插拔的运行时;PenguinHarness 的差异化内核,是内置评测+自进化闭环与安全契约。
底层设计哲学:文件即状态
PenguinHarness 一个非常有辨识度的设计:以文件系统作为可信源。Agent 定义、Prompt、Skill 脚本、会话快照、评估用例,全部落地为文件。Agent 的新增、修改、版本回滚,本质就是文件变更。统一 PenguinMessage 协议串联模型、工具、运行时,状态透明、可版本管理、可审计。 这套设计天然适配本地优先(Local-First),所有数据默认留存本地目录,适合对数据隔离、私有化部署有强要求的企业。
二、核心功能拆解(OpenUs Lab 实测版)
1. 自然语言驱动,一键生成可交付 Agent
这是面向业务侧最直观的能力。使用者只需要用自然语言描述业务目标,框架自动完成整套脚手架生成:系统提示词、技能编排、RAG 链路、配套工作台前端、任务调度逻辑。 官方给出的标杆 Demo:生成一套支持文档引用、流式输出的 PDF RAG Agent,Token 成本约 0.2 元,十几分钟完成交付。 我们在 Lab 内部复现同类任务,结论一致:它不是只输出一段 Prompt,而是产出一个自带交互界面、可上传文件、可导出结果、可独立运行的 Agent 项目,业务人员可以直接使用,不需要前端、后端工程师二次改造。
优势:把“Agent 应用交付”从开发任务,变成描述性需求任务。
2. 原生自进化流水线 penguin evolve(核心王牌)
这是 PenguinHarness 区别绝大多数 Agent 框架的关键。一条命令拉起多智能体迭代闭环,角色分工清晰:
- Benchmark Builder:针对当前业务,自动生成评测用例与标准答案;
- Optimizer Agent:读取评估失败样本,定位缺陷,输出新版本 Agent;
- Evaluator Agent:独立并行打分,打分标准对被测 Agent 保密,从底层抑制背题刷分。
迭代策略保守且可控:只有新版本评测分数严格高于上一版,才接纳更新;否则自动快照回滚,保证进化方向正向。团队配套自研 GDPevo 评测基准,覆盖法务、医疗、金融、运维、文档处理等六大领域,严格划分训练集、测试集,专门对抗 Agent 评估集过拟合。
同时引入 CONTRACT.md 自进化契约:Agent 仅允许修改 Prompt、Skill 业务层,禁止修改 Harness 内核,全程快照留存、日志可追溯,给 RSI 加上安全边界,避免失控。 我们实测:一个合同风险抽取 Agent,从初始 52 分迭代至 94 分,多轮迭代总成本很低,适合持续迭代类业务。
3. 统一模型网关,海量模型兼容,支持双模型协同
内置模型网关,兼容 OpenAI 协议,支持上千款在线与本地模型:Qwen、GLM、DeepSeek、Kimi、OpenAI、Anthropic、Gemini;同时原生对接 vLLM、Ollama、LlamaFactory。 特色能力是双模型协同:主模型负责逻辑编排、任务推理,视觉副模型负责截图、页面、PPT 解析。纯文本主模型可以基于视觉反馈,修改自己生成的页面、报表、前端界面,对生成式 UI、报表 Agent 价值很大。
4. 多形态部署、沙箱隔离与运维能力
部署形态覆盖全场景:桌面 App(Windows/Mac/Linux)、自托管 Web 服务、Headless 后台服务、CLI、TS SDK。支持多租户、用户权限隔离、项目授权、用量统计。 配套能力:完整 Trace 链路追踪、执行日志、沙箱代码执行、快照版本管理、审计日志。 开发者可以嵌入自有 SaaS;运维可以后台静默跑巡检、批量复核任务;研究者可以在本地批量跑对比实验。
5. 内置技能市场
开箱自带一批高频 Skill:文档解析、网页浏览、代码沙盒执行、数据分析、RAG 检索、基准评测、Agent 脚手架生成、前端页面生成。开发者也可以自定义 Skill 纳入迭代闭环。
三、落地使用场景(OpenUs Lab 分类评估)
场景一:企业业务智能体快速量产(最高价值场景)
适合法务、风控、医疗报告复核、财报尽调、供应链单据审核这类标准化、批量处理、需要持续提升准确率的业务。 传统模式:需求→开发→写RAG→写评估集→上线→人工持续调Prompt;周期长,评估集容易缺失。 PenguinHarness 模式:业务描述→自动生成Agent→自动生成评测集→evolve 持续迭代→业务人员在工作台批量上传文件、导出报告。 适合中大型企业内部多个垂直小Agent批量落地,不用为每一个业务组建独立AI开发小组。
场景二:知识库 & 客服工单类 RAG 规模化搭建
很多企业内部有数十套独立知识库:产品手册、员工制度、售后FAQ、供应商资料。逐个搭建RAG成本极高。 利用 PenguinHarness,可以批量生成知识库Agent,并且自动评估召回准确率、回答幻觉率,自动优化检索策略与Prompt,解决传统RAG上线后长期缺少自动化调优手段的痛点。
场景三:运维、产线、后台值守类长周期 Agent
日志巡检、告警研判、设备监控、工单自动分类这类后台值守任务,适合长时间运行、持续收集失败样本、自动迭代判断规则。PrismShadow 官方的产线巡检案例显示,通过持续进化Agent,停机研判误报率显著下降。
适合特点:样本源源不断、规则随业务变化、不需要超低延迟。
场景四:Agent 研究与 RSI 实验平台
对 OpenUs Lab 这类 AI 实验室、高校、算法团队而言,它是低成本、可复现的实验底座:
- 对比不同模型、不同Prompt策略、不同工具编排方案在同一评测集上的表现;
- 在本地开展安全可控的递归自改进实验;
- GDPevo 基准可以作为统一标尺,减少评估方案不一致带来的结论偏差。
场景五:SaaS平台内嵌Agent能力
基于 TS SDK + 多租户隔离能力,可封装进 CRM、文档平台、低代码产品,对外提供“客户一句话自建业务助手”的增值能力,这也是不少 SaaS 团队正在调研的方向。
四、客观边界:哪些场景它并不适合(OpenUs Lab 避坑提醒)
测评不只有优点,这里明确它的能力边界,避免选型踩坑:
- 超低延迟强实时推理场景不适合:它面向长流程 Agent 编排、评测迭代,不是推理网关,不适合毫秒级在线接口;
- 大规模深度强化学习训练不是它的定位:它是 Agent 应用 harness,不是 RL 训练框架;
- 高风险闭环决策禁止完全交给自进化Agent:例如自动下单交易、临床诊断结论,自进化结果必须保留人工终审;
- 现阶段生态还比较新:社区案例、第三方Skill数量远不如 LangChain、LlamaIndex,遇到小众工具需要自己开发 Skill;
- 桌面端安装包尚未广泛签名,本地部署时会遇到系统安全提示,私有化部署需要自行打包、运维加固。
一句话选型口诀:适合做会持续迭代的业务智能体;不适合做一次性原型、极致低延迟推理、无人终审高风险决策。
五、横向对比速览
- LlamaFactory:模型微调底座,优化LLM本身;
- PenguinHarness:Agent 全生命周期底座,主打自动构建+评测+可控自进化;
- DeepSeek Harness:灵活插件化Agent运行时,组件插拔优先;
- LangChain / LlamaIndex:Agent编排库,偏向开发者手工组装,原生缺少自进化闭环。
六、OpenUs Lab 总结与展望
整个开源 AI 链路正在完成一次接力:先把模型微调平民化(LlamaFactory),再把 Agent 的构建、评测、迭代平民化(PenguinHarness)。 PenguinHarness 最大的贡献,不是新增一套 Agent 编排语法,而是把 RSI 从实验室概念,封装成一套带安全契约、快照回滚、独立评测、可私有化部署的工程产品。它把“持续优化Agent”这件事,从依赖资深提示工程师的手艺活,变成可流水线化、可计量成本、可复现的标准化工作。
对企业AI团队:如果你正被“Agent上线之后越用越难调、评估靠人工、多个业务Agent重复造轮子”困扰,它值得深度测试; 对研究者:它提供了一个干净、本地优先、可审计的递归自改进实验沙箱; 对开源社区:它补上了 LlamaFactory 生态向下游应用延伸的关键一环。
OpenUs Lab 后续计划:基于 PenguinHarness 搭建一套法务文档 Agent 基准测试集,对外开源评测脚本,欢迎同方向实验室交流、复现、对照测试。
OpenUs Lab|专注开源大模型、Agent 基础设施实测与中立测评。
