PLpeter leePortfolio

peter lee Agent Engineer

6 年前端,现在做 agent 评测与 harness

全职投入 agent 产品研发 · 目标早期团队全栈岗

Agent 评测 · Harness 设计 · 上下文工程

最近一次运行
run
RUN_803250A…E12B4
model
glm-4.5-flash
耗时
114.2s
结果
未完成查询

每条回复都留 ID 和模型来源,失败能回放到具体那次调用。

我把 agent 的行为变成可以批量测量、可以复现的东西。6 年前端,做过大数据报表、中后台、SaaS ERP 和呼叫中心组件,现在把这些习惯搬到 agent 上:定边界、写契约、让失败可复现。

我不相信「换个更大的模型就好了」。模型是外生变量,能控制的是它外面那圈壳——给什么上下文、允许多少步、什么时候拦下来、失败了怎么回滚。壳好不好,只能跑实验说话。

在做的事

全部项目
  1. 01

    Agent 评测与进化闭环

    同一批题跑成完整卷,一次跑完而不是一题一题手动试。只看三个数:通过率、单次成本、重复跑的一致性。失败样本回流成下一轮的测试用例。

  2. 02

    电商售后客服 Agent 平台

    三套界面加一层 agent 平台:前台店铺、客服中台、Case 审核。业务先收敛成 6 类售后场景契约,再把 AgentRelease 冻结、评测、回滚串成一条链。做它的目的不是卖货,是让「客服」变成可复现的输入输出。

  3. 03

    Case Pack 与失败归因

    256 条中文用例,每条标失败归因:基础设施、缺少判定依据、重复运行结论冲突。归因不分清,失败就只能靠运气重跑。

精选项目

全部项目

近期文章

全部文章

动态

全部动态

关于

更多

6 年前端(东华理工大学 · 软件工程,2020 届)。做过的活从大数据报表、中后台运营系统、SaaS ERP,一路到客服呼叫中心的电话条组件——大部分时间都在干同一件事:把别人的复杂业务拆成有边界、可组合、能维护的小块。

搬到 agent 这边发现最缺的正是这个:大家谈模型能力,很少谈外壳怎么设计、失败怎么复现、成本怎么算。所以现在全职做 agent 产品的研发,方向是早期团队的全栈岗位——从评测平台到前端界面都由自己搭。想聊实验设计可以找我,别聊「AI 会不会取代程序员」。