TwKit
正在载入
TwKit

Pi Durable 这次性能优化有点狠,数据库事务直接减少 82%🔥 Mario 最近分享了 Pi Durable 的一个性能优化,核心就是解决 Agen… · @xiaomovps · TwKit

@xiaomovps

Pi Durable 这次性能优化有点狠,数据库事务直接减少 82%🔥 Mario 最近分享了 Pi Durable 的一个性能优化,核心就是解决 Agent 长时间运行时频繁写入数据库带来的开销 因为 Pi Durable 要保证 Agent 在进程崩溃之后还能恢复执行,所以每完成一个执行步骤,都需要把状态保存到数据库,一次 Agent 运行大概就会产生 12 次 Commit 这就带来了一个问题,如果同时运行多个 Agent,数据库的读写压力会非常大 这次更新我整理了几个比较值得关注的点: 1、数据库事务大幅减少 在 32 路并行的 SQLite 测试中,事务从每秒 562 次降到了 99 次,减少约 82%,磁盘写入也从 14.3MB/s 降到了 4.9MB/s 2、CPU 占用进一步降低 同一测试中,单核 CPU 占用从 29% 降到 22%,对于长期运行多个 Agent 的场景来说还是很有价值的 3、流式输出改成合并写入 以前模型每生成一部分内容就可能触发一次存储,现在可以先在内存中更新,再批量写入数据库,界面依然能够实时显示内容 在长回答测试中,数据库事务减少约 27 倍,磁盘写入减少约 9 倍 4、长对话和任务恢复继续优化 最近还增加了会话历史的窗口化读取、任务失败原因记录,以及 afterRun 后续任务机制,减少长会话开销,也让崩溃恢复后的任务处理更加完善 不过这里有一个取舍,流式输出现在最多可能延迟约 1 秒写入磁盘,如果进程突然崩溃,最近的一小段输出可能会丢失 我觉得 Pi Durable 最近的更新方向还是挺有意思的,从最开始解决 Agent 长时间运行和状态持久化的问题,到现在开始优化数据库、CPU 和并发性能 这也让我越来越期待 Pi Durable 后续的发展,毕竟如果要把 Agent 真正做成一个能够长期运行的 Personal Agent,稳定性和资源消耗都是绕不开的问题 目前这些新优化有不少还在开发分支,尚未全部进入正式版本

曝光 333 · 评论 1 · 点赞 2 · 书签 1

查看原帖