LLM time error
https://x.com/xleaps/status/1935143671529116155
2025-06-17
If error accumulates exponentially, then the curve here would be a straight line downward to the lower right. But we see a sigmoid shape. An alternative explanation is the context length factor. Longer horizon means longer context for example.
LLM 生产不一定是一个开放式系统 , 结果一路扩散下去积累错误 ; 它更多的是带约束的优化系统 , 而这个系统可以自带反馈和纠错 ;
在 agent 长时间跨度任务上的表现曲线和时间之间并不是随时间增加指数级下降的曲线 , 而是有明显的相变 ; 这至少说明有一些我们暂时还不清楚的错误机制 , 当然也有可能就是上下文长度限制 ;