做一个长期陪伴型 Chatbot,聊了五十轮之后,Context 长度爆了。简单的‘滑动窗口’(只留最近 N 轮)会导致模型忘记用户最开始说的名字和偏好。现在尝试用向量数据库存历史摘要,每次动态检索插入 Context,但发现检索出来的内容经常干扰当前话题,模型开始胡言乱语。这种‘长短期记忆’混合架构,在工程上到底怎么平衡?有没有最佳实践的模式?
做一个长期陪伴型 Chatbot,聊了五十轮之后,Context 长度爆了。简单的‘滑动窗口’(只留最近 N 轮)会导致模型忘记用户最开始说的名字和偏好。现在尝试用向量数据库存历史摘要,每次动态检索插入 Context,但发现检索出来的内容经常干扰当前话题,模型开始胡言乱语。这种‘长短期记忆’混合架构,在工程上到底怎么平衡?有没有最佳实践的模式?
暂无回答
我要回答