大佬们,我在用 Spring AI 接 LangChain4j 做知识库问答。现在的问题是,从 Milvus 查出来的 Top 5 文档片段经常上下文不连贯,直接丢给大模型后,它产生的幻觉很严重。我想在 Java 层加一个 Rerank 步骤,是应该调用外部 API 做重排序,还是能在本地加载个小的 BERT 模型来做?有没有现成的 Spring Boot Starter 推荐?不想为了这个单独起个 Python 服务,架构太乱了。
大佬们,我在用 Spring AI 接 LangChain4j 做知识库问答。现在的问题是,从 Milvus 查出来的 Top 5 文档片段经常上下文不连贯,直接丢给大模型后,它产生的幻觉很严重。我想在 Java 层加一个 Rerank 步骤,是应该调用外部 API 做重排序,还是能在本地加载个小的 BERT 模型来做?有没有现成的 Spring Boot Starter 推荐?不想为了这个单独起个 Python 服务,架构太乱了。
暂无回答
我要回答