复现结果不理想

[yolo-ai7]

我按照github中的步骤进行实验复现 ，复现出的结果F1非常低，我使用的是qwen2.5 7b模型 不知道为什么会出现这个结果T T求教

[kkkjz]

您好，我们并没有使用qwen2.5-7B在locomo数据集上实验 使用的是3B的。请问您使用的什么部署架构

[yolo-ai7]

您好，就是用的您给的eval代码复现的，最后结果是这样的 有几个Category的F1只有0.1多这是正常的嘛

[kkkjz]

这个结果看起来还是蛮正常的哎 7B的模型比我们论文里的报告的3B的结果要高不少哎

[yolo-ai7]

好的 感谢您 我再仔细看看论文

[kkkjz]

看起来每个都要高好几个点 好滴 有问题请再提出来

[yolo-ai7]

您好我发现上面我的结果种只有多跳推理这个种类的F1是降低的，其他是提高的 ，但是我们做记忆系统应该最看重的就是多跳推理能力吧，想请教一下为什么使用性能更好的模型这个能力反而下降了

[BrainMapping-hub]

How long does it take you to train 10 samplers for Locomo? This is with Qwen deployed locally.