请问是否可以支持包括多模态模型的记忆？

[Zpenya]

目前从示例以及记忆的组织方式看貌似只支持文本 (text) 的记忆？如果是配合多模态模型使用，尤其是在短期记忆的 message 列表中可能包含图片或者文件的 url。比如：

{
    "role": "user",
    "content": [
        {
            "image_url": {
                "url": "https://img2.baidu.com/it/u=2976763563,2523722948&fm=253&app=138&f=JPEG?w=800&h=1200"
            },
            "type": "image_url"
        },
        {
            "text": "这只狗什么品种",
            "type": "text"
        }
    ]}

如果当用户问了几句后又继续讨论和这张图片相关的其他细节内容，请问这块有考虑过吗？是通过工程化的方法将 url 拼到 text 中，还是为多模态提供单独的支持更好呢？

[kkkjz]

现在是只有文本信息的，如果要加入图片信息 如果要适配当前的框架 是不是可以把图片的信息转成文本信息存进去呢

[Zpenya]

我也在考虑类似问题，单纯和问题一起转为文本应该并不合适，我觉得可能需要把user_input转为一个json对象，而且除了多模态，还有function call 需要考虑，如果想做一个包含多模型agent的完善记忆系统，感觉需要记录大模型支持所有信息，然后再根据模型的能力把需要的信息筛选出来。哪怕长期记忆可以不关注闲聊之外的信息。
而且图片也有可能是base64，这个记起来感觉就比较麻烦了，太占空间了。

[kkkjz]

https://arxiv.org/abs/2508.09736 这个是一个比较火的做多模态记忆的 希望您可以有帮助