主要贡献

写完笔记之后最后填，概述文章的内容，以后查阅笔记的时候先看这一段。注：写文章summary切记需要通过自己的思考，用自己的语言描述。忌讳直接Ctrl + c原文。

解决了什么问题？

  1. 模态内和跨模态不协调特征被忽视：现有多模态融合方法简单拼接或相加特征，未考虑模态内部及跨模态间的不协调。如模因中图像与文本内容不相关，或文本模态内隐喻信息与图像文本不一致，容易造成误解。
  2. 不同任务间相关性未被考虑：以往研究独立分析各子任务，忽略了情感分析、意图检测等任务间的内在联系，无法利用这些关系提升模型性能。

主要创新点

  • 研究视角创新：从隐喻线索间的相互作用出发，探索模态内、跨模态及子任务间的潜在关系。
  • 模型创新：结合跨模态注意力机制、模态内注意机制和多交互解码器设计了一个新的预测模型

Abstract

Fine-grained meme understanding aims to explore and comprehend the meanings of memes from multiple perspectives by performing various tasks, such as sentiment analysis, intention detection, and offensiveness detection. Existing approaches primarily focus on simple multi-modality fusion and individual task analysis. However, there remain several limitations that need to be addressed: (1) the neglect of incongruous features within and across modalities, and (2) the lack of consideration for correlations among different tasks. To this end, we leverage metaphorical information as text modality and propose a Metaphor-aware Multi-modal Multitask Framework (M3F) for fine-grained meme understanding. Specifically, we create inter-modality attention enlightened by the Transformer to capture inter-modality interaction between text and image. Moreover, intramodality attention is applied to model the contradiction between the text and metaphorical information. To learn the implicit interaction among different tasks, we introduce a multi-interactive decoder that exploits gating networks to establish the relationship between various subtasks. Experimental results on the METMeme dataset show that the proposed framework outperforms the state-of-the-art baselines in fine-grained meme understanding

细粒度模因理解旨在通过执行情感分析、意图检测和冒犯性检测等各种任务，从多个角度探索和理解模因的含义。现有方法主要集中在简单的多模态融合和单个任务分析上。然而，仍存在一些需要解决的局限性：（1）忽视了模态内和跨模态的不协调特征；（2）未考虑不同任务之间的相关性。为此，我们将隐喻信息作为文本模态加以利用，并提出了一种用于细粒度模因理解的隐喻感知多模态多任务框架（M3F）。具体而言，我们受 Transformer 启发创建了跨模态注意力机制，以捕捉文本和图像之间的跨模态交互。此外，应用模态内注意力机制来模拟文本与隐喻信息之间的矛盾。为了学习不同任务之间的隐含交互，我们引入了一个多交互解码器，该解码器利用门控网络来建立各个子任务之间的关系。在 METMeme 数据集上的实验结果表明，所提出的框架在细粒度模因理解方面优于最先进的基线模型。

Conclusion

本文中探索了一种新的细粒度模因理解方法，通过协调隐喻信息、图像和文本之间的不一致性，并利用它们的潜力来增强各种任务。更具体地说，我们提出了一种隐喻感知多模态多任务框架（\(M^{3}F\)），将隐喻信息纳入考虑范围。此外，我们构建了跨模态注意力机制来捕捉文本和图像之间的交互，并创建了模态内注意力机制来模拟文本和隐喻信息之间的一致性。另外，为了更好地同时学习不同任务之间的隐含交互，我们还设计了一个多交互解码器，利用门控网络来实现这一目的。我们在一个广泛认可的基准数据集上的实验结果表明，我们提出的方法明显优于最先进的基线模型。

阅读目的

  • 写文献综述、查资料
  • 了解新领域
  • 训练提升学术能力
  • 借鉴文章具体方法

作者的写作目的

  • 总结其他研究
  • 建议未来方向
  • 报告新发现
  • 发展理论/算法
  • 表达特别的观点

Motivation

作者的研究目标是什么？
关于这个问题，其它学者提出了哪几类的解决方案，有何缺陷?

现有方法主要依赖多模态特征的简单融合和独立分析子任务，忽略了模态内和跨模态的不协调特征，以及不同任务之间的相关性。

Method(s)

核心方法

  • 关键技术：
    1. 特征提取技术：利用VGG16和Multilingual BERT进行特征提取。VGG16用于处理模因图像，将图像调整为\(224×224×3\)尺寸后输入，经5个最大池化层和16个加权层处理，输出图像特征\(e^{v}\in \mathbb{R}^{N ×4096}\)。Multilingual BERT则对文本、隐喻源域和目标域进行编码，分别得到\(e^{t} \in \mathbb{R}^{N×d_{r}}\)、\(e^{s} \in \mathbb{R}^{N×d_{s}}\)和\(e^{g} \in \mathbb{R}^{N ×d_{s}}\)的隐藏表示。之后，通过四个投影层将这些特征映射到相同的\(d_{h}\)维隐藏向量空间，得到\(h^{n}\)、\(h^{r}\)、\(h^{s}\)、\(h^{g} \in \mathbb{R}^{N ×d_{h}}\)，为后续的注意力机制和任务预测提供统一的特征表示。
    2. 跨模态注意力机制：受Transformer启发构建，捕捉文本和图像之间的跨模态交互。以图像特征\(h^{n}\)作为查询，文本嵌入\(h^{t}\)作为键和值，通过计算注意力权重，聚焦图像引导下的不协调文本内容。第\(i\)个头的跨模态注意力计算公式为\[Att_{i}\left(h^{v}, h^{t}\right)=\sigma\left(\frac{\left[W_{i}^{Q} h^{v}\right]\left[W_{i}^{K} h^{t}\right]}{\sqrt{d_{k}}}\right)\left[W_{i}^{V} h^{t}\right]\] ，多个头的输出拼接后经线性变换和前馈网络处理，得到跨模态表示\(H_{inter}\) 。该表示用于隐喻识别，通过线性层降维和softmax函数计算隐喻类别概率分布，同时采用动态替换策略，根据隐喻识别结果动态调整源域和目标域，避免隐喻信息泄露对识别结果的影响。
    3. 模态内注意力机制：用于捕捉文本与隐喻信息之间的一致性。以文本嵌入\(h^{t}\)为查询，隐喻源域\(h^{5}\)和目标域\(h^{g}\)为键和值，计算注意力权重。输出公式为\[Att_{i}\left(h^{t}, h^{s}, h^{g}\right)=\sigma\left(\frac{\left[W_{i}^{Q} h^{t}\right]\left[W_{i}^{K} h^{s}\right]}{\sqrt{d_{i}}}\right)\left[W_{i}^{V} h^{g}\right]\] ，多个头的输出经线性变换和前馈网络得到模态内表示\(H_{intra}\)。这一机制能够挖掘文本模态内部的相关性，帮助模型理解模因中隐喻信息与文本的潜在联系，提升对模因含义的理解能力。
    4. 多交互解码器：为学习不同任务间的隐含交互而设计，包含三个关键步骤。第一步，将跨模态表示\(H_{inter}\)、模态内表示\(H_{intra}\)与图像特征\(h^{D}\)、文本嵌入\(h^{r}\) 、源域和目标域嵌入\(h^{5}\)、\(h^{8}\)拼接得到多模态表示\(H_{mul}\)，再通过七个线性层生成七种不同的表示，包括三任务表示\(H_{s, i, o}\)、双任务表示\(H_{s - i}\)等和任务特定表示\(H_{s}\)等；第二步，引入包含线性变换和自注意力机制的门控层，对这些表示进行更新，学习共享表示以促进任务间知识转移，捕捉任务间相关性并生成特定任务表示；第三步，将更新后的相关表示进行拼接，得到\(U_{s}\)、\(U_{i}\)、\(U_{o}\)，用于预测情感、意图和冒犯性类别，通过最小化交叉熵损失优化预测结果。
  • 模型架构图：
    [[What do they “meme” A metaphor-aware multi-modal multi-task framework for fine-grained meme underst.pdf#page=3&rect=37,540,562,748|What do they “meme” A metaphor-aware multi-modal multi-task framework for fine-grained meme underst, p.3]]
方法 优点 缺点
特征提取技术
跨模态注意力机制
模态内注意力机制

Evaluation

作者如何评估自己的方法？
实验的setup是什么样的？
感兴趣实验数据和结果有哪些？
有没有问题或者可以借鉴的地方？
从结果（含曲线）上看，作者是如何有力地证明他解决了问题?

  • 定量结果：
  • 定性分析：

复现步骤

  1. 代码库：

    git clone

  2. 关键参数：

  3. 遇到的坑：

    • 问题1：
    • 问题2：

改进思路

  • 改进点1：
  • 应用场景：

文章结构

本文的结构怎样？对你写文章有什么参考作用？

阅读笔记

阅读挑战

  1. 这篇论文的缺陷在哪儿?
  2. 尝试一下，在你所阅读的论文与现实生活之间建立物理与逻辑联系，找出一个可以拓展的点?
  3. 对于作者提出的解决方法，你有何看法和建议

对我有什么用

  1. 回答了我为什么要读的问题了吗？
  2. 同意/反对
  3. 准备正面/负面的引用吗？
  4. 准备深度的讨论吗？

全文翻译

Reference