基于LMM代理的低资源有害模因检测

主要贡献

写完笔记之后最后填，概述文章的内容，以后查阅笔记的时候先看这一段。注：写文章summary切记需要通过自己的思考，用自己的语言描述。忌讳直接Ctrl + c原文。

解决了什么问题？

低资源场景下有害模因的检测难题：

模因动态变化、数据稀缺：社交媒体中的Meme动态变化，新出现的有害Meme难以快速获取大量标注数据。
提升检测模型性能：提出基于大模态模型（LMM）代理的低资源有害模因检测框架，通过向外学习（多模态信息检索获取相似样本标签作为辅助信号）和向内学习（捕捉模因中隐含的有害信息，更新检测能力），充分利用少量标注样本，提高模型在低资源场景下对有害模因的检测性能。 #LMM代理

主要创新点在哪里？

研究思路：利用[[Towards Low-Resource Harmful Meme Detection with LMM Agents.pdf#page=3&selection=35,1,36,9|LLM Agent]]，提出代理驱动的低资源有害模因检测框架
检测方法：融合向外和向内分析策略 ^a23bc0
- 向外学习通过多模态信息检索，获取相似样本标签作为辅助信号[[Towards Low-Resource Harmful Meme Detection with LMM Agents.pdf#page=4&selection=236,0,236,24|Relative Sample Retrieval]]
- 向内学习让 LMM 代理自我反思，挖掘模因隐含有害信息，提升检测能力，能有效处理复杂和隐含的有害模式[[Towards Low-Resource Harmful Meme Detection with LMM Agents.pdf#page=5&selection=95,0,95,25|Meme Insight Augmentation]]

Abstract

[!PDF|] [[Towards Low-Resource Harmful Meme Detection with LMM Agents.pdf#page=1&selection=32,0,58,41|Towards Low-Resource Harmful Meme Detection with LMM Agents, p.1]] > The proliferation of Internet memes in the age of social media necessitates effective identification of harmful ones. Due to the dynamic nature of memes, existing data-driven models may struggle in low-resource scenarios where only a few labeled examples are available. In this paper, we propose an agency-driven framework for low-resource harmful meme detection, employing both outward and inward analysis with few-shot annotated samples. Inspired by the powerful capacity of Large Multimodal Models (LMMs) on multimodal reasoning, we first retrieve relative memes with annotations to leverage label information as auxiliary signals for the LMM agent. Then, we elicit knowledge-revising behavior within the LMM agent to derive well-generalized insights into meme harmfulness. By combining these strategies, our approach enables dialectical reasoning over intricate and implicit harmindicative patterns. Extensive experiments conducted on three meme datasets demonstrate that our proposed approach achieves superior performance than state-of-the-art methods on the low-resource harmful meme detection task.

在社交媒体时代，互联网模因的广泛传播使得有效识别有害模因变得十分必要。由于模因具有动态变化的特性，现有的数据驱动模型在低资源场景下可能会面临挑战，因为在这些场景中只有少量的标注示例可用。在本文中，我们提出了一种基于代理驱动的低资源有害模因检测框架，该框架通过对少量标注样本进行向外和向内分析来实现检测。受大型多模态模型（LMM）强大的多模态推理能力的启发，我们首先检索带有注释的相关模因，将标签信息作为辅助信号提供给 LMM 代理。然后，我们激发 LMM 代理内部的知识修正行为，从而得出对模因有害性的通用见解。通过结合这些策略，我们的方法能够对复杂且隐含的有害指示模式进行辩证推理。在三个模因数据集上进行的大量实验表明，在低资源有害模因检测任务中，我们提出的方法比现有最先进的方法表现更优。

Conclusion

[!PDF|255, 208, 0] [[Towards Low-Resource Harmful Meme Detection with LMM Agents.pdf#page=9&annotation=1374R|Towards Low-Resource Harmful Meme Detection with LMM Agents, p.9]] > In this paper, we delved into the low-resource issue of harmful meme detection with limited few-shot annotations. To this end, we proposed an agencydriven and gradient-free approach, which seamlessly integrated the Relative Sample Augmentation and the Meme Insight Augmentation strategies to strengthen LMMs as a trustworthy agent. Comprehensive experiments and analyses confirm the advantages of our agentic framework. Future efforts aim to enhance our research by further relieving the inherent bias and variation in LMMs.

论文深入探讨低资源有害模因检测问题，提出基于代理驱动且无梯度的方法，融合相对样本增强和模因洞察增强策略，提升 LMM 检测有害模因的能力。大量实验和分析验证了该框架在低资源场景下，相比传统方法的优势，能有效检测有害模因。

Motivation

应对有害模因传播危害: [[Towards Low-Resource Harmful Meme Detection with LMM Agents.pdf#page=1&selection=69,41,72,41|当表情包的图像和文字组合在政治和社会文化分歧的背景下被策略性地使用时，它们可能会成为有害的载体。]] > [[Towards Low-Resource Harmful Meme Detection with LMM Agents.pdf#page=1&selection=126,43,128,5|(Pramanick et al., 2021b; Cao et al., 2022; Lin et al., 2023a]]通过采用数据驱动的多模态模型，取得了一定的进展,但是当涉及到检测与突发事件相关的新出现的模因时，由于数据量的不足，这些传统方法在面对新形式时适应性较差

解决低资源难题：难以快速获取大量标注数据；传统方法难以适应，检测手段不足

Background

以往对Meme的检测模型适应性弱，难以应对动态演变的网络模因
低资源场景下对模因的检测

Method(s)

LLM Agent
新的内外分析策略[[#^a23bc0|文内链接]]

Evaluation

作者如何评估自己的方法？
实验的setup是什么样的？
感兴趣实验数据和结果有哪些？
有没有问题或者可以借鉴的地方？
从结果（含曲线)上看，作者是如何有力地证明他解决了问题?

Structure

本文的结构怎样？对你写文章有什么参考作用？

阅读笔记

阅读挑战

这篇论文的缺陷在哪儿?
尝试一下，在你所阅读的论文与现实生活之间建立物理与逻辑联系，找出一个可以拓展的点?
对于作者提出的解决方法，你有何看法和建议