浙江大年夜学宣告统一的幻觉检测框架UNIHD

因此，能够检测MLLMs相应中的多模态幻觉的检测器急迫须要，以便向用户警示潜在风险，并推动更可靠MLLMs的发展。
然而，现有的研究事情存在局限性，例如专注于单一任务、幻觉种别范围有限，以及缺少细粒度的评估。
这些限定阻碍了实际幻觉检测进展的快速发展，提出了一个问题：我们能否开拓出一种统一的视角来检测MLLMs中的幻觉？

为了应对这一寻衅，该研究提出了一个任务不可知的、工具增强的统一多模态幻觉检测框架UNIHD，该框架通过一系列赞助工具来验证幻觉的发生。
还提出了一个新的多模态基准测试MHaluBench，以评估MLLMs中幻觉检测方法的有效性。
通过详尽的评估和全面的剖析，展示了UNIHD的有效性，并供应了针对不同幻觉种别运用特定工具的见地。

论文标题：

Unified Hallucination Detection for Multimodal Large Language Models

"大众年夜众号「夕小瑶科技说」后台回答“UNIHD”获取论文pdf。

在多模态大措辞模型（MLLMs）的研究和运用中，幻觉征象是一个关键问题。
幻觉指的是模型天生的内容虽然看似可信，但与输入数据或既定的天下知识相抵牾。
这种征象不仅阻碍了MLLMs的实际支配，还可能导致缺点信息的传播。
因此，检测MLLMs中的多模态幻觉变得至关主要，以警示用户潜在的风险，并推动更可靠的MLLMs的发展。

1. 模态冲突幻觉

模态冲突幻觉发生在MLLMs天生的输出与其他模态的输入发生冲突时。
例如，一个MLLM可能不准确地描述运动员的制服颜色，展示了一个属性级别的冲突，这是由于MLLMs在实现风雅的文本-图像对齐方面的能力有限。

2. 事实冲突幻觉

输出可能与既定的事实知识相抵牾。
图像到文本的模型可能天生与实际内容偏离的阐述，包含不干系的事实，而文本到图像的模型可能产生的视觉内容未能反响文本提示中包含的事实知识。
这些差异突显了MLLMs在坚持事实同等性方面的寻衅。

为了应对多模态幻觉检测中的关键寻衅，提出了一个名为UNIHD的统一多模态幻觉检测框架。
UNIHD通过以下步骤，利用一系列赞助工具来强有力地验证幻觉的发生：如基本声明提取、自动工具选择、并行工具实行以及带有情由的幻觉验证。

此外，该研究提出了一个新的多模态基准幻觉检测（MHaluBench），以评估MLLMs内幻觉检测方法的有效性。
MHaluBench不仅包含了多种幻觉种别，而且还将图像到文本天生的输出和文本到图像天生的用户查询分割成明确的声明。
通过基于MHaluBench的细致评估，展示了UNIHD框架的性能，并证明了多模态幻觉检测任务的持续寻衅性和主要性。

1. 幻觉案例网络

MHaluBench基准的构建始于广泛的幻觉案例网络，这些案例涵盖了图像到文本的天生（如图像描述和视觉问答）以及文本到图像的合成。
在图像到文本天生方面，研究者从MS-COCO 2014和TextVQA的验证和测试集中抽取样本，并汇总了mplug、LLaVA和MiniGPT-4等模型的天生输出作为MHaluBench的根本数据。
而在文本到图像天生方面，研究者从DrawBench和T2I-CompBench中获取初始标题，并通过ChatGPT增强这些标题，以包含更详细的信息，如工具、属性和事实细节等。
经由风雅化的标题辅导下，DALL-E 3模型天生了视觉细节丰富的图像。

2. 细粒度人类注释

MHaluBench不仅仅是对相应进行评估，它还实现了基于声明的细粒度注释，以便精确地指出幻觉，从而为模型能力的提升供应有针对性的反馈。
在图像到文本的任务中，研究者捕获了模型的文本输出，在文本到图像的场景中，研究者将用户查询分解为构成意图观点，这些观点随后被视为声明。
注释标准是评估图像到文本输出是否与输入图像或天下知识冲突，以及文本到图像的视觉内容是否与声明或天下知识冲突。
提取的声明被标记为幻觉或非幻觉，如果一个段落包含任何此类声明，则被视为幻觉；否则，被标记为非幻觉。
如果全体相应包含至少一个幻觉段落，则被标记为幻觉。

UNIHD框架的四个步骤

1. 关键声明提取

UNIHD框架的第一步是从天生的相应中提取核心声明，这是识别细粒度幻觉的条件。
通过利用MLLMs的高等指令实行能力，可以高效地提取声明，从而避免了常日须要大量资源进行模型演习的情形。
详细来说，GPT-4V/Gemini被用作根本LLM，以高效地从图像到文本模型的输出中提取每个相应的个别声明，并从文本到图像模型等分解用户指令为不同的声明。

2. 针对声明的自动化工具选择

在提取了输入图像-文本的关键声明后，幻觉检测的寻衅在于将每个声明与适当的面向方面的工具相匹配。
研究者通过评估底层MLLMs是否能为一组给定的声明天生干系的查询，以供应给特定面向方面的工具所需的输入。
为此，研究者提示底层MLLMs如GPT-4V/Gemini自动天生故意义的查询。
例如，框架确定声明须要属性导向的问题“运动员右侧的制服是什么颜色？”和工具导向的查询“['运动员', '制服']”，从而绕过了对场景文本和事实导向工具的需求。

3. 并行工具实行

在自动天生的不同方面的问题之后，研究者并行履行这些工具，以网络广泛的知识，作为幻觉验证的根本。
框架中利用的详细工具包括：

(1) 面向工具的工具：利用开放集工具检测模型Grounding DINO捕获视觉工具信息，这对付检测工具级别的幻觉至关主要。
例如，输入“['运动员', '制服']”会提示模型返回两个制服工具和两个运动员工具，以及它们的归一化位置坐标。

(2) 面向属性的工具：利用底层MLLMs（如GPT-4V和Gemini）回答特定的属性级别问题。
这些相应随后在同一MLLMs中用于幻觉验证，类似于自我反思的方法。

(3) 面向场景文本的工具：如果天生的场景文本问题不是“无”，则调用MAERec作为场景文本检测工具，它能够识别图像中的场景文本及其对应的归一化四维坐标。

(4) 面向事实的工具：为了帮忙验证事实冲突的幻觉，研究者利用Google Search API从Serper进行基于事实级别问题的互联网搜索。
研究者提取并剖析顶级搜索结果，并从API的相应中得到各种择要。
通过支配这套工具，框架系统地网络知识作为证据，以可靠地验证不同模态下的幻觉。

4. 带有情由的幻觉验证

在末了阶段，研究者对每个声明ci进行二元预测，以确定其幻觉状态。
根据证据支持的程度，声明被归类为HALLUCINATORY或NON-HALLUCINATORY。
为了完成这一任务，研究者将网络的证据与原始图像及其相应的声明列表3整合成一个综合提示。
随后，辅导选择的MLLM（GPT-4V或Gemini）评估每个声明的幻觉潜力。
在此过程中，MLLM还天生深刻的阐明，以阐明其判断背后的情由。

实验设置与基线比较

在本研究中，提出了一个新的多模态幻觉检测框架，UNIHD，旨在通过一系列赞助工具来验证多模态大型措辞模型（MLLMs）天生内容中的幻觉征象。
为了评估UNIHD的有效性，研究者构建了一个元评估基准，MHaluBench，它包含了图像到文本天生（包括图像描述（IC）和视觉问答（VQA））以及文本到图像合成任务的内容。

研究者将UNIHD与两个基线模型进行比较：Self-Check（2-shot）和Self-Check（0-shot），这两个基线模型基于CoT评估底层MLLM识别幻觉的能力，而无需外部知识。
在实践中，利用GPT-4V和Gemini来识别细粒度的幻觉并阐明其判断背后的推理。

实验结果与剖析

1. UNIHD在多模态幻觉检测中的表现

UNIHD框架在MHaluBench基准测试中的表现证明了其有效性。
实验结果显示，UNIHD在图像到文本和文本到图像任务中均同等地超过了其他基线检测器。
特殊是，UNIHD利用GPT-4V在图像到文本天生任务中表现出色，其性能超过了Self-Check（2-shot）模型，这强调了集成外部工具对付更可靠的幻觉检测的主要性。

2. 不同类型幻觉的检测效果

UNIHD在检测场景文本和事实幻觉方面相较于Self-Check（2-shot）有显著提升，这表明GPT-4V或Gemini固有的局限性使得工具供应的证据特殊有代价。
然而，UNIHD在识别属性级别的幻觉方面改进不大，这可能归因于缺少专门的属性检测工具，而基于GPT-4V/Gemini的自我反思方法相对较弱。

3. UNIHD的阐明合理性

UNIHD不仅能够检测出幻觉，还能供应合理的阐明。
例如，它能够精确识别失事实级别的幻觉“Fanta起源于美国二战期间”以及工具级别的幻觉“有三辆自行车停放在那里”。
与Self-Check（2-shot）比较，UNIHD在供应更可信和有说服力的情由方面表现出色。

总体而言，UNIHD框架在多模态幻觉检测方面展现了其优胜性和普适性，能够在不同的任务和幻觉类型中取得更好的性能。
通过集成多种工具，UNIHD能够从多个角度获取证据，以支持对幻觉的可靠验证。

1. 多模态任务的范围

只管研究扩展了幻觉检测的研究视野，但目前的框架UNIHD紧张关注图像到文本的任务（如图像描述和视觉问答）和文本到图像天生任务。
然而，该研究还没有涵盖其他多模态任务，如***描述，这些任务同样随意马虎涌现幻觉。
未来，会将这些额外的领域纳入UNIHD的考虑范围。

2. 封闭源MLLM的定价与推理速率

UNIHD紧张建立在强大的封闭源模型之上。
然而，封闭源模型常日伴随着本钱，这引入了操作用度。
此外，UNIHD依赖于多个外部工具来供应增强的幻觉验证证据，这导致了额外的推理韶光。
未来，将进一步探索演习具有工具的开源专用幻觉检测模型，以提高效率和降落本钱。

3. 幻觉类别的范围

研究致力于开拓一个全面的幻觉检测框架UNIHD，为MLLMs纳入了MHaluBench和UNIHD中的多种常见幻觉种别，包括工具、属性、场景文本和事实等方面。
然而，目前的框架尚未涵盖现有文献中谈论的其他幻觉种别。
未来，将扩大其范围，采取统一的方法来处理更广泛的幻觉种别，以加强检测机制的稳健性。

4. 工具利用的初步考试测验

在早期考试测验中，研究职员为检测特定类型的幻觉配置了专用工具，例如选择Grounded DINO模型作为首选的工具检测工具。
然而，当前选择的工具可能不是最佳选择。
有必要对现有模型进行广泛评估，以确定最有效的工具，以符合多模态检测目标的细微差别和繁芜性。

本文先容了一个统一的问题框架，用于检测多模态大型措辞模型（MLLMs）中的幻觉征象。
该研究提出了一个风雅化的基准数据集MHaluBench，以推动这一具有寻衅性的研究方向。
此外，还提出了一个统一的幻觉检测框架UNIHD，该框架能够自主选择外部工具，捕获干系知识以支持幻觉验证，并供应情由。
实验结果表明，UNIHD在图像到文本和文本到图像天生任务中均表现出更好的性能，证明了其通用性和有效性。

总之，UNIHD框架通过结合多种工具和方法，供应了一个别系性的办理方案，以检测和验证MLLMs中的幻觉征象。
只管存在局限性，但UNIHD在推动幻觉检测技能的发展方面展现了显著的潜力，并为未来的研究方向供应了坚实的根本。

"大众年夜众号「夕小瑶科技说」后台回答“UNIHD”获取论文pdf。