多模态隐喻的内涵诠释及其隐喻意义的维度统一

　　1、 引言

　　中国古代在研究哲学时，强调有“名”与“实”的问题，强调“言”与“意”的分别，有“名实之辨”与“言意之辨”。在乾隆与嘉庆年间，对言与意，名与实，进行了广泛的哲学考察，特别是通过语言考察哲学，更是形成了当时盛极一时的“字义疏证”，强调实践、新安理学、人文实证，并形成了一种权威的学术“范式”，在“求道”的根本目标下，重视对内涵、意蕴、结构和表达的统一研究。清代的戴震等形成了当时的哲学显学，对汉家理学、实证哲学、摆脱教条、探索中国哲学的民族智慧，起了重要作用。

　　在国外，穆勒形成了“哲学语言”观，索绪尔形成了结构语言观，亚里士多德形成了日常语言、科学语言和哲学语言的统一研究。卡西尔、柏格森等学教在西方哲学转型中，充分发展了哲学语言与哲学思维的关系论，在探讨哲学语言与文学语言、直觉与诗意、历史与现实、解构与传统消解、开放与进步等方面形成了较为思辨的哲学论述，对哲学语言的影响较大。

　　可以说，所有的哲学都得通过语言研究进行，在语言理解与分辨中得以把握住哲学思维。在日常生活中，话语在表现形式和功能上使受众获得某种认知、情感或者美学，抑或是三者有机结合的效果。然而，在大众传媒飞速发展的今天，纯粹的话语和文本信息正为其他形式的媒介符号所补充甚至超越。印刷材料( 广告、手册、说明书、地图、图形、卡通图片等) 经常会结合声音和图像信息并在两者之间建立某种形式的互动。电影和电视节目也在很大程度上吸收了音乐和非言语声音的表现形式。互联网站在设计上更关注文本和图片、声音以及图解的结合。多媒体、多模态的听力教学依据 Krashen 的“可理解性输入”原理，参照 Rich-ards 听力教学矩阵，设计各种听力活动任务，采用多种模态调动学生的多重感官并以不同方式参与课堂环境，达到提高语言水平的目的 ( 谢竞贤，董剑桥，2010) 。写作课程的目标、方案、计划从自身的知识原点出发，在追求个体解放兴趣的过程中，展现偏离的、个性的、丰富的知识内涵，将多模态的内容符号形式融入课程实施的内容之中( 杨劲松，2012) 。口语交际的过程也不仅仅只是言语的参与，往往会伴随相应的手势和肢体语言。现代产品的设计除了重视产品的视觉效果，同时也注重突出其听觉甚至味觉等方面的效果。

　　很显然，这些发展变化给学术研究带来了前所未有的关注。在这个图像、图形、声音、文字、构图等多种媒介符号交织的多模态交际时代，文字在意义表达上的符号垄断地位正遭受异质感官符号的冲击而逐步削弱，视觉感知也自然被赋予了超出文字之上的感性特权，人文学科的学术研究开始从关注言语文本逐渐转向对话语交际模式的研究。

　　在过去的研究中，学者们普遍认为隐喻是一种认知方式，是一种如何看待事物和感知现实的方法。客观存在的外部世界限制人的认知系统，而人的自身经验和社会经验对其有着重大影响。因此，隐喻是一种结合人类理性和想象的认知工具。图像和多模态隐喻丰富了单一层面的文字隐喻研究，并升华了这种基于想象的理性。通过多模态隐喻意义建构认知理据的分析和探讨，从语言使用者的内在思维和外界环境的彼此关联研究多模态隐喻的语言本质和哲学基础，能拓展和深化隐喻意义的研究。

　　2、 多模态隐喻的内涵诠释

　　2． 1 概念定义与表达方式

　　在实现哲学语言与哲学思维之间的关联影响时，多模态隐喻值得认真研究，它在哲学上形成了形式与内容的思辨。Forceville ＆ Urios-Aparisi( 2009a: 22) 对模态进行了如下的简单定义，即“一种通过使用具体的感知进行阐释的符号系统”。结合具体交际中多种交际形式与模态混合使用的情况，Forceville ＆ Urios-Aparisi( ibid． : 23 ) 将模态进行了更加细致的分类:①图形; ②文本符号; ③口头符号; ④手势; ⑤声音;⑥音乐; ⑦气味; ⑧味道; ⑨接触。对“模态”进行了界定和区分，对“单模态隐喻”和“多模态隐喻”的概念进行了定义。“不管是在目标域，还是在源域，主要或者只用一种模态来展示的隐喻就是单模态隐喻”( ibid． :23) 。通常来说，单模态隐喻主要有言语隐喻、图形或视觉隐喻。“而在目标域和源域中分别采用不同模态来展示的隐喻就是多模态隐喻”( ibid． : 24) 。该定义是狭义层面上的定义。从广义层面上来看，多模态隐喻可以定义为两种或者两种以上多个模态协同参与所构成的隐喻。基于研究的方便，一般我们采取广义层面上的多模态定义。

　　从定义层面我们可以看出，在多模态语篇中，多模态隐喻主要以视觉模态和听觉模态来实现。多模态隐喻主要具有书面文本、听觉语言、图画图形、音乐、非语言声音、肢体语言或手势等五类表现形式。从模态所涉及的不同感觉器官，多模态隐喻可以从平面层面和立体层面进行分类。通常我们所说的平面多模态隐喻涉及图像、色彩、构图和语言文字等多类视觉模态的参与来实现隐喻的表达。这类隐喻在平面广告、漫画和海报中比较常见。在广告语篇中，图像和文字通过空间上的有机布局，图片作为具体的表意符号，与文字表述相得益彰。通过色彩、形态、构造等具体感官信息传递，更容易为受众所理解和领悟。立体多模态隐喻是一种复合的隐喻表现系统，这种系统是由多种不同媒介构成的复杂体，这种系统主要通过视听觉等多种模态表现形式的协同参与和作用实现隐喻的表达。如我们在拍摄影像的时候采用不同的角度和方式，诸如镜头切换、剪辑顺序、剪辑方式、音乐使用、以及有声话语与图像之间的有效配合等。这类隐喻多见于电视广告和电影。通过镜头的剪辑次序和声音的扩展延伸，使得电影、电视中多模态隐喻的动态性和立体感更加清晰明了。通过多种模态的组合和重构，我们身边难以被感知的抽象概念、意义和思维转化为生动的感知，给信息接受者带来了前所未有的视听觉感染力、冲击力和震撼力，信息的接受和理解变得更加立体、生动、直观和美感。Jakobson( 1971: 239-252) 指出，隐喻实现的重要形式为语法结构中某一元素的聚合选择与替代。

　　要实现意义的生成，关键在于参与成分、参与过程和环境等要素构成的彼此关联以及对这些要素进行的选择。这三种要素所组成的语法结构中的任何一种常规要素被其他非常规要素所取代，或者其中某一动作被另外一种相似动作所取代，隐喻意义也就因此而生成。

　　多模态隐喻中图像通过物化某一抽象过程构建隐喻，实现意义的概念化。通过这种认知过程中的折射反映，获得具体认知对象的抽象意义。

　　2． 2 意义的哲学体验

　　通过媒介的组合和重构，实现抽象的内隐到生动的感知的转变，是一种基于现实世界的感知体验过程。

　　客观世界不可能如客观主义者认为的镜像般的映射，而是对于概念、思维和心智的形成有着始源影响。概念结构并不是符号结构，不与外部完全直接对应，而是通过身体和心智在与外部世界互动的基础上建构形成的。意义系统具有模糊性和整合性的特点，需要原型范畴、概念化和意向图示来限定，采用整合原则来加以描写，因此概念具有非符号性的特征。心智和思维模态的组合和协同使得这种互动变得更加直接和生动。

　　人类在认知概念的过程中心智结构超出对现实的直接映射，在体验的基础上运用隐喻的方式，从而形成抽象概念。Lakoff ＆ Johnson( 1980) 将这一哲学基础概括为心智的体验性、认知的无意识性和思维的隐喻性。

　　思维、心智和推理不是外界世界的镜像反映，而是人类在对外界世界感知和体验( 特别是有感觉运动系统)的认知加工结果。意义以感知为基础，感知以生理结构为基础，认知结构与感知机制紧密相连。原型范畴是概念化的产物，基于原型的推理和想象，并不为人类所意识。也就是说对心智中的所思所想没有直接的知觉，对于概念的理解过程涉及认知运作程序和神经加工过程，其分析的复杂，运作的神速，即使集中注意力也无法察觉。视觉、听觉、嗅觉、感觉等神经加工过程和大部分推理不可能被意识到。因此可以认为，多模态隐喻意义的获得也是在无意识状态下进行，运作中的心智是不能被意识到的。此外，理解深奥的概念意义，需要从具体到抽象的隐喻。隐喻是哲学的基础，哲学的存在需要隐喻的参与，不用隐喻来思考经验和进行推理是无法想象的。隐喻性的推理使抽象的哲学陈述成为可能，哲学也正是利用相对少量的隐喻才形成统一的核心理论。

　　所以，隐喻使人类理解抽象概念成为可能，将人类知识拓展到新的领域，将哲学中的理论连接起来形成完整的理论体系，并赋予强大的解释力，从而使我们能更好地理解隐喻意义上的哲学理论。作为语言使用的一种现象，在特定的语境中隐喻才能得以产生，而这种特定的语境既包括语言语境，也包括类似图画图形等非语言的语境。当文字描述与图片表征的内容在受众者心理空间折射出背离传统的意义冲突，或者说是两者的语义组合出现了矛盾，图片意义就是解决意义冲突的核心，因此它应该作为隐喻来理解。然而，隐喻意义并不是语义冲突本身，而是对这种冲突做出的回应。

　　Black( 1962) 认为，隐喻是从一个自我毁灭、自我矛盾的陈述构建一个有意义的自我矛盾的句子。当多种模态表达的意义属于完全不同的范畴，两者的“并置”和“等同”就会造成语义冲突，从而导致一种意义的“毁灭”和新的意义的“诞生”。这两种意义的理解过程就会涉及一个领域的意义特征向另一个领域转移。同时，区别隐喻和其他相关语言现象的重要条件需要一种语义互动的根据( ground) ，而这种根据就在于两个事物之间相似的地方，也就是其相似性。隐喻的效果在于喻体和本体之间的各种特征的相互作用。多模态体现带来的或大、或小、或创造的相似性能让人们获得对其中某种事物新的观察角度和认识。

　　3、 多模态隐喻意义的维度统一

　　3． 1 模态组合与意义冲突

　　隐喻的突出特点之一就是语义冲突，这是隐喻产生的基本条件。当语言意义组合中违反语义选择限制和常理，就产生所谓的语义偏离。多模态隐喻产生的基本条件，就在于文字、图片等多种模态生成的对立冲突意义。其中某种模态的意义背离传统的知识范畴，我们就必须借用其他的模态所产生的意义加以识别和理解，隐喻也就顺应得以生成和实现。

　　比如，在一幅内急如厕者的漫画中( 图 1) ，内急“如厕者”焦急地等待在被占用的厕所外是我们生活中非常熟悉的情景，通过轻易地调用现有知识就能实现对这一情景的理解。但是，在图像中的文字模态的介入下，就完全背离了我们对于这一图像意义的传统理解。图像人物的衣服上标示的“美国”和厕所上标示的“经济复苏”之类的文字，使得这一图像意义的表现与人们的传统知识产生对立和冲突。“如厕者”与美国，“厕所”与经济复苏之间的意义组合出现了矛盾，将其置于同一幅图片框架之中，违反了我们对这两组事物的特征和两者之间关系的认识。因此，只有通过隐喻理解，才能解决这种意义上的冲突。

　　在特定的非言语语境中，作者并不是在描述一种单纯的图像信息，而是另有所指。或者可以说，作者描述的是与这种情况相似的另一种事态。

　　作为客观世界的根本规律，对立统一揭示出自然界、人类社会和人类思维等领域的任何事物内在的矛盾性以及对事物的推动发展。我们可以将概念看做一个整体系统，其内部的构成部分就是整体系统的部分系统或子系统。子系统即具有相互依存、相互渗透、相互贯通和相互排斥、相互否定的特点。

　　整体系统约束子系统的状态空间，但又给子系统留下了自主活动的空间余地，这样就使得系统处于整体支配性和部分自主性的对立统一中。子系统因为自己特定的需要和行为，与整体系统的需要和行为发生矛盾，在发展的过程中原有的平衡自然就会被打破，从而产生新的平衡。

　　在多模态隐喻意义认知过程中，因为新模态的出现，原有的调用知识就会受到挑战和排斥，其传统的意义理解就会背离，已有的意义系统就会被打破，从而产生一种失衡状态。而要消除这种失衡状态，就需要在整体系统的支配下调用新的意义系统进行抗衡，从而实现意义的产生。所以，正是由于这种意义冲突，通过从一种矛盾体的毁灭到新的矛盾体的诞生，实现意义的生成。

　　3． 2 意义建构的结构表达

　　从形式特征来看，隐喻是从一种矛盾体的毁灭到一种全新意义矛盾体的生成。抛开这种外在的形式特征，隐喻真正的工作机制存在于接下来受众对于这一隐喻真正含义的推断，这一推断过程涉及一个领域的语义特征向另一个领域的转移。两种事物之间的关系对隐喻的实际意义或说话者的真正意图进行推断，就涉及隐喻后面的巨大意义网络，映射理论也就应运而生。

　　Lakoff ＆ Johnson( 1999) 采用了源领域( source domain)和目标领域( target domain) 来说明两个领域互动关系的方向性，并将两个领域之间的这种具有方向性的互动称为映射( mapping) 。Kovecses( 2002: 57) 指出，认知视角下的隐喻，其实现途径有语言形式和其他诸如图像和手势等交际符号。因此，映射的源域或目标域只要是在两种或两种以上的多种符号资源系统中实现，那么这种隐喻就可以被视为多模态隐喻。当然，非源域和目标域必须完全占有不同符号资源，或者在不同符号资源中起着主导支配地位( Forceville ＆ Urios-Aparisi，2009b: 24) 。假设 A1 和 B1 分别为文字中的目标域和源域，A2 和 B2 分别为图像中的目标域和源域，那么多模态隐喻就可以描述成图 2所示的示意图( 冯德正，2011: 24-29) 。

　　

　　Lakoff 等人的映射理论对两个领域之间的互动关系的方式和重要特点做出了描述，读者在认知过程中对于事物自身不具备自己独有的结构和意义，通过借鉴读者相对熟悉的一方事物的结构和意义，形成了读者认知这一事物的一种生动有效的方式。

　　多模态隐喻意义的认知还涉及心理空间层面的意义合成。根据 Fauconnier( 1997) 的“心理空间理论”( Mental Space Theory) ，隐喻涉及两个心理空间，即源心理空间与目标心理空间，这两种心理空间充当着为将要产生的新的心理空间 ( 隐喻意义) 提供输入( input) 的功能。此外，还有一个属于两者上位概念的“类属空间”( generic space) ，这个空间是一个凌驾于源心理空间和目标心理空间之上的心理空间。因此，隐喻意义的产生涉及源空间、目标空间和类空间三者之间的“互动”。

　　多模态隐喻意义的创造产生过程中，通过上述三个空间的互动和合成，最终形成合成空间，实现意义的生成。隐喻意义产生涉及的各个心理空间都有自己独特的意义结构。如上文中的“等待如厕”空间，包含的就是“焦急等待”等结构关系。通过文字的辅助和赋值，读者心理空间就会产生源空间域目标空间的互动，而这种互动势必引发在更为抽象层面诸如“角色”“经历过程”“目标实现”等概念的产生。源空间内容的输入，“焦急等待如厕的人”通过图片中文字的赋值后，就会产生与“焦急等待经济复苏的美国”概念的心理联系，通过读者背景知识的诱发和引导，源域与目标域概念之间的抽象共性就会被激发和提炼出来并进入类属空间。三个空间意义通过彼此互动共同成为信息意义的输入来源，最终在合成的空间中三个输入空间的特征都得以体现，从而实现意义的生成( 参见图 3) 。

　　

　　在多模态隐喻中，两个输入空间内的源义和其目标义通过多模态表征形式紧密地联系在一起，实现心理层面的接触，从而构建一个较为完整的概念域矩阵表征。两者所共享的概念结构共同构成一个起统帅作用的类属空间。经过完形、扩展和心理模拟等三个过程实现整合，形成层创结构，从而实现多模态隐喻的喻义。

　　从语言哲学的角度来看，多模态隐喻的体验性表明范畴、概念和推理的形成与空间、身体、大脑和现实环境的互动紧密联系。源域到目标域之间映射的动因在于身体体验。我们所使用的认知能力和感觉运动的经历能在我们的大脑中刻下某种心智影像。在与外界世界的互动体验过程中，人们就会下意识地在不同范畴对象之间建立特定的联系，使用自身认知世界所熟悉并体验过的概念结构去关联新加入认知世界的抽象概念。由于具有相同的生活体验，即使人们的文化背景有所区别，仍可具备相同的隐喻认知能力。所以在不同模态之间建立某种必要的联系是心智的一种认知体验。

　　任何哲学家对于这种关联性的体验是无法在经验世界加以验证的。“焦急等待经济复苏的美国”概念无法用具体模态进行实体展现，以达到在心智结构中产生对现实的直接映射。意义系统需要非符号性特征的抽象性表达，这种抽象性无法通过具体感官进行观察辨认。生活世界是真实可靠的存在，是具体和有限的。而从哲学视角来看，生活世界是抽象和无限的。

　　我们可以说哲学世界是一个超脱形相的概念世界。从后结构主义的观点来看，隐喻意义具有开放性、创造性和不确定性。任何隐喻都是通过在具体语境中的创造性使用形成的( 谢竞贤，2008: 126-129) 。

　　隐喻复合体中的各个成分通过关系互动产生隐喻意义，这其中互动过程的根据( ground) 就是相似性，或者也可以说是事物之间的相似关系或者某一共同特征。隐喻意义的察觉与认知隐含于在不同事物中发现的相似性，但是这种创造性的发现不可能从其他人那里直接获得，因此在隐喻意义的理解上需要创造性的认知，见图 4。

　　

　　3． 3 意义生成的哲学思考

　　从语言哲学视角看来，并不是所有的隐喻表达都以事物彼此现有的相似性为基础，而是通过隐喻表达对于不同概念的相似性进行创造生成。事物的相似性有物理的相似性和心理的相似性之分。物理的相似性可以是形状或外表上、功能上的形似，而心理的相似性是由于文化或其他心理因素使得受众认为事物之间存在的相似性。以相似性为基础的隐喻，可以通过人们对事物之间已感受到的相似性去认知，对于并不以事物之间存在相似性的两个事物并置构成的隐喻，人们对于这种创造相似性的隐喻需要从心理层面构建新的事物认知框架，从而获得对于某一事物新的认知角度或认识。

　　从本质上来看，隐喻是一种跨域映射，这种映射以相似性为基础。在多模态语篇中，相似性的表征方式主要体现在感知的相似性和异质模态的空间配置上。多模态环境中，感知的相似性主要体现在视觉和听觉上的相似性，而其中以视觉上的相似性应用最为常见。

　　当图像内容在形状、方位、距离等方面以相似的表达进行排列，这种相似性形成的排列就被用来表达与图片内容构成相关联的意义。比如说，图片内容描述的是不同种类不同质地的事物，这种排列就能表达一种图片隐喻。换句话说，如果图片内容描述的事物看起来是不相容的，那么这种排列就能表达一种图片意义上的矛盾，从而激发隐喻意义的表达。

　　在认知过程中受众除了要体会不同概念之间的联系，还需要对这种联系进行心理层面意义的创造构建，形成新的认知模型，通过抽象的心理信息处理和加工，把握和获取图像蕴含的相似性，从而有效地获得其体现的隐喻意义。不难看出，各种模态之间产生的意义冲突是多模态隐喻产生的先决条件。多模态隐喻运作的基本方式就是从一个领域的意义特征向另一个领域转移，即两个领域之间互动的隐射，并通过不同的心理空间的“互动”实现意义的合成和内化。受众依靠不同概念之间相似性的联想，促成多模态隐喻意义的最终生成。通过图 3 我们可以更加清晰地理解多模态隐喻认知理据之间的关系。对多模态隐喻的认知具有体验性，生活中的经验不可避免地使我们形成意象图式，获得基本概念，所以多模态隐喻是身体、感知、体验、大脑和心智的共同产物。人们运用隐喻模型具有自动性和无意识性的特点，隐喻思维是不可避免的，是非常有用的认知方式。同时隐喻也使得大部分抽象思维成为可能。可见，从隐喻本身来说，在哲学领域，无论是情感体验、认知思维，还是语言本身的物质外壳与思维，都是符号意义、物质外壳、结构的哲学表现与哲学内涵的完整统一，是形式与内容、意义与思维、结构与形体的凝结与融合，体现了哲学思维、哲学内涵、哲学形态、哲学方法与哲学实践的同一性。

　　4、 小结

　　在哲学语言的研究中，中外哲学研究都认真关注了哲学本身的思维与语言本身的形式、意义与结构的统一。经验论和唯物论通过不同形式的对立，贯穿整个语言学历史。基于经验论的语言研究，通过观察到的语言用法，从外部对语言进行研究。中国古代研究的“名实之辨”、“言意之辨”，较好地从哲学角度，从事物的本原出发，进行了有价值的尝试。在现当代语言与哲学的研究中，哲学同样伴随着语言进行研究，以隐喻理论为基础的第二代认知科学，打破了第一代语言学恪守的二元主义，将身体体验和隐喻概念作为哲学认知的基础，重塑经验现实主义的哲学观。多模态隐喻的研究将纯语言学领域的概念隐喻研究拓展延伸到了更为广阔的符号交际范畴，开创了新的研究视角和研究领域。以身体体验来研究人类的心智和认知，既不以经验论为基础，也不是唯物论，而是一种全新的哲学理论体验哲学。体验哲学是相似性认知的基础，也是认知语言学的哲学基础。对于今后如何实现多模态符号学与多模态语篇分析的有效结合，探讨多模态语篇中的多模态隐喻意义，剖析人类隐喻思维的心理加工过程，从认知机制方面揭示隐喻意义的构建，有着深远影响。在西方，亚里士多德等人对思维与存在、思维与语言的阐述也较好地结合了日常生活语言与哲学、思维与哲学、形式与内容、结构与语言不同层面的多层次统一，而这些研究，其实都包涵了语言本身的为思维服务的性质和思维需要语言作为其物质外壳的形式与内容的哲学统一。语言的符号性、意义内涵、结构形式，无论是否具有系统性，是否是一种经验形态，是否具有明确性或模糊性，是否显性或是隐性，都是语言社会性的重要体现。无论是哲学多义，哲学单义，多模态隐喻，还是哲学本身的“名实”、“言意”，哲学语言都是系统性与非系统性的意义、结构与表达的真实三维统一。