运用软件ELAN标注和分析口语诗《广岛》中多种模态

　　20 世纪 90 年代末,以荷兰阿姆斯特丹大学传媒研究学者 Forcevill 为首的西方学者把隐喻研究深入到多模态层面,结合符号学、语言学、电影学与传媒学理论,从广告中图片隐喻的视觉模态开始,到口语交际、教学、音乐、影视作品中对视觉、听觉模态的探讨,开创了多模态隐喻研究的先河。从社会符号学角度来说,口头语言符号、手势、音韵特征等各种模态都具有表达意义的潜势,各种模态往往交织在一起,互动而产生意义。那么不同模态之间是否存在耦合现象(coupling) ,即“两个或两个以上的体系或两种运动形式间通过各种相互作用而彼此影响以至联合起来的现象”,各种模态相互依赖、相互影响、相互促进以构建起统一的多模态隐喻的意义,就是本研究要探讨的问题。

　　一、多模态隐喻界定及其研究文献综述

　　Forceville 把模态定义为“利用具体的感知过程来阐释的符号系统”,包括视觉、听觉、嗅觉、味觉和触觉五种模态,在具体的语类研究中通常把模态分为图像符号、书面符号、口头符号、手势、声音、音乐、气味、味道和接触九类。Forceville 认为,单模态隐喻就是“目标域和源域用单一模态来呈现的隐喻”,多模态隐喻即“目标域和源域分别用 或主要用不同的模态来呈现的隐喻”。

　　单独由文字呈现的隐喻如“我们的祖国是花园”为单模态隐喻,而除了文字外,加上图片或声音、音乐等其他模态的呈现方式,这个隐喻就变成了多模态隐喻。

　　多模态隐喻的界定涉及源域与目标域的不同模态,操作起来比较复杂,因本研究语类为口语诗,涉及的模态为口头言语、体态和音韵特征,故采用 Cienki & Müller关于口语中对单模态隐喻和多模态隐喻的界定,其中单模态隐喻指言语隐喻或手势隐喻,多模态隐喻即手势-言语隐喻(verbo-gestural metaphor) ,这里考察口头言语、手势和音韵特征三种模态。

　　手势隐喻参照 McNeill的分类和 Cienki &Müller的方法,即用手势表示抽象所指或用具体所指手势表达特定的语用功能的手势即隐喻手势; 言语隐喻采用Pragglejaz Group的隐喻辨认程序(Metaphor Identification Procedure)来进行编码,即特定语境中一个词汇单元的意义与其更基本的实体意义不同,而且该语境意义得依靠与其更基本的实体意义相比较来理解,那么该词汇单元即为言语隐喻。

　　国外关于多模态隐喻的研究正开展得有声有色,研究成果涉及广告、政治讽刺画、漫画、口语、音乐和影视作品等各种语类,研究议题包括多模态隐喻的识别和解读、多模态隐喻的语类性特征、多模态隐喻的区别性特征、隐喻的体验基础与文化基础、隐喻和转喻的动态构建过程、多模态隐喻的表征方式等。

　　国内关于多模态隐喻的研究始于最近两年赵秀凤、谢竞贤等对国外多模态隐喻研究成果的介绍,张辉 & 展伟伟、冯德正 & 邢春燕等学者对多模态隐喻动态构建和表征方式的探讨,以及王凤对多模态隐喻的语言哲学研究基础的探讨等。其中江桂英 &李恒探讨了划拳中的手势隐喻、李恒等阐释了演讲中的隐喻手势,而目前还少有对多模态隐喻中不同模态之间的分工与合作的研究。然而手势、韵律特征等模态对隐喻表达的影响很大,理应受到重视。言语、手势和音韵特征之间的互动是否有主次之分,是否彼此互补,是否加强或削弱其他模态提供的信息,都值得研究和探讨。本文基于Lakoff & Johnson的概念隐喻理论,采用多模态分析软件 ELAN 对口语诗《广岛》中多种模态进行标注和分析,探讨各种模态在多模态隐喻意义构建中的耦合现象。

　　二、口语诗《广岛》中多模态隐喻的赋码方案

　　本研究采用美国诗人 Sarah Kay 在 2011年 TED 演讲中的口语诗作为语料,因为 SarahKay 是口语诗表演的代表人物之一,受到无数美国青年的喜爱和追随,其口语诗《广岛》具有相当广泛的影响力,深受观众的喜爱。

　　本研究采用 ELAN 软件对 Sarah Kay 口语诗“广岛”进行分割、转写和标注。ELAN(EUDICO Linguistic Annotator) 是由荷兰马普心理语言学研究所开发的一个跨平台(Win-dows、Mac OS、Linux) 的多模态话语分析软件,广泛运用于态势语研究、话语分析和口语语料库建设等方面。ELAN 可以通过对视频、音频文件的多层级同步标注来分析说话者的话语内容、面部表情、体态手势、语音语调等。

　　ELAN 视频播放能精确到 0. 01 秒,便于对视频和音频进行时间段的分割和标记、精确定位和循环播放; 根据时间标签,可以实现标注与图像、声音、文本精确同步进行、即点即播;允许用户根据研究需要自行设定层级数量和顺序,自行编订标注编码表; 标注与标注之间可以横纵向对比,方便检查与研究。ELAN 工具在应用语言学研究中具有广泛的应用前景,对我们开展基于多模态语料库的第二语言研究具有重要的方法论意义。

　　所以ELAN 软件应该是分析多模态隐喻中不同模态的比较理想的工具。使用 ELAN 之前,首先要对分析的模态进行赋码。本文探讨的是多模态隐喻中不同模态如何互动来动态构建意义的,需要考察视觉模态中的手势和听觉模态中的口头符号和音韵特征,因此赋码方案包括三部分: 音韵特征、手势特征和隐喻类别。

　　音韵特征包括语调、重音、停顿和语速 4个部分。手势特征采用 McNeill (1992)的分类,即把手势分成四类: 指示性手势、图式手势、隐喻手势和节拍性手势。指示性手势(deictic) 是指向实物或某个具体位置的手势,如用手指黑板等; 图式手势(iconic) 是描述实体的形式、运动或实体间关系的手势; 隐喻手势(metaphoric) 是用手表达一个抽象概念的手势; 节拍性手势(beats) 是指重复用手打节拍以进行强调的手势。然后根据手势由单只手或双手完成再分为左、右、双手三类。隐喻分为言语隐喻、手势隐喻和言语-手势隐喻。根据编码原则,[P]、[G]、[M]分别代表手势特征、音韵特征和隐喻类别,其中[PIR]和[PIF]分别代表升调和降调,[PIL]代表平调,[PIFR]即先降调再升调; [GIL]表示由左手完成的图式手势,[GIR]表示由右手完成的图式手势,[GIB]就是由双手完成的图式手势; [MV]和[MVG]分别代表言语隐喻和言语-手势隐喻等,赋码方案如表 1。

　

　　根据以上赋码方案用 ELAN 对视频和音频软件进行分割和标注后,可以看出该标注文件共8 个层级,依次为: 话语转写(Transcription) 、手势(Gesture) 、隐喻(Metaphor) 、语音语调(Into-nation) 、重音 (Stress ) 、语速 (Tempo ) 、停 顿(Pause) 和备注(Note) 。其中话语转写是将Sarah Kay 的口语诗《广岛》转写成文字; 手势部分详细标注了指示性、图式、隐喻和节拍性四种手势; 隐喻部分区分了言语隐喻和言语-手势隐喻,语音语调、重音、语速和停顿属于音韵特征。本研究的核心部分就是多模态隐喻中的言语、手势和音韵特征,分析三种模态如何互动来构建多模态隐喻。

　　首先在 ELAN 中分别打开视频和音频文件后,要先把视频、音频文件根据手势和话语特征分割成不同的时间段,方便对每一段进行标注。口语诗《广岛》共被分成了 95 段,然后分别对 8 个层级一一进行标注,这个过程需要极大的耐心和细致,对不确定的地方可以反复斟酌修改。根据表一中的赋码方案在ELAN 软件中分别标注视频文件和音频文件后,再合并标注。合并标注后,每一个分割标记都可以反复查看、对比、分析,还可以导出统计结果以便进一步分析。

　　三、多模态隐喻中不同模态的数据分析

　　笔者分别在 2013 年 1 月和 12 月对同一视频文件进行了两次标注,标注一致性信度系数为 0. 98,对不一致的标注又找同行进行了探讨和确定。根据标注结果首先对各种隐喻的使用频率进行统计,统计结果见表 2。

　　从统计结果来看,口语诗《广岛》中的手势隐喻和多模态隐喻非常丰富,其中单模态言语隐喻 1 个,单模态手势隐喻 22 个,多模态隐喻 15 个,三类隐喻一共占标注段总数的40% ,这与传统诗歌中隐喻的使用情况相类似。隐喻可以说是诗歌的灵魂,没有隐喻就没有诗。“隐喻是诗歌的生命原则,是诗人的主要文本和荣耀,隐喻是诗歌的实质,诗人的大脑完全是一套隐喻的句法。”

　　与传统诗歌不同的是,口语诗《广岛》中诗人的手势非常丰富,因此言语-手势的多模态隐喻也分布广泛。15 个多模态隐喻的各种模态使用情况见表 3。

　　

　　从以上统计数据来看,口语诗《广岛》中15 个多模态隐喻意义的构建中,音韵策略使用共 31 项,包括升调、降调、升降调、短暂停顿、重音、慢速和快速七类; 手势共 15 项,包括双手图式手势、双手隐喻手势、左手隐喻手势和右手隐喻手势四类。每一个多模态隐喻都伴有语调和手势,其中 1 个多模态隐喻综合运用了升调、慢速、停顿、重音和双手隐喻手势,4 个多模态隐喻综合运用了 3 种音韵特征加手势。这说明在口语诗《广岛》中,音韵特征和手势的使用也非常重要,三种模态相辅相成、共同构建了多模态隐喻的意义。

　　四、多模态隐喻中各种模态的耦合分析

　　在多模态隐喻中,诗人的言语是突出的模态,承载着信息的中心意义。诗人通过口头言语的方式确定了隐喻的内容,与言语同时出现的手势通常体现了隐喻的源域或目标域,而音韵特征更加凸显了言语内容的核心。因此,诗人的言语与言语音韵特征、语伴手势的耦合创建了多模态隐喻的意义,建立了隐喻从源域到目标域形象的映射。不同模态间的耦合体现在时空、语义和语境三个方面。

　　(一) 时空耦合

　　时空耦合是地理学上的专业术语,指时间及空间这两大范畴纳入某种统一的基础之中,才能真正认识地理学的基础规律。本研究中时空耦合指言语、手势和音韵特征在时间和空间上相互作用达到统一从而共同构建语义的概念。言语及音韵特征体现了时间线上的连贯特征,而手势可灵活描述空间关系、大小、形状、运动、路径等,体现了三维空间的特性,时空上的耦合把三种模态连贯起来。

　　从表 4 中三种模态呈现的时间来看,表达相同或相似的概念时,三种模态基本上是同步的,虽然时有手势稍先于或稍晚于言语出现或结束,如“he'll come back as a baby”,但多模态隐喻的整体呈现未受到影响,因为诗人语速整体来说比较快,手势时间上的延长在视觉上给予观众更明显的冲击,更利于诗人表达特定的多模态隐喻,便于观众理解其含义。

　　

　　(二) 语义耦合

　　语义耦合指不同模态在构建多模态隐喻时用不同方式呈现相同或相似的概念,完成了从源域到目标域的映射。当诗人在表达“So every living animal,human or plant receivedirect contact with the raze from that sun,wasinstantly turn to ash”时,呈现了“原子弹是太阳”的多模态隐喻。目标域由单模态言语来呈现,但源域通过言语、音韵特征和手势三种模态共同呈现。诗人在表述“sun”前稍有停顿,语速较慢,配合重音突出了源域“sun”,同时配合图式手势临摹太阳的形状后,掂量了一下,掂量的手势突出体现了物体的重要性,这里强调的是太阳强大的能量辐射,投射到目标域中原子弹爆炸产生的强冲击波。在三种模态的共同作用下,完成了“原子弹是太阳”的多模态隐喻的语义耦合。

　　

　　(三)语境祸合

　　语境祸合指语篇当中逻辑语境、心理语境与背景语境三元互动,创建宏观语境的耦合方式。

　　在多模态隐喻意义的构建中,诗人的言语、手势与音韵特征耦合互动,各种模态互相作用、互相影响,体现了逻辑、心理和背景语境的互动,达到了和谐的统一。如在表达“the explosion formed a mini -supernova”时,诗人用缓慢的语速、降调和对关键词“ex-plosion”和“mini - supernova”的重读,配合相应的手势,生动地传递了“原子弹是超新星”的多模态隐喻。犹如超新星般带来的毁灭性的灾难通过手势呈现出源域,目标域原子弹爆炸的无限威力在向外扩张的手势中体现得非常贴切; 慢速的言语呈述相配合,一起为口语诗《广岛》定下了沉重的开篇基调。言语“So every living animal,human or plant receivedirect contact with the raze from that sun,wasinstantly turn to ash”、音韵特征及手势耦合共同体现了逻辑语境,即原子弹爆炸的威力和产生的影响众所周知,背景语境由口语诗标题和“When they bombed Hiroshima”导出1945年 8 月 6 日美国在日本广岛投射原子弹的事实,诗人缓慢的语速、关键词的重读体现了沉重的心理语境。三种模态互动耦合动态地建构起形象的宏观语境,同时完成了多模态隐喻的意义构建。

　　言语、手势和音韵特征提供的信息得到了充分整合,言语提供解释,手势指明动作的产生和后果,音韵特征突出言语的内容,不同的符号模态一起动态互动,通过一系列的组合形成连贯的语篇,在各种模态中实现了贯通,因此达到了意义上的统一,共同来呈现多模态隐喻。

　　五、结语

　　以往对言语交际的研究强调语言模态方面,而把其他模态,如音韵特征、姿势、动作等看作是“副语言的”,没有把它们作为与言语同时作用的完整的符号资源来考虑。事实上,各种模态在意义呈现中都起着不可忽视的作用,所有模态发展成产生意义的互相连接的可供选择的网络,该网络为意义的呈现提供了背景和框架。对多模态隐喻中各种模态的探讨,不仅有利于揭示隐喻思维层面的内容,更有助于探讨口语交际中各种模态的符号意义。

　　本文基于 ELAN 软件分析了口语诗《广岛》中多模态隐喻的动态构建方式,发现言语、音韵特征和手势三种模态相互作用,在时空、语义和语境方面互动耦合,协调一致地构建起多模态隐喻的意义,同时多角度地突出了语篇的主题与中心意义。研究发现 ELAN软件对多模态文本的分析非常实用,不过本研究仅为多模态分析方法的初步尝试,尚有不足,希冀此拙作能起到抛砖引玉之效,带来语言学研究中更好的多模态分析技术与方法。

　　参考文献:
　　[1]李行健. 现代汉语规范词典[M]. 上海: 外语教学与研究出版社,2004.