心理语言学论文
摘 要： 人类如何处理并交换空间信息是现有空间认知领域的热点问题,这一过程主要是通过涉空对话实现的。在涉空对话中存在着表征对齐现象,互动双方在对话中会实现空间术语、空间参照系及空间视角等表征的对齐。空间场景物理特征和人与人的协作都会影响表征对齐的程度,而实现表征对齐的生理基础是对话双方神经活动的一致性。未来可继续探究表征对齐的作用机制,如与个体空间偏好的关系,以及合作伙伴特征如何影响表征对齐的程度等。
关键词： 涉空对话; 空间协作; 交互对齐模型; 表征对齐;
Abstract： How do people process and communicate spatial information with others in spatial dialogue is a widely studied issue in the domain of spatial cognition. The scholars have found that there is a common phenomenon in spatial dialogue that people who communicate with their partners in spatial dialogue will achieve alignment at different representational levels, such as spatial terms, spatial frames of reference, and viewing perspectives. The physical characteristics of the spatial scene and the collaboration between people will affect the degree of representation alignment. The physiological basis for realizing representational alignment is the consistency of the neural activities of the speakers and listeners. In the future, we can continue to explore the mechanism of representation alignment, such as the relationship between representational alignment and inpidual spatial preferences, and how partners' characteristics affect the degree of this alignment.
Keyword： spatial dialogue; spatial collaboration; interactive alignment model; representational alignment;
1 、引言
在日常生活中,人们往往会采用多人合作的方式来解决与空间相关的复杂任务。这些任务可能是如何从A地点到达B地点,可能是如何将现有家具布置到新的办公区域,也可能是如何规划一条行走路径。在此类任务中,人们会思考空间关系,并尝试与他人进行交流以共同实现目标,这种活动就是空间协作活动。空间协作(spatial collaboration),指的是多个个体进行综合合作以解决涉及物理空间的问题(Schafer&Bowman,2004),即共同努力解决空间问题的过程。对于任何给定的空间协作任务,都包含场景、任务目标、两个或两个以上的参与者以及参与者在空间协作中所承担的角色(说话者/听者)等元素。
在空间协作中,多个参与者为了达成任务目标,会针对空间及空间中的物体关系进行交流,并产生与空间相关的语言对话,即涉空对话。现有与涉空对话(spatail dialogue)相关的研究中,学者们主要关注空间协作任务中两个及两个以上的个体在对话中如何表征空间关系。例如,对话者们需要知道某个物体的位置、如何到达某个地方,或者如何将多种物体整合绑定在一起(Coventry et al.,2009)。在单人空间语言研究中,给定一个空间情景,人就能够通过认知加工确定出事物之间的空间关系,然后再据此运用适当的语言形式将其表达出来(张克定,王寅,2016)。而涉空对话研究的复杂性在于研究者们既要研究单个个体在头脑中进行的空间认知协调过程(包括感知和概念化空间关系、规划空间描述等),又要考虑对话者之间社会性的沟通协调过程(Clark,1996)。这就引起了学者们对空间语言的对话过程进行整合性研究的兴趣,开始探究人们如何谈论空间中的物体以及如何描述其空间属性,如互动双方是如何识别物体、找到共同参照系以及如何实现空间协作等内容。
当前涉空对话的研究主要包含两个方面：一是空间语言表征,主要研究对话的双方会采用什么样的空间术语去交流,以及在涉空对话中的语言表现(Coventry et al.,2014;N?lle et al.,2020;Rocca et al.,2018;Schole et al.,2018;Schoot et al.,2019;Vorwerg,2009)。二是空间认知表征,主要研究对话者在空间交流时采用何种空间表征方式(Burigo&Schultheis,2018;Galati&Avraamides,2015;Galati et al.,2018;Pouliquen-Lardy et al.,2015;Scalise et al.,2018)。有趣的是,在这两个方面的研究中均发现了一种所谓的表征对齐现象,即对话中互动双方会重复对方所使用的词汇、句法、参照系以及视角等(Branigan et al.,2000;Schober,2009;Watson et al.,2009),但在现有空间认知领域,与之相关的研究还较为零散。因此,本文尝试以涉空对话中的表征对齐现象为主要分析对象,就其产生机制及影响因素进行探讨,最后从脑结构方面进行一定的解释,来对这一问题进行较为系统的总结,这将有助于我们对涉空对话认知过程的理解。
2 、涉空对话中的表征对齐及其认知机制
2.1 、什么是表征对齐？
对齐(alignment)这个概念源于Pickering和Garrod (2004)提出的交互对齐模型(Interactive Alignment Model)理论。该理论的核心观点为：当人们进行对话交流时,他们的表征在许多不同的层次上都会变得更加一致。例如,Branigan等(2000)采用图片描述-匹配任务进行了研究,他们发现当合作伙伴采用双宾语结构(DO)描述图片为“厨师扔给游泳者一个水壶”时,听者会倾向于将图片也描述为DO结构的“牛仔递给窃贼一个香蕉”;当合作伙伴采用介词宾语结构(PO)描述图片为“厨师将水壶交给游泳者”时,听者就会将图片描述为PO结构的“牛仔将香蕉递给窃贼”,证实了对话中存在短语结构的重复现象。
交互对齐模型认为,对话之所以成功,是因为对话者们以相同的方式去理解他们正在讨论的内容的相关方面。更具体地说,对话的双方会为谈论中的情景建立一个如图1所示的心理模型,并且对话只有在语音、语义、句法以及情境模型等不同层次的表征都趋于一致时才能取得成功(Pickering&Garrod,2004,2013)。在交互对齐模型中,高层次情境模型的对齐往往是在低水平的语言表征层次上都趋于一致后发生的,比如图1中对话者A和B先在词汇、句法和语法层面上达成表征一致,进而在输出信息层次上达到表征一致,最后实现情境模型的一致。
图1 交互对齐模型(译自Pickering&Garrod,2004)
研究者认为,表征对齐是涉及多个表征层次的一种自动启动(priming)机制。对话者能够将语言行为的多个属性一一对应起来,实现从韵律、词汇、句法、语言结构,再到最终共享概念表征的对齐(Christensen et al.,2016;Pardo et al.,2012;Fusaroli&Tylén;2016)。这种启动导致的对齐主要有三个过程：流程1 (自动化调整过程)涉及在各层次语言表征中的启动,以及表征在不同层次水平之间的传递;流程2 (校准对齐过程)主要是为了发现在自动化对齐中存在的错误,并进行相应的错误校正;而在流程3 (建模过程)中会对合作伙伴的心理状态进行明确的推理,然后建立一个相对应的心理模型,最后进行表征对齐。流程3往往是作为自动对齐过程失败后的最后手段。交互对齐模型认为,自动启动机制既存在于较低层次(流程1)的表征对齐中,又存在于更高等级的建模过程(流程3)中(Pickering&Garrod,2006)。
研究者们发现这种语言学的一般性表征对齐现象,在涉空对话中也同样适用。在涉空对话中,对话双方为就空间关系达成一致理解,也倾向于采用相似的空间术语以及空间句法结构去描述空间关系。例如,Garrod和Anderson (1987)在最早研究涉空对话时采用成对的被试合作完成迷宫游戏,率先发现了在涉空对话中互动双方会通过质询和反问的方式重复对方的词汇内容和短语结构,以达成双方关于位置信息的共同认识。这一结果表明,在涉空对话中互动双方会倾向于重复对方使用的词汇或与对方保持一致的空间句法结构,即在涉空对话中也存在交互对齐模型中的重复性/一致性的表征对齐现象。于是研究者们开始在涉空对话中广泛研究这种表征对齐现象,以探究涉空对话的作用机制(Coventry et al.,2009;Coventry et al.,2018)。
2.2、 涉空对话中存在表征对齐的证据
空间关系表征能力是空间认知能力的一个重要方面,人们可以借助物体间或其与环境特征间的关系来正确表征空间位置(窦文菲,胡清芬,2018)。根据前文的论述,我们可以得知涉空对话中双方在空间用词和空间术语上会实现对齐。那么,在对空间的纯视知觉信息进行加工时,如进行静态空间表征(空间参照系选择、空间视角采择)和动态空间表征(空间巡航)时是否也存在这种表征对齐呢？下面本文将从这两个维度来回答这一问题。
2.2.1、 静态空间表征对齐
为了衡量涉空对话中的表征对齐,学者们起初采用简单的图片描述-匹配任务来评估涉空对话中的空间表征方式。在这一类研究中,研究者要求成对的被试相对坐在桌子前,用板子隔开,轮流向对方描述图片,然后匹配与对方所描述一致的图片。Watson等人(2004)就运用图片描述-匹配任务考察了涉空对话过程中参照系的表征方式。在他们的实验中,采用了Levinson (2003)参照系分类标准,被试需要依据合作伙伴的描述,自行选择内在(intrinsic)参照系或相对(relative)参照系判断图片中某点相对于某参照物的位置。例如,合作伙伴描述道“点在椅子的下方”(相对参照系),被试也需要使用某种参照系来表征点与椅子的空间关系。研究发现当其合作伙伴采用内在参照系描述空间关系时,被试会倾向于采用内在参照系;而当其合作伙伴使用相对参照系描述时,被试则也会倾向于采用相对参照系。这就表明在涉空对话中,互动双方选择空间参照系时会受到合作伙伴的影响,倾向于保持一致的空间参照系表征。
研究者们逐渐发现单一的图片描述-匹配范式不足以研究更复杂的空间表征方式,于是开始采用真实立体的场景进行桌面空间协作任务,探究互动双方如何表征空间关系。典型的桌面空间协作任务通常包含一对被试,二者被隔板隔开,能交流但不能看到对方的桌面布局;其中一个被试先学习记忆空间布局,再向另一被试描述空间布局,另一个被试则需要根据这些描述将空间布局进行判断或重构(Galati&Avraamides,2015;Galati et al.,2018)。Galati和Avraamides就采用了这种桌面协作任务探究社交线索和表征线索对涉空对话中关系表征的影响。研究结果表明,描述桌面布局的指示者(director)会更多地采用类似于“花瓶在你的左边”这样的空间描述去表征空间关系,即采取了合作伙伴匹配者(matcher)的视角。显然,在涉空对话中为了达成一致的空间理解,互动双方在空间视角的表征上也会实现对齐。
2.2.2、 动态空间表征对齐
随着虚拟现实技术在空间认知研究领域的广泛应用,学者们也开始对虚拟环境中的空间协作产生了兴趣,渐渐开始使用虚拟空间巡航协作任务来探究多个用户的同步涉空对话方式(Müller et al.,2017)。常见的虚拟空间协作任务是在混合聚焦的协作虚拟环境中进行(CVEs,Collaborative virtual environments)。在此类任务中,每个用户分别在虚拟环境中进行动态导航,各自拥有一个虚拟化身提供可视化的位置与方向的指示;当其中的一个物体被移动时,所有用户都可以在自己的显示屏上看到此操作(Schafer&Bowman,2004;Liang et al.,2019),被试需要在3D环境中于不同位置向合作伙伴提供如何找到目标的指令(Pouliquen-Lardy et al.,2015)。研究者们通过这些虚拟空间协作导航研究发现在描述空间场景时,相比于以自己的空间视角来表征空间关系,被试更倾向于采用以合作伙伴视角为中心的空间表征方式,即保持与合作伙伴一致的视角(Pouliquen-Lardy et al.,2015;Pouliquen-Lardy et al.,2016;Milleville-Pennel et al.,2020),这意味着在动态的协作空间导航中也存在着表征对齐现象。
以上证据表明,在涉及空间协作的涉空对话中存在着一种广泛的表征对齐现象,互动双方不论是在静态空间表征还是动态空间表征中,都倾向于实现空间视知觉表征的对齐。
2.3、 涉空对话中表征对齐的认知机制
要想实现成功的涉空对话,至少要让对话双方理解并生成相应的空间描述。从空间语言表征层面,表征对齐的实现是因为他们依赖了交流过程中先前使用过的表征信息,所以表征对齐是启动先前信息的结果(Pickering&Garrod,2006)。而从空间认知表征层面而言,对话伙伴在描述和解释空间场景时需要协调三个方面的信息：(1)从场景获得的感知几何学信息;(2)关于目标物体的全局性信息;(3)被确立为对话的共同基础的共享信息(Dobnik,2012)。因此,涉空对话中的表征对齐现象可以解释为：在空间交流时,对话双方会先调整他们的行为输出模式(在词汇或句法层面),然后在情境模型层次(空间表征方式)的调整也相应变得容易了,最终能够实现共享空间语言层面的表征对齐。
此外,Clark提出的共同点理论(Common Ground)也常常被用来解释涉空对话中的这种表征对齐现象,该理论认为成功的交流和协作依赖于共同点,即说话者和听话者的共同知识和经验,这些知识和经验在任何对话中都是可以相互利用的,对话双方在对话过程中会不断动态地评估彼此所知道的,并利用这些知识形成随后的话语(Clark,1996)。例如,当我们谈论物体的位置时,一般会通过以下几种方式实现物体的定位：1)引用它们相对于其他物体的空间位置;如咖啡馆位于邮局的左边;2)给出两个物体之间的空间距离,如咖啡馆距离邮局30米远;3)给出路径方向,离开邮局向左走30米就可到达咖啡馆。所有的这些日常空间描述过程都需要建立共同点,以协调对话双方在同一场景下由于相对位置不一致导致的不同视角,最终达成一致理解形成一个共同的空间场景认知模式。
涉空对话中常见的共享知识主要涉及空间视角(spatial perspective)和空间参照系(spataial reference frame)的分配,例如,桌子的位置可以被描述为“在椅子左侧”、“在椅子右侧”、“在椅子后面”或“在椅子的南边”。在解释和生成空间描述时,人类依赖于空间场景中的不同空间线索灵活选择空间参照系,从而实现对空间中物体位置和方向的感知和记忆。实际上,在涉空对话中,实现表征对齐的基础是互动双方需要建立一个公共的参照系(Common Frame of Reference,COFOR),即一组由合作者不断更新并促进信息共享的兼容性的空间表征方式。COFOR与空间认知相关,且涉及动作空间的感知与理解(如位置、距离和深度)等,它包含共享空间内物体及合作伙伴位置的有效信息。共享空间参照系的制定需要依赖于不同类型的言语与非言语交流(空间表征方式),而非言语交流受到环境特征的高度限制(Milleville-Pennel et al.,2020)。为了更好地共享空间表征,说话者必须假设其合作伙伴在空间中识别物体位置和理解空间描述的能力。而这些假设会直接影响说话者描述空间场景的方式。通常来说,涉空对话中会有两种空间描述方式,一种是以自我为中心的编码,对物体在空间中相对于我们自己位置的位置进行编码;而另一种方式是以他人为中心的编码,独立于我们自己在空间中的位置,把合作伙伴视为原点进行空间编码。
共同点理论和交互对齐模型虽然都强调了对话双方需要共享信息,但共同点理论强调共享的是对话中每个个体自己的知识信息,然后在对话进程中不断更新共同点;而交互对齐模型则只共享对话者双方重叠的部分,共享信息的数量更少且不需要不断更新。前者共享数量多且持续时间长,后者共享数量少且只需间接性共享。其实不论是共同点理论还是交互对齐模型都暗含一个意思,即对话双方形成一致理解都是为了尽量减少每个人在对话过程中的投入成本,以达成最低成本的协作努力。
在涉空对话过程中,人们也会试图通过遵循Clark和Wlikes-Gibbs的最小协作原理(1986),尽量减少双方的努力,而不仅仅是他们自己的努力。从而能够促使互动双方采用同一种空间表征方式去完成空间协作,即实现空间认知表征的对齐。Pouliquen-Lardy等人(2016)采用的远程虚拟协作任务就验证了最小协作原理。他们让两个操作者进行合作,一个是任务指导者,一个是任务执行者,运用空间场景知识协作完成虚拟飞机工厂的维护任务。结果发现,两个合作者采用了最小协作原则作为交换空间信息的策略。当任务指导者采取某种特定视角时,他们更倾向于选择任务执行者的视角,而不是自己的视角。这是因为他们在任务期间考虑到了双方会有不对称的认知加工资源,为了降低整个任务双方共同的努力成本,从而更容易选取以他人为中心的视角。
3 、影响涉空对话中表征对齐的因素
当人们想要朋友递过来一支笔时,他们通常会说“请把位于那本红色书籍右边的钢笔递给我”,这句话中：红色书籍是参照物,右边是空间术语,采用的参照系是内在参照系,而朋友是对话伙伴。在这段简单的涉空对话可以明显的看出三个线索：空间线索(钢笔在书的右边)、语言线索(空间术语)、社会线索(合作伙伴)。而空间线索可以从空间场景物理特征的角度进行分析,语言线索和社会线索可以从人与人的协作这个角度进行分析。因此,本文将从空间场景物理特征和人与人的协作这两个方面去探究影响涉空对话中表征对齐的因素。
3.1 、空间场景物理特征
3.1.1、 物体空间布局
从空间线索角度出发,物体空间布局属性和物体之间的功能关系等空间因素都有可能影响到涉空对话的表征对齐程度。一方面空间布局能影响对话者表征空间关系的方式。例如,说话者可以利用感知到的物体空间布局特性(如内部轴),来覆盖原本以自我为中心的描述视角(Tenbrink et al.,2016;Coventry et al.,2018;Peacock&Ekstrom,2018)。另一方面,互动双方会根据特定任务的要求权衡空间布局与自身位置、合作伙伴位置之间的关系,动态地调整表征对齐的程度(Galati&Avraamides,2013;Galati et al.,2019)。例如,当空间布局的内在结构朝向与伴侣的视角趋同时,表征对齐现象就比较明显,说话人会通过从合作伙伴的角度描述空间关系来减轻对方的认知负担;而当内在结构的朝向与说话人自身的视角趋同时,表征对齐现象则减弱,说话人会倾向于从自己的角度来描述空间信息(Galati&Avraamides,2015)。也就是说具有一定内在结构的空间布局会加强表征的对齐,促进以合作伙伴为中心的表征方式。
3.1.2、 物体功能关系
物体功能关系(object functions)是指空间场景中物体相互之间具有内在参照系、物体朝向等功能关系,它会影响人类对空间关系的理解和语言化,从而塑造了涉空对话中互动双方相互交流的空间表征方式。例如,当空间协作任务中线索特别明显时,如场景中有明显的优势参照系,或只有一种参照系可以正确解决相应问题时,互动双方基本会采用物体功能关系作为空间认知表征的方式(Christensen et al.,2016)。实际上,在涉空对话中,对话者会灵活地根据空间场景中物体功能关系调整他们对定向信息的描述,从而在不同程度上影响空间表征的对齐。Tenbrink等人(2016)的研究就证明了这点,他们令互动双方协作完成一项关于玩偶家具布局的空间联合任务。结果发现当家具之间具有一定功能关系时,正确放置家具物品的成功率更高,且能够更有效率地使用相同空间表征以获得对任务的一致理解。这就证明,涉空对话中互动双方是根据物体功能关系为合作伙伴提供明确的方向信息,以澄清空间中物体的位置及其方向。
3.2 、人与人的协作
人与人的协作对涉空对话的表征对齐有着重要的影响。一方面说话者会考虑到他们的收听者的信息需求,从而相应地调整描述空间的空间表征方式(Galati et al.,2017)。另一方面收听者也会在对话过程中通过言语和非语言行为进行反馈,进而向说话者展示他们的需求和理解(Metzing&Brennan,2003;Kuhlen&Brennan,2010;Christensen et al.,2016),最终协同完成空间任务。这种人与人的协作对空间认知表征对齐的影响主要体现在合作伙伴的特征上,本文将分别从合作伙伴的语言表征、空间能力、相对身体位置三个角度进行探讨。
3.2.1 、合作伙伴的语言表征
涉空对话的语言表征对齐是通过互动双方在使用蕴含空间关系的术语上保持一致所实现的,而空间语言表征对齐上存在着一种明显的语言启动现象。有研究表明,主试的指导语所代指的空间关系对被试选择何种表征方式格外重要,当空间布局中同时存在内在参照系和相对参照系两种空间表征方式时,被试往往倾向于采用指导语所提示的表征方式(Coventry et al,2018)。另外,在涉空对话中先前激活的空间表征方式会在后续的语境中得到重复。互动双方所采用的空间表征方式(空间词汇/空间参照系)会明显受到先前陈述中所采用的表征方式的影响。当话语权转到听者时,听者会倾向于使用之前听到过的空间表征方式(Vorwerg,2009)。研究者们认为听到某种句法结构使用(即语言启动)会导致说话者在随后的话语中重复这种结构的机会增加(Schoot et al.,2019),涉空对话中合作伙伴所使用的空间语言表征方式对表征对齐有着重要的作用。因此,研究涉空对话和设计空间协作任务时需要重点关注初始条件的设置,以便动态调节对话刚开始时被试会选取何种空间项目或空间词汇来表征空间关系。
3.2.2、 合作伙伴的空间能力
一系列研究表明涉空对话中互动双方对其合作伙伴的相对空间认知能力评估会影响到对话者如何实际地表征空间关系,从而导致表征对齐的程度有所不同。例如,一项研究就表明合作伙伴参与空间协作任务的能力会影响到对话者选择何种空间视角表征方式(Schober,2009)。当谈话中的一个伙伴与另一个同伴空间能力有等级差别时,低能力者更倾向于采取以自我为中心(他们自己的)的视角,此时空间表征对齐就难以实现;而高能力者则更倾向于采取以分配为中心(他们的合作伙伴)的视角,此时空间表征对齐就变得容易了。而Andonova (2010)在研究路径描述中空间视角的对齐时,也发现了高空间能力者能够在合作伙伴转换视角后灵活地调整自己所使用的空间视角表征方式,而低空间能力者在合作伙伴切换视角后难以及时转换自己的空间视角。以上研究表明了高空间能力的人或许能够更加灵活地切换、对齐空间认知表征,从而更容易地“调整”空间视角表征。
3.2.3 、合作伙伴的相对身体位置
涉空对话中互动双方还会根据合作伙伴的相对身体位置动态地选择空间表征的方式。在?zyürek (2002)的一项研究中就发现,当合作伙伴面对面坐着时,互动双方更可能使用与身体矢状轴(前后)有关的空间表征方式;而当他们并排坐着时,则更可能使用与身体水平轴(左右)相关的空间表征方式。?zyürek认为这两种相对位置会形成两种不同形状的“共享空间”,空间表征方式会被锚定在这个空间上。同样的,Galati等(2020)的研究也发现了这种相对身体位置对涉空对话中空间表征方式的影响,他们发现当面对面坐着时,互动双方更有可能在对话中对齐纵览视角(非自我中心)而不是路径视角(自我中心)。也就是说,为了达成空间理解的一致,对话者会放弃自我中心的视角而去跟合作伙伴保持一致的非自我中心的空间视角,实现空间视角表征的对齐。
综上所述,在涉空对话中,空间场景的物理特征和人与人之间的协作都会影响到涉空对话中空间表征的对齐。因为涉空对话实则是一项具有时间长度的活动,所以对话者在协作过程中是有可能改变空间表征方式的。随着时间的推移、空间策略的展开、应对合作伙伴反馈的突发事件以及在交流中多次角色的轮转等等,对话者一定程度上会改变所采用的空间参照系或者参照轴等(Galati et al.,2017)。因此,复杂的涉空对话场景要求未来的研究者必须综合考量多重线索和时间进程的作用,在更真实的情景中去探究涉空对话的表征对齐。
4、 涉空对话表征对齐的生理机制
要想实现成功的涉空对话,需要基于说话人大脑中产生空间语言的过程和基于听者大脑中理解空间语言的过程之间的精细互动。这就要求对话者在空间语言产生和理解的神经机制上具有共享性。交互对齐理论认为,如果说话者和收听者之间要实现不同层次的表征对齐,那么这些表征就需要以相同的形式进行编码(Menenti et al.,2012;Stolk et al.,2016)。脑-脑耦合理论和人际协同效应能为涉空对话中互动双方对齐空间表征提供神经学水平的解释。
4.1 、脑-脑耦合理论：重叠的脑域支持语言共同理解
脑-脑耦合理论假设,如果语言产生和理解语言的两种功能脑区在对话时能被同时激活,就可以说明说话者和听者的语言产生和理解语言这两个过程具有相同的表征编码形式。即在空间交流中说话者描述空间场景(语言产生)和听者理解空间场景(理解语言)时,相关的功能脑区会出现重叠现象。这就可以解释涉空对话中的表征对齐现象。下列的研究就证实了这点,Stephens等(2010)比较了说话者脑的激活与收听者脑的激活,发现说话者和听者的神经活动不仅在空间上具有重叠,而且在时间上也是相互耦合的。同样地,另一项f MRI研究的结果也验证了该假设,Menenti等(2012)发现了支持语义、词汇和句法处理的大脑区域在语言生产和语言理解之间很大程度上是共享的。
为了更进一步地确定在涉空对话中语言产生和理解之间相互耦合的大脑区域的神经反应,学者们考察了当对话双方在叙述同一地点时,说话人的大脑和听者的大脑之间明显变化的相关区域(Silbert et al.,2014)。结果发现,言语生成并不局限于左半球,而是形成了一个广泛的语言和语言外脑区的双向网络,并发现了语言产生和理解这两个系统的反应方式是相似的。该结果支持了这样一种假设,既支持语言生产又支持语言理解的共享神经机制有利于交流。有趣的是,在另一项最近的研究中发现了复杂情况下的耦合性比简单情境模型条件下的耦合性更强(Schoot et al.,2016a)。他们采用f MRI探究了描述抽象动物园地图的说话人与解释这些描述的听众之间的神经耦合。结果发现,交流越成功的听者在根据其合作伙伴所描述的内容来重建地图时,说话者和听者在该领域的大脑信号之间的相关性就越强。研究还发现,在左下顶叶皮质内,复杂情境模型条件下的两对脑-脑耦合比简单情境模型条件下的被试表现出更强的耦合作用。总之,对话双方能够在涉空对话中实现共同的空间理解的神经机制在于说话者和听者的神经耦合性,而这种耦合性是由于大脑中语言理解区域和语言生成区域具有功能重叠。
4.2 、人际神经协调：一致的神经活动支持即时交流
另一项支持成功进行涉空对话的神经机制是人际神经同步效应,即对话者在交流过程中会同步双方的神经活动(Jiang et al.,2012;Liu et al.,2017)。Jiang等(2012)使用f NIRS超扫描比较了对话语境和独白语境中的神经耦合。他们发现,左额叶下皮层的大脑间耦合在面对面对话中显着增加,但对于独白场景则不然。也就是说,在面对面的对话中,不同层次的(语言)行为和转向是一致的,而独白则不是这样。还有一项最新的f NIRS研究也支持了该结果,研究者发现在实时对话交流过程中人们语言生产和理解之间也具有共享的神经机制,当对话中共享句法表征时,右后颞上皮层(PSTC)和顶枕联合区(TPJ)左侧的人际神经同步效应(INS)增加(Liu et al.,2019)。上述神经学结果表明,人们在进行对话时双方的神经活动具有一致性,从而对话双方能够及时理解对方的语言并迅速给出即时反馈以顺利交流。
总之,从生理角度出发,脑-脑耦合效应和人际神经同步效应表明：涉空对话中说话者和听者在进行交流时可以同步他们的神经活动,且空间语言的理解和生成具有神经重叠现象。
5 、结语与展望
自然世界是由空间关系构成的,涉空对话研究可以帮助人们更好地理解空间概念是如何形成对话的。而一系列研究表明,在涉空对话过程中,从空间术语、空间参照系、空间视角到空间巡航等空间层次上存在一种表征对齐现象,具体表现为互动的双方在涉空对话中会重复对方所使用的空间术语、空间参照系以及空间视角等。根据交互对齐模型和共同点理论,人们之所以会实现表征对齐,是为了实现协作的最低成本付出。而相似的大脑神经结构生理机制决定了相同的认知机制,语言产生和理解语言这两个认知过程的神经机制具有相当一部分的重叠,从而表征对齐容易实现。涉空对话研究虽已取得一些进展,但目前还存在一些争议与不足。
首先,就涉空对话的研究方法而言,更真实情景的研究还需加强。就实验范式而言,现有的空间协作任务交流形势比较固定,合作的双方通常会被隔开,只能进行语言交流。而真实场景中,互动双方是会有眼神交流或肢体动作的反馈,并且一系列研究也证明了眼神交流会影响对话的效果(Jiang et al.,2012;Liu et al.,2019)。从而未来需要加强对自由交流情景下的涉空对话的研究。从神经机制的角度出发,目前涉空对话的神经机制研究基本上都只涉及简单的空间场景和比较独立的对话环境,主要原因是受限于设备无法完成复杂的空间协作任务。只有个别研究者采用核磁共振成像(f MRI)考察了较为复杂的空间行为——寻路过程中的涉空对话神经机制(Schoot et al.,2016b)。因此,未来的研究应考虑开拓更为适宜的空间协作范式,以便采用核磁共振成像、事件相关电位等技术考察实时涉空对话的神经机制。
其次,就涉空对话的研究内容而言,表征对齐的作用机制研究有待深入,学者们并不清楚涉空对话的表征对齐与个体空间偏好之间的关系。首先,已有研究表明个体有自己所偏好的空间表征方式。每个人都能够同时使用以自我为中心的参照系和以分配为中心的参照系,但大多数人会偏好优先采用这两种框架中的一种(Gramann,2013)。然而这种空间偏好仍然具有灵活性,如果受到语境因素或特定任务需求的刺激,对话者就能够转换参照系(Galati&Avraamides,2015)。显然,涉空对话的表征对齐现象会与个人空间偏好有冲突,个体在涉空对话中会选择坚持自己的偏好还是与合作伙伴实现表征对齐呢？Johannsen和de Ruiter(2013)对此进行了探讨,他们研究了对话者是否会为了对齐表征而采用与合作伙伴一致的空间参照系去表征物体的空间关系。结果发现合作伙伴启动的表征对齐现象只能在一定程度上削弱原有的偏好效应,个人的空间偏好仍然占主导作用。然而Dobnik等人(2014)的研究结果却发现表征对齐现象其实较为明显,在他们的实验中,对话者还是会倾向于与合作伙伴保持一致的空间表征方式,在空间参照系、空间视角等维度实现表征对齐。以上争议性结果表明研究者们对涉空对话的表征对齐现象的作用程度并未达成一致共识。未来的研究需要规范表征对齐现象的边界线索,探究在具体情境下表征对齐的作用机制。
最后,就涉空对话的研究对象而言,未来需要更深入探究合作伙伴调整空间关系表征的形式。一项有趣的研究就表明对话者空间视角的选择主要受社会归因的影响,而不是视角采择容易程度的影响(Galati et al.,2018)。他们发现把交流对象看作是主试还是合作伙伴对空间视角选择有重要影响。而Liang等人(2019)更是探讨了空间中合作双方的角色关系对涉空对话的影响,在实验中比较了竞争与协作这两种社会关系。他们把被试分为竞争组和合作组,允许他们彼此交谈,在同一虚拟物理空间中收集物体并记住物体位置。研究结果发现竞争组的任务完成速度快于合作组,而合作组记忆物体的数量要多于竞争组。这就表明在涉空对话中合作双方的角色关系能显着影响涉空对话的空间任务完成质量和空间记忆表征方式。因此,未来的涉空对话研究需要仔细考察合作伙伴在具有情境中编码和表征空间关系的机制。
参考文献
[]窦文菲,胡清芬.(2018).语言线索对空间关系表征的影响及其机制.心理发展与教育,34(5),633-640.
张克定(着),王寅(主编).(2016).空间关系构式的认知研究.北京：高等教育出版社.
[]Andonova,E.(2010)Aligning Spatial Perspective in Route Descriptions.In:C.H?lscher,T.F.Shipley,B.M.Olivetti,J.A.Bateman,&N.S.Newcombe(Eds.),Lecture Notes in Computer Science:Vol.6222:Spatial Cognition VII:International Conference on Spatial Cognition(pp.125-138).Springer,Berlin,Heidelberg.
[]Branigan,H.P.,Pickering,M.J.,&Cleland,A.A.(2000).Syntactic co-ordination in dialogue.Cognition,75(2),13-25.
[]Burigo,M.,&Schultheis,H.(2018).The effects of direction and orientation of located objects on spatial language comprehension.Language and Cognition,10(2),298-328.
[]Christensen,P.,Fusaroli,R.,&Tylén,K.(2016).Environmental constraints shaping constituent order in emerging communication systems:Structural iconicity,interactive alignment and conventionalization.Cognition,146,67-80.
[]Clark,H.H.(1996).Using language.Cambridge,UK:Cambridge University Press.
[]Clark,H.H.,&Wilkes-Gibbs,D.(1986).Referring as a collaborative process.Cognition,22(1),1-39.
[]Coventry,K.R.,Andonova,E.,Tenbrink,T.,Gudde,H.B.,&Engelhardt,P.E.(2018).Cued by What We See and Hear:Spatial Reference Frame Use in Language.Frontiers in Psychology,9,1287.http://h-s.doi.org.forest.naihes.cn/10.3389/fpsyg.2018.01287
[]Coventry,K.R.,Griffiths,D.,&Hamilton,C.J.(2014).Spatial demonstratives and perceptual space:Describing and remembering object location.Cognitive Psychology,69,46-70.
[]Coventry,K.R.,Tenbrink,T.,&Bateman,J.(Eds.).(2009).Spatial language and dialogue(Vol.3).OUP Oxford:Oxford University Press.
[]Dobnik,S.(2012).Coordinating spatial perspective in discourse.In Proceedings of the 4th Swedish Language Technology Conference(SLTC 2012)(pp.21-22).
[]Dobnik,S.,Kelleher,J.D.,&Koniaris,C.(2014).Priming and alignment of frame of reference in situated conversation.Proceedings of Dial-Watt-Semdial,9,43-52.
[]Fusaroli,R.,&Tylén,K.(2016).Investigating Conversational Dynamics:Interactive Alignment,Interpersonal Synergy,and Collective Task Performance.Cognitive Science,40(1),145-171.
[]Galati,A.,&Avraamides,M.N.(2013).Flexible spatial perspective-taking:Conversational partners weigh multiple cues in collaborative tasks.Frontiers in Human Neuroscience,7,618.http://h-s.doi.org.forest.naihes.cn/10.3389/fnhum.2013.00618
[]Galati,A.,&Avraamides,M.N.(2015).Social and representational cues jointly influence spatial perspective-taking.Cognitive Science,39(4),739-765.
[]Galati,A.,Dale,R.,&Duran,N.D.(2019).Social and configural effects on the cognitive dynamics of perspective-taking.Journal of Memory and Language,104,1-24.
[]Galati,A.,Diavastou,A.,&Avraamides,M.N.(2018).Signatures of cognitive difficulty in perspective-taking:is the egocentric perspective always the easiest to adopt?Language,Cognition and Neuroscience,33(4),467-493.
[]Galati,A.,Panagiotou,E.,Tenbrink,T.,&Avraamides,M.N.(2017).Dynamic strategy selection in collaborative spatial tasks.Discourse Processes,55(8),1-23.
[]Galati,A.,Symeonidou,A.,&Avraamides,M.N.(2020).Do aligned bodies align minds?The partners’body alignment as a constraint on spatial perspective use.Discourse Processes,57(2),99-121.
[]Garrod,S.,&Anderson,A.(1987).Saying what you mean in dialogue:A study in conceptual and semantic co-ordination.Cognition,27(2),181-218.
[]Gramann,K.(2013).Embodiment of spatial reference frames and inpidual differences in reference frame proclivity.Spatial Cognition&Computation,13(1),1-25.
Jiang,J.,Dai,B.,Peng,D.L.,Zhu,C.Z.,&Lu,C.(2012).Neural synchronization during face-to-face communication.The Journal of Neuroscience,32(45),16064-16069.
[]Johannsen,K.,de Ruiter,J.P.(2013).Reference frame selection in dialog:Priming or preference.Frontiers in Human Neuroscience,7,667.http://h-s.doi.org.forest.naihes.cn/10.3389/fnhum.2013.00667
[]Kuhlen,A.K.,&Brennan,S.E.(2010).Anticipating distracted addressees:How speakers’expectations and addressees’feedback influence storytelling.Discourse Processes,47(7),567-587.
[]Levinson,S.C.(2003).Space in language and cognition:Explorations in cognitive persity.Cambridge,UK:Cambridge University Press.
[]Liang,H.N.,Lu,F.Y.,Shi,Y.W.,Nanjappan,V.,&Papangelis,K.(2019).Evaluating the effects of collaboration and competition in navigation tasks and spatial knowledge acquisition within virtual reality environments.Future Generation Computer Systems,95,855-866.
[]Liu,W.,Branigan,H.P.,Zheng,L.F.,Long,Y.H.,Bai,X.L.,Li,K.Y.,…Lu,C.M.(2019).Shared neural representations of syntax during online dyadic communication.NeuroImage,198,63-72.
[]Liu,Y.C.,Piazza,E.A.,Simony,E.,Shewokis,P.A.,Onaral,B.,Hasson,U.,&Ayaz,H.(2017).Measuring speakerlistener neural coupling with functional near infrared spectroscopy.Scientific Reports,7,43293.http://h-s.doi.org.forest.naihes.cn/10.1038/srep43293
[]Menenti,L.,Pickering,M.J.,&Garrod,S.C.(2012).Toward a neural basis of interactive alignment in conversation.Frontiers in Human Neuroscience,6,185.http://h-s.doi.org.forest.naihes.cn/10.3389/fnhum.2012.00185
[]Metzing,C.,&Brennan,S.E.(2003).When conceptual pacts are broken:Partner-specific effects on the comprehension of referring expressions.Journal of Memory and Language,49(2),201-213.
[]Milleville-Pennel,I.,Mars,F.&Pouliquen-Lardy,L.(2020).Sharing spatial information in a virtual environment:How do visual cues and configuration influence spatial coding and mental workload?Virtual Reality,24,695-712.
[]Müller,J.,R?dle,R.,&Reiterer,H.(2017,May).Remote collaboration with mixed reality displays:How shared virtual landmarks facilitate spatial referencing.In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems(pp.6481-6486).New York,USA:Association for Computing Machinery.
[]N?lle,J.,Fusaroli,R.,Mills,G.J.,&Tylén,K.(2020).Language as shaped by the environment:linguistic construal in a collaborative spatial task.Palgrave Communications,6(1),1-10
[]?zyürek,A.(2002).Do speakers design their cospeech gestures for their addressees?The effects of addressee location on representational gestures.Journal of Memory and Language,46,688-704.
[]Pardo,J.S.,Gibbons,R.,Suppes,A.,&Krauss,R.M.(2012).Phonetic convergence in college roommates.Journal of Phonetics,40(1),190-197.
[]Peacock,C.E.,&Ekstrom,A.D.(2018).Verbal cues flexibly transform spatial representations in human memory.Memory,27(4),465-479.
[]Pickering,M.J.,&Garrod,S.(2004).Toward a mechanistic psychology of dialogue.Behavioral and Brain Sciences,27(2),169-226.
[]Pickering,M.J.,&Garrod,S.(2006).Alignment as the basis for successful communication.Research on Language and Computation,4(2-3),203-228.
[]Pickering,M.J.,&Garrod,S.(2013).An integrated theory of language production and comprehension.Behavioral and Brain Sciences,36(4),329-347.
[]Pouliquen-Lardy,L.,Mars,F.,Guillaume,F.,&MillevillePennel,I.(2015).Virtual collaboration:Effect of spatial configuration on spatial statements production.Cognitive Processing,16(1),337-342.
[]Pouliquen-Lardy,L.,Milleville-Pennel,I.,Guillaume,F.,&Mars,F.(2016).Remote collaboration in virtual reality:Asymmetrical effects of task distribution on spatial processing and mental workload.Virtual Reality,20(4),213-220.
[]Rocca,R.,Wallentin,M.,Vesper,C.,&Tylén,K.(2018,July).This and that back in context:Grounding demonstrative reference in manual and social affordances.Paper presented at the meeting of the 40th Annual Meeting of the Cognitive Science Society(pp.960-965),Madison,Wisconsin,USA.
[]Scalise,R.,Li,S.,Admoni,H.,Rosenthal,S.,&Srinivasa,S.S.(2018).Natural language instructions for human-robot collaborative manipulation.The International Journal of Robotics Research,37(6),558-565.
[]Schafer,W.A.,&Bowman,D.A.(2004).Evaluating the effects of frame of reference on spatial collaboration using desktop collaborative virtual environments.Virtual Reality,7(3-4),164-174.
[]Schober,M.(2009).Spatial dialogue between partners with mismatched abilities.In,K.Coventry,T.A.Tenbrink&J.Bateman(Eds.),Spatial Language and Dialogue(Vol 3,pp.23-39).Oxford:Oxford University Press.
[]Schole,G.,Tenbrink,T.,Andonova,E&Coventry,K.R.(2018,July).Object Orientation in Dialogue:A Case Study of Spatial Inference Processes.Paper presented at the meeting of the 11th International Conference,Spatial Cognition 2018,Tübingen,Germany.
[]Schoot,L.,Hagoort,P.,&Segaert,K.(2019).Stronger syntactic alignment in the presence of an interlocutor.Frontiers in Psychology,10,685.http://h-s.doi.org.forest.naihes.cn/10.3389/fpsyg.2019.00685
[]Schoot,L.,Heyselaar,E.,Hagoort,P.,&Segaert,K.(2016b).Does syntactic alignment effectively influence how speakers are perceived by their conversation partner?PLOS One,11(4),e0153521.http://h-s.doi.org.forest.naihes.cn/10.1371/journal.pone.0153521
[]Schoot,L.,Stolk,A.,Hagoort,P.,Garrod,S.,Segaert,K.,&Menenti,L.(2016a).Finding your way in the zoo:How situation model alignment affects interpersonal neural coupling.Poster presented at the Eighth Annual Meeting of the Society for the Neurobiology of Language(SNL2016),London,UK.
[]Silbert,L.J.,Honey,C.J.,Simony,E.,Poeppel,D.,&Hasson,U.(2014).Coupled neural systems underlie the production and comprehension of naturalistic narrative speech.Proceedings of the National Academy of Sciences,111(43),E4687-E4696.
[]Stephens,G.J.,Silbert,L.J.,&Hasson,U.(2010).Speakerlistener neural coupling underlies successful communication.Proceedings of the National Academy of Sciences,107(32),14425-14430.
[]Stolk,A.,Verhagen,L.,&Toni,I.(2016).Conceptual alignment:How brains achieve mutual understanding.Trends in Cognitive Sciences,20(3),180-191.
[]Tenbrink,T.,Andonova,E.,Schole,G.,&Coventry,K.R.(2016).Communicative success in spatial dialogue:The impact of functional features and dialogue strategies.Language and Speech,60(2),318-329.
[]Vorwerg,C.(2009).Consistency in successive spatial utterance.In,K.Coventry,T.A.Tenbrink&J.Bateman(Eds.),Spatial language and dialogue(Vol.4,pp.40-55).Oxford:Oxford University Press.
[]Watson,M.E.,Pickering,M.J.,&Branigan,H.P.(2004).Alignment of reference frames in dialogue.In K.D.Forbus,D.Gentner,&T.Regier(Eds.),Proceedings of the26th annual conference of the Cognitive Science Society,26.Retrieved from http://h-s.escholarship.org.forest.naihes.cn/uc/item/9t95b48d
[]Watson,M.E.,Pickering,M.J.,&Branigan,H.P.(2009).Why dialogue methods are important for investigating spatial language.In K.Coventry,T.A.Tenbrink&J.Bateman(Eds.),Spatial language and dialogue(Vol.2,pp.8-22).Oxford:Oxford University Press.