在日常生活或工作的人際交往中，我們不僅需理解對方言語的字面意義，更要領(lǐng)會其背后蘊(yùn)含的交際意圖。準(zhǔn)確理解對方的交際意圖對于成功和高效的社交互動至關(guān)重要。目前，認(rèn)知神經(jīng)科學(xué)領(lǐng)域的一個重要前沿科學(xué)問題便是交際意圖理解的動態(tài)神經(jīng)機(jī)制。

交際意圖不僅體現(xiàn)在話語的詞匯選擇上，在很多情況下需要依賴額外的語言外線索來傳達(dá)或解讀。其中，一種重要的語言外線索便是“韻律”（即話語的輕重緩急、高低起伏等語調(diào)變化）。例如，當(dāng)某人對朋友說：“我在猶豫要不要買這個品牌的設(shè)備。”朋友回答：“我們調(diào)查了它的質(zhì)量。”若此話語的語調(diào)上升且基頻較高，可能意味著朋友對設(shè)備質(zhì)量的贊美之情及“建議”購買的意圖；若語調(diào)降低且基頻壓低、延長發(fā)音，則可能意味著對設(shè)備質(zhì)量的否定及“警告”不要購買的意圖。從現(xiàn)有研究推論，基于韻律線索理解交際意圖，在許多情境下，可能會涉及聽覺感知、情感態(tài)度分析以及意圖解釋等一系列逐漸抽象的心理表征的建構(gòu)。系列加工假設(shè)認(rèn)為，意圖解釋的起始時間會顯著晚于韻律聲學(xué)感知加工和情感分析；而平行加工假設(shè)則認(rèn)為，意圖表征會快速通達(dá)，其起始時間會跟韻律聲學(xué)感知（或情感分析）同時平行進(jìn)行。那么，人腦是如何進(jìn)行多層級的認(rèn)知加工，從韻律線索中理解交際意圖的呢？

中國科學(xué)院心理研究所認(rèn)知與發(fā)展心理學(xué)研究室李曉慶研究組與香港中文大學(xué)馮剛毅教授開展了一項合作研究。該研究利用腦電技術(shù)，并結(jié)合單變量線性混合效應(yīng)模型（LMEM）和多變量表征相似性分析（RSA）方法，研究了人腦從語音韻律線索中理解交際意圖的神經(jīng)動態(tài)時間歷程。

在研究中，大學(xué)生被試聽一系列雙人對話（同時記錄其腦電活動），并根據(jù)自己對交際意圖的理解在9點量表上做出選擇（意圖行為評價）。研究人員操縱了每個對話的關(guān)鍵句中關(guān)鍵詞的韻律特征，以傳達(dá)建議、警告、或中性意圖；通過把建議/警告與中性基線條件相比，以揭示交際意圖理解的神經(jīng)機(jī)制（見圖1）。

圖1. 對話材料舉例(a)、對話材料中關(guān)鍵句的關(guān)鍵詞的情感效價(b)以及腦電實驗的試次呈現(xiàn)流程(c)。

研究結(jié)果發(fā)現(xiàn)，首先，與中性基線條件相比，建議或警告意圖條件都誘發(fā)了顯著的ERP效應(yīng)，表現(xiàn)為ERP正波的增強(qiáng)（見圖2）。

圖2. 建議(suggestion)、警告(warning)和中性(neutral)三個實驗條件誘發(fā)ERP活動（鎖時在關(guān)鍵詞的起始時間）(a)、ERP效應(yīng)的頭皮分布(c)、以及意圖行為評價結(jié)果(b)。

更重要的是，為了進(jìn)一步揭示人腦ERP活動反映的是聽覺感知加工、情感分析、還是意圖解釋，研究人員借助基于單試次的LMEM和RSA方法分析了ERP反應(yīng)與話語“聲學(xué)特征”、“情感效價”以及“意圖行為評價”之間的關(guān)系；然后，借助基于jackknife或bootstrap的方法，比較了不同層級加工起始時間的相對早晚。

研究結(jié)果顯示，人腦從韻律信號中理解交際意圖時，聽覺感知加工開始的最早，然后情感效價分析開始出現(xiàn)，意圖解釋開始的最晚；在非常晚的階段，情感分析和意圖解釋會同時平行進(jìn)行（見圖3和圖4）。

最后，研究人員進(jìn)一步建構(gòu)了具有不同結(jié)構(gòu)的RSA和LMEM回歸模型并對之進(jìn)行比較，發(fā)現(xiàn)早期的情感分析能夠為隨后的意圖解釋提供證據(jù)支持；在晚期加工中，情感分析和意圖解釋相互支持、相互促進(jìn)。

圖3. LMEM分析中，不同時刻的ERP反應(yīng)與“聲學(xué)”、“情感”和“意圖行為評價”的相關(guān)關(guān)系的效應(yīng)量（β估計）。實線表示顯著的ERP相關(guān)效應(yīng)，而虛線表示在特定10毫秒時間段內(nèi)經(jīng)過FDR校正后不顯著的相關(guān)效應(yīng)。

圖4. RSA分析中，神經(jīng)RDM與聲學(xué)(a)、情感(b)和意圖(c) RDM的Spearman相關(guān)系數(shù)的時間進(jìn)程。彩色線條和陰影區(qū)域表示使用基于簇的置換檢驗（簇定義閾值p < .05和校正后的顯著性水平p < .05）得到的顯著效應(yīng)。(d) 聲學(xué)、情感和意圖相關(guān)系數(shù)的起始潛伏期（***p < .001）。

綜上所述，本研究提供了神經(jīng)層面的證據(jù)，證明了人腦從語音韻律中理解交際意圖時，會經(jīng)歷多層級的認(rèn)知加工過程（包括韻律聲學(xué)感知、情感分析和意圖解釋）。隨著心理表征抽象程度的增加，這些不同層級認(rèn)知加工的起始時間逐漸延遲，總體上符合序列加工的認(rèn)知計算模式；然而，情感評估和意圖理解在非常后期表現(xiàn)出并行加工和相互影響。本研究為我們理解人腦如何從韻律中理解交際意圖提供了新的見解，并揭示了韻律意圖理解的精細(xì)認(rèn)知架構(gòu)（即越來越抽象的表征）和時間特征。

值得指出的是，本研究并不否認(rèn)在特定情境（如高度限制性語境）中，意圖表征可以快速通達(dá)。未來的研究可以整合多種方法，包括計算建模和多變量表征編碼建模等，進(jìn)一步探索在不同語境中不同層級的認(rèn)知加工如何相互動態(tài)作用以實現(xiàn)意圖理解。

該研究獲得國家自然科學(xué)基金（32171057）項目的支持。

文章已在線發(fā)表于NeuroImage。心理所博士研究生高攀科為第一作者，心理所李曉慶研究員和香港中文大學(xué)馮剛毅教授為共同通訊作者。?

論文信息：?

Gao, P., Jiang Zh., Yang Y., Zheng Y., Feng G. *, & Li X. * (2024) Temporal neural dynamics of understanding communicative intentions from speech prosody. NeuroImage. https://doi.org/10.1016/j.neuroimage.2024.120830