人們每天都在接收大量的視聽信息，當(dāng)視聽信息不一致時(shí)，會(huì)產(chǎn)生沖突。在加工階段上，沖突可能來(lái)自語(yǔ)義表征階段（刺激沖突），也可能來(lái)自反應(yīng)選擇階段（反應(yīng)沖突）。采用單通道視覺刺激，以往研究在語(yǔ)義沖突和反應(yīng)沖突加工機(jī)制的一般性/特異性上存在爭(zhēng)議。而跨通道情景下，語(yǔ)義沖突和反應(yīng)沖突加工機(jī)制具有一般性還是特異性仍不清楚。相比于單通道，跨通道研究在這一問題上不僅更具有生態(tài)意義，并且避免了注意在單個(gè)客體和不同客體上加工機(jī)制不同而導(dǎo)致的混淆因素。中國(guó)科學(xué)院心理研究所劉勛研究組使用視聽2-1映射Stroop腦電任務(wù)，對(duì)跨通道語(yǔ)義沖突和反應(yīng)沖突加工機(jī)制的一般性/特異性進(jìn)行了探究。

圖1. 實(shí)驗(yàn)設(shè)計(jì)

注：視覺刺激和聽覺刺激有三種組合：（1）一致條件(congruent, CO)：視聽刺激相同；（2）語(yǔ)義不一致條件（semantically incongruent, SI）：視聽刺激語(yǔ)義不相同，但是反應(yīng)相同；（3）語(yǔ)義不一致和反應(yīng)不一致條件(semantically incongruent and response incongruent)

語(yǔ)義沖突為語(yǔ)義不一致條件減去一致條件(SI-CO)，反應(yīng)沖突為語(yǔ)義不一致和反應(yīng)不一致條件減去語(yǔ)義不一致條件(RI-SI)

在時(shí)間進(jìn)程上，ERP結(jié)果發(fā)現(xiàn)，前額N2的幅值只受語(yǔ)義沖突調(diào)制，而頂部N450的幅值只受反應(yīng)沖突調(diào)制。N2可能反映了視聽刺激在語(yǔ)義表征階段的沖突監(jiān)測(cè)過程。N450可能反映了視聽不同反應(yīng)傾向加工中的沖突監(jiān)測(cè)和解決過程。與視覺研究結(jié)果不同，當(dāng)前研究沒有發(fā)現(xiàn)N450在語(yǔ)義沖突上的調(diào)制。這可能與任務(wù)無(wú)關(guān)刺激的通道有關(guān)。以往研究發(fā)現(xiàn)，N450成分在聽覺Stroop任務(wù)中要早于視覺Stroop任務(wù)約150 ms。在此次研究中，聽覺是干擾刺激，并且比視覺刺激早出現(xiàn)83 ms。因此，比單通道視覺干擾任務(wù)相比，沖突監(jiān)測(cè)過程在聽覺干擾任務(wù)中出現(xiàn)得更早，表現(xiàn)在比N450更早的成分上。在反應(yīng)沖突加工中，由于反應(yīng)沖突的加工不受刺激呈現(xiàn)通道影響，因此，反應(yīng)沖突的N450的時(shí)間窗(370-430 ms)與前人視覺N450 (350-500 ms)的時(shí)間窗類似。

在神經(jīng)振蕩上，研究者發(fā)現(xiàn)，額中theta能量的增強(qiáng)只受語(yǔ)義沖突調(diào)制。這一結(jié)果可能反映了大腦需要更多的認(rèn)知控制資源來(lái)監(jiān)測(cè)和解決語(yǔ)義沖突。根據(jù)事件編碼理論，先呈現(xiàn)的聽覺刺激增強(qiáng)了事件文件(event file)中任務(wù)無(wú)關(guān)刺激特征的編碼，使得事件文件中刺激選擇的競(jìng)爭(zhēng)更強(qiáng)，從而導(dǎo)致了額中theta能量在語(yǔ)義沖突中增強(qiáng)。

圖2. ERP分析結(jié)果

圖3. 額中theta能量結(jié)果

綜上，研究結(jié)果發(fā)現(xiàn)跨通道語(yǔ)義沖突和反應(yīng)沖突的加工機(jī)制具有特異性，從跨通道多階段沖突加工的角度為認(rèn)知控制的特異性理論提供了支持證據(jù)。

該研究受國(guó)家自然科學(xué)基金(NSFC)和德國(guó)研究基金(DFG)( NSFC62061136001, 31571161, and DFG TRR-169)和中國(guó)科學(xué)院心理研究所科學(xué)基金(BEAA21046)的資助。

相關(guān)成果已發(fā)表在Cerebral Cortex上。劉勛研究組已畢業(yè)博士生許紅慧為第一作者，首都師范大學(xué)李琦教授和心理所劉勛研究員為共同通訊作者。其他的合作者包括愛荷華大學(xué)楊國(guó)春博士、澳門大學(xué)伍海燕副教授和首都師大學(xué)肖晶教授。

論文信息：

Xu, H., Yang, G., Wu, H., Xiao, J., Li, Q., & Liu, X. (2024). Distinct mechanisms underlying cross-modal semantic conflict and response conflict processing. Cerebral Cortex, 34(2), bhad539.https://doi.org/10.1093/cercor/bhad539