探索发现 · 交大智慧

上海交大蔡永立教授团队使用大型语言模型挖掘文化生态系统服务感知:一种小样本和提示方法

近日,上海交通大学设计学院风景园林系蔡永立教授团队在区域与城市规划国际顶级期刊《Landscape and Urban Planning》(影响因子7.9,JCR/Q1,中科院SCI一区,Top期刊)发表学术论文“Using large language models to investigate cultural ecosystem services perceptions: A few-shot and  method”(使用大型语言模型挖掘文化生态系统服务感知:一种小样本和提示方法)。本研究提出了一个创新框架,将大语言模型与社交媒体文本相结合,以调查文化生态系统服务的感知。研究结果为庐山景区的景观管理提供了有价值的见解,展示了大语言模型的优势、局限性以及在推进景观感知研究方面的巨大潜力。

图片摘要

亮点

1. 在没有大规模训练数据的情况下自动处理社交媒体文本。

2. 使用大型语言模型识别文化生态系统服务和对应的情感。

3. 通过设计提示提高模型性能。

4. 绘制文化生态系统服务地图为景观管理提供见解。

5. 强调了大型语言模型在景观感知研究中的潜力。

背景

生成式人工智能的进步对社会的各个方面产生了深远的影响,包括科学研究,但其在景观研究中的应用仍未得到充分探索。本研究使用大型语言模型来分析文化生态系统服务,这是人类与自然之间的关键联系,反映了生态系统提供的无形利益。

方法

庐山风景区以丰富的文化生态系统服务而闻名,本研究选择发布在该区域内的社交媒体文本进行分析。该方法涉及小样本学习,用于调整模型从而对文化生态系统服务及其对应的情感进行分类,同时,设计提示以优化模型性能。本研究比较了三个基本模型和五个提示的性能。最后,根据模型输出分析了研究区域内的文化生态系统服务感知。

结果

Moonshot-v1-8k模型性能出色,实现了82.2%的micro-F1和80.3%的macro-F1。思维链提示和文化生态系统服务定义提示分别增强了6.3%的micro-F1和3.3%的macro-F1。庐山风景区的美学服务是最常见的感知类别,而游憩服务的负面感知最强。新冠疫情后,公众对身体健康相关服务的兴趣增加。

贡献

本研究考察了大型语言模型在分析文化生态系统服务感知中的应用和可靠性。通过提供一种新的文本分析方法,研究为景观管理提供了有价值的见解,并强调了人工智能技术在景观研究中的适用性和潜力

关键词

文化生态系统服务;社交媒体文本;情感分析;语义分析;小样本学习

Abstract

The advancement of generative AI has profoundly impacted various aspects of society, including scientific research, but its application in landscape research remains underexplored. In this study, large language models are applied to analyze cultural ecosystem services, which are a key connection between humans and nature, reflecting the intangible benefits that ecosystems provide. Social media texts from the Lushan Scenic Area, known for its rich cultural ecosystem services, were analyzed. The methodology involved adapting the model using few-shot learning to classify cultural ecosystem services and associated sentiments. Prompts were specifically designed to optimize model performance. The validation process compared the performance of three base models (GLM-4-0520, ERNIE-4.0—8K, and Moonshot-v1-8k) alongside five prompts. The cultural ecosystem services within the study area were subsequently analyzed based on model outputs. The findings indicated superior performance by the Moonshot-v1-8k model, achieving 82.2 % micro-F1 and 80.3 % macro-F1. The implementation of chain-of-thought prompts and cultural ecosystem services definition prompts enhanced micro-F1 and macro-F1 by up to 6.3 % and 3.3 %, respectively. Within the Lushan Scenic Area, aesthetic services were identified as the most frequently perceived, while recreational services received the most negative sentiments. A marked increase in public interest in physical health was observed following the COVID-19 pandemic. This study highlights the potential of large language models to advance the analysis of cultural ecosystem services and landscape perceptions. By offering a novel approach to text analysis, the findings contribute valuable insights for landscape management and underscore the utility of AI technologies.

Keywords: Cultural ecosystem services; Social media text; Sentiment analysis; Semantic analysis; Few-shot learning

figure 1.png

图1. 概念图

figure 2.png

图2. 研究框架

图3. 研究区,图片来源:www.ctrip.com

图4. 网站界面和评论统计

figure 5.png

图5. 小样本学习示意图(注:黄色高亮部分表示“模型输入”(参数:input)对应“小样本”(参数:user),而绿色高亮表示“模型输出”(参数:output)对应“小样本”(参数:assistant))

figure 6.png

图6. 提示示意图(注:绿色高亮表示“少样本”(参数:user和assistant)以及相应的模型输入和输出(参数:input和outpu);黄色高亮表示“提示”(参数:system);蓝色高亮表示“PI 提示”中的“动态提示”,它介绍了每个兴趣点,并根据不同的兴趣点而变化(参数:system);灰色高亮部分表示“COT 提示”中新增的“关键词”“模型输出”(参数:Output)对应“小样本”(参数:assistant))

figure 7.png

图7. 不同文化生态系统服务类别的F1-score和Fleiss Kappa

figure 8.png

图8. 庐山景区的文化生态系统服务感知

上海交通大学设计学院风景园林专业硕士生罗涵月为论文第一作者,通讯作者为上海交通大学设计学院教授蔡永立,论文合作者为上海交通大学硕士毕业生张智舵,上海交通大学设计学院博士朱青和国际留学生博士Nour El Houda Ben Ameur,以及上海同济城市规划设计研究院高级工程师刘晓、中级工程师丁凡。本研究获得国家自然科学基金青年科学基金项目(72104232)、教育部哲学社科重大项目(19JZD023)以及上海市科学技术委员会软科学研究项目(23692117800)共同支持。

论文链接:https://doi.org/10.1016/j.landurbplan.2025.105323

设计学院
设计学院