如何开展实验定量文本分析（Experimental Quantitative Text Analysis）

在随机刺激之后，将开放式问卷回答用作定量结果（quantitative outcomes）。

简要回答

在随机刺激之后，将开放式问卷回答用作定量结果（quantitative outcomes）。从同意与题目（consent and questions）界面创建一份问卷实验。为每个随机化臂（randomized arm）添加一个刺激条件（stimulus condition）。在刺激之后添加一个开放式文本题目（open-ended text question）。

适用对象

希望获得段落式回答、情感（sentiment）结果、词数（word counts），以及处理臂（treatment-arm）之间文本对比的研究人员。

步骤

从同意与题目（consent and questions）界面创建一份问卷实验。
为每个随机化臂（randomized arm）添加一个刺激条件（stimulus condition）。
在刺激之后添加一个开放式文本题目（open-ended text question）。
收集回答。
打开 Results。
导出 Text Summary、Text Scores 与 Text Effects 的 CSV 文件。

为何重要

开放式结果（open-ended outcomes）允许受访者用自己的话解释反应，同时仍为研究人员提供可分析的情感、付出程度（effort）与语言使用（language-use）测量指标。

开展调查前

对文本结果进行预注册（preregister）。
使用 VADER 情感（sentiment）作为透明的诊断（diagnostic），而不是衡量一致性的通用指标（universal measure of agreement）。
保留原始文本（raw text）以便复现（replication bundle）。
对高风险（high-stakes）的测量指标使用人工编码进行验证。

常见问题

本指南有什么用途？

希望获得段落式回答、情感（sentiment）结果、词数（word counts），以及处理臂（treatment-arm）之间文本对比的研究人员。

基本流程是什么？

从同意与题目（consent and questions）界面创建一份问卷实验。为每个随机化臂（randomized arm）添加一个刺激条件（stimulus condition）。在刺激之后添加一个开放式文本题目（open-ended text question）。收集回答。

开展调查前应检查什么？

对文本结果进行预注册（preregister）。使用 VADER 情感（sentiment）作为透明的诊断（diagnostic），而不是衡量一致性的通用指标（universal measure of agreement）。保留原始文本（raw text）以便复现（replication bundle）。对高风险（high-stakes）的测量指标使用人工编码进行验证。