実験的な定量テキスト分析を実行する方法

自由記述の調査回答を、無作為化した刺激の後の定量的アウトカムとして使用します。

要点

自由記述の調査回答を、無作為化した刺激の後の定量的アウトカムとして使用します。同意（consent）と質問（questions）の画面からサーベイ実験を作成します。無作為化した各アームごとに刺激条件（stimulus condition）を追加します。刺激の後に自由記述テキスト質問（open-ended text question）を追加します。

対象読者

段落形式の回答、センチメント（sentiment）アウトカム、単語数、処置アーム間のテキスト比較を行いたい研究者。

手順

同意（consent）と質問（questions）の画面からサーベイ実験を作成します。
無作為化した各アームごとに刺激条件（stimulus condition）を追加します。
刺激の後に自由記述テキスト質問（open-ended text question）を追加します。
回答を収集します。
［Results］を開きます。
Text Summary、Text Scores、Text Effects のCSVをエクスポートします。

重要な理由

自由記述のアウトカムでは、回答者が自分の言葉で反応を説明しつつ、研究者は分析可能なセンチメント、努力（effort）、および言語使用（language-use）の指標を得ることができます。

実施前チェックリスト

テキストのアウトカムを事前登録（preregister）します。
VADERセンチメントを、普遍的な同意（agreement）の尺度としてではなく、透明性のある診断（transparent diagnostic）として使用します。
再現用のバンドル（replication bundle）に生のテキストを保持します。
重要度の高い指標は人手によるコーディングで検証します。

よくある質問

このガイドは何のためのものですか？

段落形式の回答、センチメント（sentiment）アウトカム、単語数、処置アーム間のテキスト比較を行いたい研究者。

基本的な流れは何ですか？

同意（consent）と質問（questions）の画面からサーベイ実験を作成します。無作為化した各アームごとに刺激条件（stimulus condition）を追加します。刺激の後に自由記述テキスト質問（open-ended text question）を追加します。回答を収集します。

実施前に何を確認すべきですか？

テキストのアウトカムを事前登録（preregister）します。 VADERセンチメントを、普遍的な同意（agreement）の尺度としてではなく、透明性のある診断（transparent diagnostic）として使用します。再現用のバンドル（replication bundle）に生のテキストを保持します。重要度の高い指標は人手によるコーディングで検証します。

要点