研究方法の章の目的は,レビューがどのように行われるかを実際的に記述することである。レビューにおける研究方法の記述は,一次研究報告の研究方法の記述とは大きく異なる。レビューにおける研究方法の章は,下記の質問群に答えなければならない。
研究をレビューの対象に含める/含めない基準 プロトコルの研究方法の部分で,最初に取り扱わなければならないトピックは,文献探索によって見出された研究をレビューの対象に含めるか否かを決定する基準である。レビューワは次の問いに答える必要がある。
関心のあるトピックに関連していることを決定するためには,研究のどのような特徴が用いられるか
どのような特徴を持つ研究を,レビューに含めないのか
レビューの対象に含めるか否かの決定は,研究の題名,抄録,全文のどれを見て行われるのか
誰が,含めるか否かの決定をするのか
どのように,含めるか否かの決定の信頼性が吟味されるのか
レビューワは,レビューの対象として含まれる研究と含まれない研究の例をいくつか挙げることが求められる。
キャンベルレビューは,介入の実施についての研究から得られるエビデンスを対象としてもよい。これらの研究により,実施過程を促進/阻害する要因を見出し,また,介入を提供する/受ける側の主観的体験や特定の介入を実施する過程を記述することが可能となる。この種のエビデンスは,さまざまな研究手法を用いた研究から得られ,質的データ及び量的データを含む。
研究をレビューの対象に含める基準をチェックする際には,レビューワが,概念や介入の定義と,研究で用いられている操作的定義やアウトカムが,一致しているかどうかについてどのように考えているかが批判的に評価される。特定のレビューの結論について巻き起こる激しい論争では,レビューワがこの点に関しどのような判断を行ったが問題となることがある。プロトコルの編集担当者(や完成したレビューの読者)は,レビューの対象として研究を含める基準が広すぎると感じることもある。たとえば,実際に行われた介入やアウトカムの尺度が,介入本来の目的とは関係ないと思われることもある。レビューワは,こうした懸念を予期し,研究結果に影響を与える変数として,これらのアウトカムを別々に取り扱うという提案をしなければならない。編集担当者によっては,介入やアウトカムの定義を狭すぎると感じることもある。この場合,レビューの対象から外された研究について,本来レビューに含まれるべきであったかどうかを吟味するための再検討が行われる。
対象となる研究を探索する手法 第二に,レビューワは,どのように研究を探索するかについて詳細に述べなければならない。これは,研究を入手するために用いる探索手法の一覧と説明(例,文献データベース,個人的依頼,雑誌のハンドサーチなど)である。なぜそのような入手源を選択したか,とりわけ,入手しうる研究と見つけることのできない研究のアウトカムの間に生じうる差異を小さくするためにそれぞれの入手源がどのように補い合っているかについて説明することが望ましい。
レビューワは,対象とする研究がなされた時期と,文献データベースや出版目録などによる探索の際に用いるキーワードを報告しなければならない。入手源,キーワード及びその使用方法,文献探索のカバーする時期は,レビューの研究方法にとって決定的に重要である。編集担当者は,これらを知ることで,文献探索の緻密さとそれがもたらしうる偏り,つまり,提案されたレビューの結論にどの程度の信頼がおけるかを把握することができる。レビューワは,レビューの対象となるであろう文書,特に,公表されていない文書をどのように入手するかという方法を記述しなければならない。同じトピックに関する異なったレビューがなぜ類似した/矛盾した結論に達したかを理解しようとして,他の研究者がレビューを追試しようとする際,最初に目を通すであろう記述が文献探索に関する記述である。
文献探索を行う際には,できうる限り,国際的な視野に立つことが重要である。レビューが扱うエビデンスは,正当化できない限り,研究者やサンプルの国籍並びに言語によって制限されてはならない。
一次研究で用いられている研究方法 レビューの対象とするエビデンスについてまとめるだけでなく,プロトコルの「研究方法」の章では,レビューの対象とする一次研究で広く用いられている研究手法を紹介する必要がある。ここでは,概念上どのような介入が行われたかということより,参加者の抽出方法,研究デザイン,測定手法に着目する。レビューワは,多くの研究において用いられている研究手法を例示するため,いくつかの研究を取り上げ,取り上げた研究の研究手法について詳述することが求められる。
独立した知見を決定するための基準 研究方法の第四節では,一つの評価研究が,複数のアウトカムの尺度についてデータを報告しているような状況を,レビューワがどのように扱うかということを述べる。このような状況は,同一の研究においていくつかのタイプのアウトカム(例,少年非行に対する介入の効果を見た研究において,再犯と出席程度)が測定されている場合,あるいは,同一のアウトカムについて何時点か繰り返し測定が行われている場合に生じる。このような場合,アウトカムの測定は,同じ参加者に対して行われているので,介入・処遇の効果の独立した推定値ではない。同一あるいは関連した評価研究において複数のアウトカムがあるとき,これらが独立したデータであるかとうかを決定するために用いられる基準は,注意深く報告されなければならない。
研究をコーディングするカテゴリーの詳細 研究方法の第五節は,アウトカムに影響を与える可能性のある変数として吟味するため,入手され,レビューの対象とされた研究の特徴を記述しなければならない。どのようなアウトカムをコードしたかについても記述し,もし,特定のアウトカムについてコードしないという判断をしたのであればその理由を説明しなければならない。データとして記録されたすべての特徴は,最終的な成果物における分析や議論で用いられないとしても,必ず記述されなければならない。このようにすることにより,編集担当者は,レビューワが記録しなかったものの,編集担当者自身は重要と考える,研究の特徴に気づくことができる。また,この節は,どのようにコーディングの信頼性が確保され監視されたかを報告しなければならない。
研究レベルの変数に加え,この節では,レビューの対象となる研究において吟味されている調整変数(過程に影響を与えるコンテキスト変数)や媒介変数(ある変数が他の変数に対する効果を与えるという因果連鎖の中の一変数)が,どのようにレビューで報告されるかを記述しなければならない。
統計手法 プロトコルの研究手法の第六節は,レビューワが結果の計量分析を行う際に用いる手法についての記述である。レビューワは,次のような問いに答えなくてはならない。
分析を行うのに,どのソフトウェアを用いるのか
文献全体を統合した統計量はどのように報告されるのか
なぜその効果値を尺度として用いるのか
偏りを取り除くために効果値に補正が行われるか
欠損値がどのように取り扱われるか
異なった検定の結果を統合するのにどのような手法を用いるか
研究結果について量的な統合を行わないのであれば,その他のアプローチを用いる理由は何か
検定の結果のばらつきを吟味・分析するためにどのような手法が用いられるか。
どの点に関する感度分析(さまざまな判断がレビューの結果にもたらす影響の分析)がどのように行われるか
この節では,一つ一つの選択の理由を説明し,一つ一つの選択がレビューの結果にどのような影響を当たるかを考察しなければならない。
質的研究の取り扱い キャンベルレビューにおいては,関連領域の質的研究は,(a) 介入をより厳密に定義する助けとなることによって,よりしっかりした介入の開発に役立つ, (b) アウトカムの尺度の選択及び適切なリサーチクエッションの設定に役立つ,(c) 効果研究の結果の異質性について理解するのに役立つ。
レビューのトピックに関連した質的研究について述べる場合には,レビューワは, (a) 研究を含める/含めない基準,(b)一次研究で用いられている研究方法,(c)独立した知見を決定する方法及び(d) (量的研究と同様の詳しさで)レビューに含められた研究の特徴について,操作的に記述しなければならない。