これまで述べてきたガイドラインに加え,キャンベルレビューを行おうとする者は,以下の資料から適切な示唆を得ることができる。
(a) Clarke M & Oxman A.D. (Eds.). (2000). Cochrane reviewers handbook: Version 4.1. In: ReviewManager (RevMan) [Computer program]. Version 4.1. Oxford, England: The Cochrane Center.(Available on-line at:http://www.cochrane.org/cochrane/hbook.htm).
(b) Cooper, H. & Hedges, L.V. (Eds). (1994). The handbook of research synthesis. New York: Russell Sage Foundation.
(c) National Health Service Centre for Reviews and Dissemination. (2000). Undertaking systematic reviews of research on effectiveness. York, England: University of York. (Available at: http://www.york.ac.uk/inst/crd/report4.htm ).
最後に,レビューワは,キャンベル・レビューのプロトコルの作成に当たって指導を得るため,事務局に問い合わせてもよい。
キャンベル共同計画系統的レビューの申請・作成・提出・編集のステップ(PDF)
キャンベル共同計画運営委員会作成
添付の「キャンベルレビューを行うステップをあらわすフローチャート」 に,系統的レビューの著者,部会及びアドバイザが,どのように,レビューを行おうというアイディアから,レビューの完成に至るかが示されている。
キャンベル共同計画のレビューのプロトコルは,依頼されて提出されることもあれば,依頼を受けずに提出されることもある。依頼して行うモデルは,刑事司法グループが行っているように,あらかじめ選定したトピックの専門家に対してレビューを行うよう依頼する方法である。レビュー・トピックの候補は,刑事司法部会の運営委員及びその諮問グループが,その他の協力者からの助言を得て決定する。
依頼を受けないでプロトコルが提出されるのは,研究者が独自にレビューを行おうという考えを固め,それを適切と思われる部会の返答を得ようとする場合である。レビューを行おうとする者は,特定のトピックについての知識をもち,キャンベル共同計画のアドバイザの内容的・理論的な専門性を利用して,キャンベル系統的レビューデータベースに貢献したいと考える者である。
系統的レビューは,単独のレビューワが行ってはならない。系統的レビューを行う,レビュー・チームは,可能な限り統計的な専門性を含む,必要な専門性を持たなければならない。単独のレビューワが行うレビューは,複数のレビューワ(レビュー・チーム)が行うレビューよりも,偏りや誤りの影響を受けやすい。レビューワが複数共同することで,研究の探索,データの抽出と入力などの,系統的レビューにとって重要な局面で不可欠な信頼性のチェックが可能となる。トピックについての内容面の専門性と,方法論・統計的な専門性をあわせもった,レビュー・チームは,いずれかを欠いているレビュー・チームに明らかに優っている。
このように,キャンベル系統的レビューを生み出すための最初のステップは,トピックの選定である。レビューを行おうとする者ないし部会が,政策・実務レベルにおける社会介入,あるいは,正しい情報が得られておらず代替的な政策・実務の有効性を確定すべき社会問題をピックアップする。
第二段階においては,タイトル登録用紙を記入する。レビューチームは,まず,レビュー・クエッション(レビューの答えようとする問い)を用紙に記入する。さらに,問題に関する基礎的な情報,対象集団,介入の特徴,期待されるアウトカム,そして,プロトコルとレビューの完成予定日を記入する。この用紙は,トピックを担当する部会に提出される。部会の座長ないしコーディネータは,(a)トピックが進行中のレビューと重複していないか,(b)レビュー・チームがレビューを行うのに必要な専門性を持っているか,(c)レビュー・クエッションが明確であり回答可能であるかをチェックする。すでに同様のレビュー作業が行われている場合,部会の代表は,新たなレビューを行おうとする者に対し,この作業を行っているレビュー・チームとグループに接触させる。タイトル登録用紙がこのような条件を満たせば,部会は,事務局にこのタイトルを正式に登録し,レビュー・チームにプロトコルの作成を行うよう連絡する。
次いで,部会の座長ないしコーディネータは,このレビュー・チームの担当アドバイザ(Principal Advisor)のとして動いてくれる者の協力を得る。次いで,担当アドバイザは,部会が承認する個人から選ばれる。担当アドバイザの助力を得て,レビュー・チームはプロトコルの作成に取り掛かる。
詳細なプロトコルを求めるのは,(a)担当アドバイザと編集委員による指導と助言を可能とする,(b)レビューの下書きの質を吟味する際に生じる問題を防止する,(c)最終成果物がキャンベル共同計画の基準を満たしているようにするためである。レビューの作成は,多くの判断や決定を伴う複雑なプロセスである。プロジェクトを進める過程で固まってくるという側面はあるものの,科学におけるあらゆる取組みと同様,研究手法は,研究を開始する前に設定されなければならない。
レビュー・プロトコルは,レビュー・トピック及び用いる予定の方法論を述べたものである。レビューを行おうとする者は,「キャンベル共同計画レビュープロトコル作成ガイドライン(バージョン1.0)」に従われたい。キャンベル・レビューのためのプロトコルは,以下の章から成っていなくてはならない(ガイドライン本文とプロトコルの例については,キャンベル共同計画のホームページhttp://www.campbellcollaboration.org/を参照されたい)。
1. 表紙
2. レビューの背景
3. レビューの目的
4. 方法論
研究をレビューの対象に含める/含めない基準
対象となる研究を探索する方法
独立した知見を決定するための基準
研究をコーディングするカテゴリーの詳細
統計手法
質的研究の取り扱い
5. 進行日程(プロトコルの提出予定)
6. レビューを更新するための計画
7. 謝辞
8. 利害の衝突に関する陳述
9. 参考文献
10. 図表
プロトコルの下書きがなされたら,担当アドバイザが審査を行う。この時点で,担当アドバイザには,部会メンバー,方法論の研究者,その他の専門家から,プロトコルの下書きに対するコメントや批判を得るため,編集チームを組むことが強く要請される。プロトコルを作成している段階では,担当アドバイザは,レビューワと審査者が誰であるかお互いに分からないようにしなければならない。レビューを作成している段階では,担当アドバイザは,審査者が誰であるかを,レビューワに分からないようにしなければならない(プロトコルの著者の氏名は,がキャンベル共同計画のデータベースを通じて明らかである)。
系統的レビューを作成する作業を始める前に,このような外部からの審査を得ることは非常に重要である。その理由は,レビューの対象とされる研究の終了後にレビューが行われるため,レビューワはレビューの対象とする研究の多くの結果を知っており,また,しばしば自分自身がこれらの研究にかかわっているからである。よって,匿名によるプロトコルの審査は,現実的な視点を保ちつつ,レビュー過程に及ぼす偏りを最小にするための工夫である。
プロトコルが編集チームによって承認されたら,キャンベル共同計画介入・政策評価登録データベース(C2-RIPE)に公表される。C2-RIPEは公表されており,キャンベル・レビューのユーザである人々を対象としたその他のサイトとリンクしている。C2-RIPEには,プロトコル,レビュー及びそれに対するコメントが含まれる。レビューの作成作業に当たって,C2-RIPEのユーザがプロトコルに対して行ったコメントは,レビューの進め方や方法をさらに改善するために用いることが可能である。さらに,プロトコルやレビューを完成させるための支援は,キャンベル共同計画のワークショップに参加したり,ミズーリ大学の研究統合研究所(email: crsm@missouri.edu)に連絡したりすることで得ることができる。
レビューの下書きが完成したら,担当アドバイザに提出される。(方法論部会の座長ないしコーディネータから指名された最低一人の方法論の専門家を含む)指名された編集担当者は,通常受領2か月以内に匿名で草稿を批評する。担当アドバイザはこれらのコメントをまとめ,レビューワと共有する。雑誌のレビューの過程と同様,担当アドバイザの判断において,キャンベル共同計画の水準を満たすと判断されるまで,系統的レビューの修正は繰り返される。
担当アドバイザは,部会に完成したレビューを提出する。部会は,レビューを登録し,事務局に付託する。キャンベル共同計画の運営委員会がレビューをC2-RIPEに入れるかどうかの最終判断を行う。
C2-RIPEに公表されたのち,系統的レビューは,専門的でない要約などによって広報されることがある。レビューワ以外の者がこれら要約を作成する場合には,キャンベル共同計画の名を冠して配布される場合には,著者によって正確であるかどうか点検される。
詳細な系統的レビューがC2-RIPEに発表された後は,レビューについての広報が最も重要となる。レビュー作成の過程にかかわった担当アドバイザや編集チームのメンバーは,たとえば,ユーザでもある。これらの人々や組織は,エンドユーザが,レビューが完成したことを知り,その内容を理解し,その結果を利用してもらえるよう努力することになる。このためには,レビューワに簡潔で難しくない要約を用意してもらったり,翻訳を行う人たちを援助したりするといったことが必要となる。