Wie solide ist eigentlich das Begutachtungssystem der IPCC-Berichte? Teil 1

Die IPCC-Berichte werden von der Politik als Grundlage für weitreichende Entscheidungen verwendet. Als Autor kann sich jeder über die nationalen IPCC-Büros bewerben. Die endgültige Auswahl der Autoren geschieht jedoch hinter verschlossenen Türen in einem nichttransparenten Verfahren. Abweichler von der rechten Klimalinie des IPCC haben hier in der Regel keine Chance, in die Autorenteams aufgenommen zu werden.

Die Gewährleistung der wissenschaftlichen Robustheit der Berichte soll durch ein zweistufiges Begutachtungsverfahren gesichert werden. Aber wie solide ist dieses System eigentlich? Jeder, der eine akademische Ausbildung genossen hat und ein, zwei Papers zum weiten Feld “Klima” verfasst hat, kann sich als Gutachter bewerben. Hier haben auch Kritiker eine Chance, um ihre Ansichten zu äußern. Der IPCC ist dabei recht großzügig und öffnet den Begutachtungsprozess für eine große Gruppe von Prüfern. Eine gute Möglichkeit, alle vertretenen Meinungen anzuhören und in die Berichte einzubauen, möchte man meinen. Aber klappt das auch wirklich in der Praxis?

Der Ablauf der Begutachtung wird von den sogenannten Review-Editoren überwacht und organisiert. Diese werden wiederum vom IPCC bestimmt, ebenfalls in einem nichttransparenten Verfahren. Auch hier wird man also keine IPCC-Kritiker einsetzen. Entsprechend kann man sich ausmalen, wie mit Kritik umgegangen wird, wenn sowohl Autoren, als auch Review-Editoren handverlesene Verfechter der IPCC-Klimalinie sind. Unter diesen Umständen ist es ein Leichtes, Kritik zwar anzuhören, diese aber letztendlich ohne Konsequenzen einfach zu ignorieren.

Nachdem die Gutachter ihre Kommentare zum sogenannten First Order Draft (FOD) einreichen, hören sie erst einmal einige Wochen bis Monate nichts. Schließlich bekommen sie eine Email, dass nun die überarbeitete Version, der Second Order Draft (SOD) zur Begutachtung vorliegt. Eine konkrete Beantwortung der vorgebrachten Kritikpunkte gibt es nicht. Stattdessen muss jeder Gutacher in die überarbeitete Version hineingehen, und die bemängelten Stellen mühsam suchen. Findet er seine Kritik aus der ersten Runde unberücksichtigt, bleibt ihm nichts anderes übrig, als die Kritik zu wiederholen. Dann folgen wieder etliche Wochen Stille. Und schließlich kommt der Tag der Veröffentlichung des jeweiligen IPCC-Berichts. Wieder muss der Gutachter in der finalen Version überprüfen, inwieweit seine Kritikpunkte aus der zweiten Runde berücksichtigt wurden. In vielen Fällen werden sie wieder ignoriert worden sein.

Welchen Wert hat ein Begutachtungsverfahren, in dem Kritik von Autoren und Review-Editoren einfach ignoriert wird, insbesondere wenn beide Gruppen so ausgewählt wurden, dass sie die IPCC-Fahne hochhalten und größere Abweichungen davon verhindern sollen? Darf ein solches Verfahren eigentlich ‘Peer Review’ genannt werden? Peers sind in der Regel Fachleute, die nicht direkt an der Erstellung der Arbeit beteiligt waren. Im weiteren Sinne sollten es auch Fachleute sein, die unabhängig sind und auch alternative Sichtweise haben könnten. Durch den undurchsichtigen Auswahlprozess der Autoren und Review-Editoren scheint der IPCC an diesem Punkt gescheitert zu sein. Wenn sowohl Spieler als auch Schiedsrichter vom selben Fußballclub stammen, kann kein faires Spiel stattfinden. Aber es kommt noch schlimmer: Gutachtern ist es vom IPCC nicht gestattet, im laufenden Reviewprozess ihre Kritikpunkte öffentlich zu machen. Der Maulkorberlass soll angeblich ein geordnetes und zivilisiertes Begutachtungsverfahren erlauben und die Entwürfe der Berichte im internen Kreis der Experten belassen. Letztendlich fördert die Geheimnistuerei aber die Macht der Seilschaften. Kritiker dürfen meckern, aber nur hinter verschlossenen Türen. Man tut so, als höre man ihnen zu. In Wirklichkeit interessiert man sich aber ziemlich wenig für ihre Punkte.

Das Dilemma: Kritiker beschweren sich, dass ihre Kritikpunkte ignoriert werden. Der IPCC behauptet, er habe ein effektives und gut funktionierendes Begutachtungssystem zur Verfügung. Aussage gegen Aussage. Wie könnte man nun überprüfen, wie es in Wirklichkeit aussieht? Zum Glück veröffentlicht der IPCC mit einiger Verzögerung auch die Gutachterkommentare und Zwischenversionen der Berichte. Für den soeben erschienenen 1,5-Grad-Bericht fehlen diese Unterlagen leider noch. Aber für den 5. Klimabericht (AR5) liegen die Dokumente vor. Was da wohl drin steht?

Wir gehen auf die Webseite des AR5, Arbeitsgruppe 1, naturwissenschaftliche Grundlagen. Auf der rechten Seite gibt es eine Rubrik “Drafts and Review Materials”. Wieviele Leute hier wohl schon nachgeschaut haben? Sicher nicht allzu viele. Wir interessieren uns für Kapitel 5, “Information from Paleoclimate Archives“. Die Gutachterkommentare zum ersten Berichtsentwurfs gibt es als pdf hier. Insgesamt wurden 1958 Kommentare abgegeben. Wahnsinn. Wer will die alle durchgehen? Aber alles ist feinsäuberlich dokumentiert.

Neben dem Gutachterkommentar ist auch der Name des Gutachters angebeben. In der Spalte rechts daneben ist die Antwort der IPCC-Berichtsautoren genannt. Die fällt in der Regel ziemlich knapp aus. Manchmal steht dort einfach “noted”, also registriert. Zunächst interessiert uns, ob wir einige der Gutachter vielleicht kennen. In der Tat gibt es einige Namen, die aus der paläoklimatologischen und Literatur bekannt sind bzw. die in der Klimadebatte immer wieder auftauchen:

Fredrik Charpentier Ljungqvist (Sweden), Andreas Fischlin (Switzerland), Olga Solomina (Russian Federation), Jay Curt Stager (United States of America), Thomas Stocker, Jonathan Overpeck (USA), Gabi Hegerl (UK), Valerie Trouet (USA), Raimund Muscheler (Sweden), Marcel Crok (The Netherlands), Gerrit Lohmann (Germany), Michael Mann (USA), Anders Moberg (Sweden), Eduardo Zorita (Germany), Hans W Linderholm (Sweden), Vincent Gray (New Zealand), Thierry Dudok de Wit (France), Petr Chylek (USA) uvm.

Bei dieser Gelegnheit müssen wir auch auf die Autoren des Kapitels schauen. Koordinierende Leitautoren waren Valérie Masson-Delmotte (France) und Michael Schulz (Germany). Masson-Delmotte ist Eiskernspezialistin, Michael Schulz ist Klimamodellierer am Bremer Marum. Zu den vier Review-Editoren gehört Heinz Wanner (Schweiz). Das sollen ersteinmal genug Namen gewesen sein. Schauen wir ein wenig in die Kommentare hinein. Findet sich hier etwas Substanzielles? Gab es größere Kritikpunkte oder handelt es sich überwiegend um i-Tüpfelchen?

Gleich zu Beginn ein Kritikpunkt von Takuro Kobashi (Japan), der durch grönländische Klimarekonstruktionen der letzten Jahrtausende in der Fachszene bekannt ist und eine Beteiligung von Sonnenaktivitätsschwankungen am Klimageschehen für möglich hält. Kobashi schreibt:

The coverage of the chapter seems a bit too limited and selective although I understand the number of pages are limited. For example, why abrupt climate change in the Holocene is not covered only those in the glacial? Some of the topics probably are dealt in earlier reports, but because of its importance for future implications coverage of the Holocene climate change should be increased.

Die AR5-Autoren antworten:

Taken into account. Covered in new section 5.5 (Holocene regional changes) within space limitations.

Kobashi’s Kommentar bezog sich auf das Kapitel “5.6 Evidence and Processes of Abrupt Climate Change” im FOD. Hier geht es um eine interessante klimatische Millenniumszyklik (“Dansgaard-Oeschger and Heinrich Events”), allerdings allein auf das Pleistozän bezogen. Trotz Kobashis Kritik haben sich die IPCC-Autoren nicht getraut, auch die holozänen Bond-Zyklen hier zu diskutieren. Dies wäre das logische Kapitel dazu. Chance verpasst. Die Ausrede “Platzprobleme” ist ärmlich. Offenbar war es den IPCC-Leuten zeitlich zu nah am modernen Klima dran. Da könnte man glatt auf “falsche Gedanken” bekommen, dass ein Teil des modernen Klimawandels vielleicht auch natürliche Ursachen haben könnte… Die in vielen Papers beschriebenen holozänen Bond-Zyklen werden im IPCC AR5 einfach totgeschwiegen. Der pauschale Hinweis auf “new section 5.5″ scheint ein Ablenkungmanöver zu sein. Immerhin findet man in der finalen Version diesen Satz:

There is medium confidence that southern South America (Neukom et al., 2011) austral summer temperatures during 950–1350 were warmer than the 20th century.

Der stand aber auch schon im FOD. Kobashi’s gut berichtigte Kritik blieb letztendlich unberücksichtigt. Der zweite Gutachterkommentar lässt einem die Nackenhaare sträuben:

Too many references in the text will distract the attention of the readers [Muhammad Amjad, Pakistan]

Die IPCC-Autoren antworten:

Noted

Das ist natürlich Quatsch. Die Aufforderung, weniger Literatur zu zitieren ist grundfalsch. Genau das Gegenteil sollte hier passieren: Eine bessere und umfassendere Anbindung an die Literatur sollte geschehen. Die Auslassung der Bond-Zyklen ist das beste Beispiel dafür. Weitere Kommentare bemängeln die enzyklopädische Darstellungsweise, das Fehlen großer Erzähllinien.

Genug für heute. Im Prinzip ist die Auswertung der Review-Protokolle eine zeitaufwendige Aufgabe für Wissenschaftshistoriker. Wir sind trotzdem neugierig geworden. Daher morgen hier im Blog mehr dazu.