Die Kriterien der Wissenschaftlichkeit bilden den Kern und das Fundament der Wissenschaft. Deine wissenschaftliche Arbeit wird nach diesen allgemeinen Gütekriterien beurteilt, die den spezifischen Vorgaben von Fakultäten übergeordnet sind. Um wissenschaftlich arbeiten zu können, musst du daher diese Bewertungskriterien verstehen und einhalten.
Wissenschaftlich zu arbeiten bedeutet, unter Einhaltung der ethischen Prinzipien und qualitativen Kriterien die bestehenden wissenschaftlichen Erkenntnisse um begründete Ergebnisse zu erweitern. Dabei gehst du systematisch, kritisch und vor allem eigenständig vor.
In diesem zweiten Teil erfährst du mehr über Reliabilität und Validität als wissenschaftliche Gütekriterien.
Objektivität, Reliabilität und Validität werden besonders bei Messungen in einem Atemzug genannt: Wer misst wie was?
Bei statistischen Erhebungen kommt noch die Repräsentativität der Stichprobe hinzu, die hier unter Validität fällt.
Die Forderung nach Reproduzierbarkeit der Ergebnisse, die bereits unter Objektivität erwähnt wurde, ist für die Validität ebenfalls wichtig. Das sind zwei Seiten derselben Medaille: einmal aus der Perspektive der forschenden Person (Ergebnisse intersubjektiv, d. h. unabhängig von der Person) und einmal aus der Perspektive der Messergebnisse (Ergebnisse valide, d. h. wissenschaftlich gültig). Reliabilität wiederum bezieht sich auf das Wie.
4. Kriterium der Wissenschaftlichkeit: Reliabilität – Erzeuge genaue und zuverlässige Ergebnisse
Reliabilität bedeutet Zuverlässigkeit. Die Methoden und Messinstrumente, die du zur Beantwortung deiner Forschungsfrage einsetzt, sollen stabile und genaue Ergebnisse liefern.
Das bedeutet: Wenn ich deine Untersuchung mit gleichen Instrumenten unter gleichen Bedingungen wiederhole, muss ich deine Messergebnisse rausbekommen, d. h. reproduzieren können. Wenn das eine dritte Person tut, muss sie ebenfalls zu denselben Ergebnissen gelangen.
Beispiel für mangelnde Reliabilität
Leider scheint sich die Unsitte zu verbreiten, dem hohen Publikationsdruck nachzugeben, indem man kaum reproduzierbare (nicht stabile) Ergebnisse raushaut. Die Folgen durfte ich als Diplomand in Neurogenetik am eigenen Leib spüren, was mich viel Nerven und Zeit gekostet hat.
Eine Arbeitsgruppe hatte ihre Ergebnisse und natürlich die eingesetzten Methoden und Instrumente in einem Paper veröffentlicht. Einen geschlagenen Monat lang versuchte ich, diese Ergebnisse zu reproduzieren. Dabei hielt ich mich strikt an das Protokoll.
Frustriert schrieb ich schließlich die Arbeitsgruppenleiterin an und bohrte nach. Ihre Antwort: »Bei uns hat das auch nicht gleich funktioniert …« Davon stand im Forschungsartikel aber rein gar nichts. Die Kolleg:innen hatten das Experiment wiederholt, bis sie die gewünschten Ergebnisse erhalten hatten und dann nur diese selektiv publiziert.
Ein No-Go!
Die Ergebnisse waren dementsprechend nicht stabil und belastbar.
Herausforderung Reliabilität
Wissenschaft ist mehr Transpiration als Inspiration. Zuverlässige Ergebnisse zu produzieren ist häufig nicht ganz einfach – und dennoch ein Grundkriterium der Wissenschaftlichkeit, das eingehalten werden muss.
Das setzt erstens voraus, dass die Instrumente geeignet, funktionstüchtig, zuverlässig und richtig eingestellt sind. Dazu gehören alle Geräte und die Software, die du verwendest. Darunter fällt aber auch beispielsweise die Ausgestaltung von Fragebögen.
Eine verdreckte Mikroskop-Linse verfälscht die Ergebnisse, während falsch eingestellte Software scheinbare Resultate ausgeben kann, die keine sind.
Zweitens bedeutet Reliabilität, dass deine Ergebnisse genau, stabil, wiederholbar und zuverlässig sein müssen.
Dass die Einstellungen der Geräte und die experimentellen Bedingungen bei jeder Messreihe exakt gleich sein müssen, ist dabei genauso selbstverständlich wie die exakte Einhaltung etablierter Protokolle (Vorgehensweisen).
Das gilt natürlich auch für Online-Umfragen oder Experteninterviews (präzise und immer gleiche oder vergleichbare Fragen).
Wenn du deine Messreihe oder Umfrage schon begonnen hast und erst dann feststellst, dass du schwankende oder ungenaue Ergebnisse produzierst, musst du abbrechen und die Ergebnisse verwerfen, die Messvorrichtung nachjustieren und die Messreihe neu starten.
Logisch, oder? Da gibt es leider auch keine Abkürzung.
Wie du die Zuverlässigkeit deiner Ergebnisse sicherstellst
Unter gleichen Bedingungen und unter Einsatz der gleichen Methoden müssen immer wieder dieselben Ergebnisse rauskommen, sonst genügen deine Ergebnisse nicht wissenschaftlichen Standards.
Wie kann man diese Standards einhalten?
- Wähle deine Methoden und Erhebungsinstrumente passgenau zum Einsatzzweck aus und überprüfe mehrfach sorgfältig die Funktionstüchtigkeit und die Feinjustierung des gesamten Instrumentariums. Der Einsatzzweck lautet: genaue und reproduzierbare Ergebnisse zur Beantwortung der Forschungsfrage erzeugen.
- Führe Pretests und Testläufe durch, um Optimierungspotenziale offenzulegen und deine Methodik sowie ggf. dein Forschungsdesign anzupassen.
- Denke sehr intensiv über deine Methodik, dein Forschungsdesign und die gewählten Instrumente nach und überprüfe kritisch, ob sie wirklich geeignet sind, zuverlässige, stabile und genaue Ergebnisse zu produzieren. Als Messinstrument gilt hier alles, womit du Daten erhebst und Ergebnisse erzeugst.
Deine Checkliste zur Einhaltung der Reliabilität
- Methoden passgenau geeignet
- Messung fehlerfrei und exakt
- Ergebnisse genau, stabil, zuverlässig, wiederholbar
5. Kriterium der Wissenschaftlichkeit: Validität – Setze geeignete Methoden ein
Validität bedeutet Gültigkeit. Deine Ergebnisse sind dann als valide zu bezeichnen, wenn sie inhaltlich gültig sind. Um dieses Kriterium der Wissenschaftlichkeit zu verstehen, kannst du dir einfach die Frage stellen:
Messe ich wirklich das, was ich messen will und soll?
Typische Fehlerquellen bei der Einhaltung der Validität
- Ungenaue Messung: Wenn du mit einem Fragebogen das Spektrum der politischen Einstellungen unter AfD-Wähler:innen untersuchen möchtest, wäre die Frage »Sind Sie für Deutschland?« schlicht zu ungenau.
- Stichprobe zu klein: Wenn deine Umfrage repräsentativ sein soll, aber nur 18 Menschen deinen Fragebogen ausfüllen, sind die Ergebnisse wahrscheinlich nicht valide. Gibt es aber wiederum insgesamt nur 22 Menschen mit dem zu untersuchenden Merkmal (Grundgesamtheit), dann schon.
- Falsche Stichprobenauswahl: Wenn du deine obige Umfrage unter den sogenannten »Antideutschen« durchführst, ist deine Stichprobenauswahl falsch und dein Resultat somit ebenfalls nicht valide.
Dieses Beispiel lässt sich auf andere Bereiche übertragen. Beispielsweise wird der Versuch eines Physikers, mittels einer Sanduhr die Wechselwirkungsdauer von subatomaren Teilchen zu bestimmen, keine validen Ergebnisse liefern. 🙂
Herausforderung Validität
Zur Einhaltung der Validität muss man manchmal höllisch aufpassen. Du musst sehr genau bestimmen (mehrfach reflektieren und schriftlich festhalten), was du wie messen und auswerten willst.
Das gilt ganz besonders bei statistischen Analysen, da wir Menschen dazu neigen, Wahrscheinlichkeiten falsch einzuschätzen.
Deshalb solltest du erstmal ein Bewusstsein für statistische Zusammenhänge und kognitive Verzerrungen entwickeln. Diese sogenannten Cognitive Biases sind typische und systematische Fehler in der Wahrnehmung und im Denken, die Amos Tversky und Daniel Kahneman aufgedeckt haben. Dafür gab es 2002 den Nobelpreis für Wirtschaftswissenschaften.
Drei Buch-Tipps zu diesem Thema:
- »Schnelles Denken, Langsames Denken« von Daniel Kahneman (YouTube)
- »Risiko: Wie man die richtigen Entscheidungen trifft« von Gerd Gigerenzer (3sat-Interview)
- »Die Kunst des klaren Denkens« von Rolf Dobelli (YouTube)
Wenn du dich auf eine kleine relevante Gruppe konzentrierst und beispielsweise fünf Experteninterviews qualitativ auswertest, ist das (nach Absprache mit deiner Betreuungsperson) durchaus zulässig und allemal besser als scheinrepräsentative Ergebnisse. Letztere wären schlimm und in jedem Fall wesentlich schlimmer als nicht repräsentative Ergebnisse.
So erzeugst du valide Ergebnisse
Validität ist ein allgemeines Kriterium der Wissenschaftlichkeit, das nicht nur etwa bei physikalischen Messungen zu beachten ist: Die zentralen Begriffe deiner Arbeit sollten genau differenziert und erläutert sein. Deine Fragen sollten passgenau formuliert sein und nach den richtigen Inhaltsbereichen fragen (Inhaltsgültigkeit).
Bei repräsentativen Umfragen solltest du auf die richtige Stichprobenauswahl und den richtigen Stichprobenumfang achten. Auch bei nicht repräsentativen Umfragen oder qualitativen Interviews solltest du die relevante Zielgruppe genau bestimmen und exakt nach den Inhalten fragen, die du herausfinden möchtest.
Wie wir oben gesehen haben, endet die Validität da aber noch nicht. Denn die Interpretationen und abgeleiteten Schlussfolgerungen müssen ebenfalls wissenschaftlich gültig (valide) sein. Das hängt allerdings zusammen.
Erfahrungsgemäß haben viele Studierende gravierende Probleme bei der Interpretation statistischer Auswertungen, aber auch bei der Analyse selbst.
Hätte ich übrigens behauptet, das träfe auf alle Studentinnen und Studenten zu, weil wir das in unserer täglichen Arbeit sehen, wäre das eine wissenschaftlich nicht valide Aussage und ein Beispiel für einen leider viel zu häufigen Fehlschluss, da ich meine persönliche Erfahrung als Lektor unzulässig verallgemeinern würde.
Genereller Tipp: Setze dich intensiv und gewissenhaft mit der Methodik und dem Forschungsdesign auseinander.
Das ist zwar anstrengend, vereinfacht und beschleunigt aber erheblich die weitere Bearbeitung deiner Problemstellung, reduziert das Risiko von Fehlschlägen und führt zu aussagekräftigen Ergebnissen – eine wahre Wohltat in der unsicheren und stressigen Abschlussphase.
Deine Leitfragen zum wissenschaftlichen Kriterium der Validität:
- Was genau will ich herausfinden?
- Wie will ich das tun?
- Ist die gewählte methodische Vorgehensweise wirklich geeignet, um die Forschungsfrage zu beantworten?
Deine Checkliste zur Einhaltung der Validität
- Alle zentralen Begriffe fundiert, d. h. erläutert, differenziert und belegt
- Fragen und Hypothesen passgenau formuliert, sodass diese präzise beantwortet werden können
- Richtige und für die Problemstellung relevante Inhaltsbereiche ausgewählt
- Stichprobe groß genug und repräsentativ
- Ergebnisse aussagekräftig
Zusammenfassung Objektivität, Reliabilität und Validität
Bei jeder Messung oder Datenerhebung sind (zur Einhaltung der Kriterien der Wissenschaftlichkeit) drei Fragen kritisch zu überprüfen:
- Objektivität: Kommt dasselbe Ergebnis raus, wenn eine andere Person unabhängig von dir deine Messung wiederholt, d. h. sind deine Ergebnisse unabhängig von deiner Person?
- Reliabilität: Sind die Ergebnisse zuverlässig und exakt, sodass ich bei der Wiederholung deines Experiments genau dieselben Ergebnisse erhalten würde?
- Validität: Misst du überhaupt das, was du messen willst und sollst, d. h. sind deine Methoden und Messinstrumente dazu geeignet, die Forschungsfrage zu beantworten?
Ausblick: Verständlichkeit
Die nächste Folge behandelt Verständlichkeit als Kriterium der Wissenschaftlichkeit.
Gerade dieses Kriterium betrifft viele formale und inhaltliche Details, die du in den für dich geltenden »Vorgaben für schriftliche Arbeiten« wiederfinden wirst.
Wenn du noch nicht der Empfehlung gefolgt bist, dich darüber zu informieren, solltest du das schleunigst nachholen:
- Rufe jetzt die Website deiner Uni auf.
- Suche nach »Vorgaben für schriftliche Arbeiten« oder »Richtlinien für schriftliche Arbeiten«.
- Downloaden. Online nichts gefunden? Frag bei deinen Kommilitonen, dem Prüfungsamt, der Studienberatung, deiner Fachschaft, der AStA oder deinem Betreuer nach.
- Lektüre genießen. Mind: blown!?