Lieber Zuschauer, dieser Untertitel wurde automatisch generiert von YouTube und dementsprechend (sehr) fehlerhaft. Wenn du kannst, hilf uns bitte gute Untertitel zu erstellen: https://c3subtitles.de/talk/1052 Danke!
[Musik]
äh es geht um Wissenschaft der Tork
heißt die dreckige Empirie die
Wissenschaft ist eine von vielleicht
zwei Methoden aber immerhin die beste
Methode die wir überhaupt uns ausgedacht
haben um Sinn von Unsinn zu
unterscheiden wie geht Wissenschaft wenn
ich sage im Kühlschrank ist noch Bier
könnt ihr mir das glauben das ist dann
Religion wenn ihr aufsteht und
nachgucken geht ob im Kühlschrank noch
Bier ist ist das Wissenschaft und zwar
Empirie denn die Wissenschaft trifft
Annahmen über die Realität und versucht
dann diese Annahmen durch das Gewinnen
von Daten also nachgucken ob im
Kühlschrank noch Bier ist in irgendeiner
Form zu bestätigen oder zu widerlegen
jetzt könnte man eigentlich sagen ist ja
eine prima Sache also glauben wir der
Empirie das Problem ist jetzt und das
ist z.B auch ein Problem dass die
Psychologie insbesondere hat und Daum
ist es ganz angenehm dass wir eine
psychologinier haben die sogenannte
replikationskrise das heißt es gibt jede
Menge empirische Studien da kommt ein
Ergebnis raus alle P sind Q
ähm und wenn man es dann versucht zu
reproduzieren dann kommt ein ganz
anderes Ergebnis raus das heißt im
Zweifelsfall könnten wir den Studien die
wir da lesen und vor allen Dingen den
Dingen die wir über diese Studien Lesen
nicht trauen und da könnt ihr mir
vertrauen denn ich bin
Wissenschaftsjournalist wie ihr trotzdem
rausfinden könnt ob ein Studie
funktioniert oder nicht das erfahren wir
hoffentlich jetzt denn Eiko hat einen
kleinen Vortrag
[Musik]
vorbereitet ja auch von mir erstmal
guten Morgen willkommen zu die dreckige
Empirie ich dachte ich locker es etwas
auf indem ich euch erstmal zeige was ich
nicht kann zeichnen und nein eigentlich
ist die Einführung so ein bisschen dafür
gedacht zu erklären warum ich diesen
Talk überhaupt halten will und ja ich
lese das einfach mal vor damit man wenn
man das nicht so gut lesen kann PU so
viele Leute hier und mir ist schwindelig
wenn ich umkippe hilft mir sicher
niemand was warum das kennst du nicht
den bystander Effekt wenn viele Leute da
sind hilft keiner ich habe das in einer
Studie gelesen die das bewiesen hat
jetzt kommen die drei Reaktionen die ich
oft Kriege und die mich unglaublich
Nerven erstens kann nicht stimmen mir
hat auf dem Kongress schon mal jemand
geholfen das kann gar nicht stimmen die
Studie von Borgs and pentra hat gefunden
dass Menschen in Gruppen gar nicht
seltener helfen und das beste tja sage
ich doch immer traue keiner Statistik
die du nicht selbst gefälscht hast immer
fantastisch das zu hören als
Wissenschaftlerin genau und aus diesen
Gründen habe ich mir folgende Leitfragen
für euch überlegt die ich gerne
versuchen würde mit euch zu klären
nämlich eigentlich kann man empirischen
Studien trauen und dazu wollen wir uns
ein bisschen damit beschäftigen wie
funktioniert empirische Forschung
überhaupt was sagen Studien eigentlich
aus was ist eine gute Studie und was
unterscheidet sie von derer schlechten
und was mache ich wenn ich
unterschiedliche Ergebnisse habe in zwei
verschiedenen Studien und am Ende wie
eben auch schon angekündigt wollen wir
uns noch ein bisschen damit befassen
welche Probleme die Wissenschaft so
allgemein
hat erstmal zu mir wer bin ich mein Name
ist Anna klingauf ich bin Psychologin
momentan arbeite ich an der unicassel im
Fachbereich Menschmaschine systemtech
das auf dem Bild bin ich ich bin das
links das rechts ist mein
Kollege nein also wir machen viel mit
Technik und eben der Schnittstelle zu
Menschen relativ spannend gut damit das
ganze nicht so trocken wird habe ich
euch eine Studie mitgebracht an der wir
das ganze jetzt mal beispielhaft
durchexerzieren können und zwar ist es
eine Studie zur facial Feedback
Hypothese und diese Hypothese also diese
Annahme besagt dass nicht nur unsere
Emotionen ein Einfluss auf unseren
Gesichtsausdruck haben also wenn wir
glücklich sind dann lachen wir sondern
es funktioniert auch andersrum nämlich
hat unser
Gesichtsausdruck Einfluss auf die
Emotionen relativ spannende these wie
ich finde und hier geht's jetzt im
Speziellen darum dass Lächeln die
positive Stimmung verstärkt also wenn
ich lächle beim glücklich sein bin ich
noch glücklicher und nicht lächeln
schwächt meine positive Stimmung ab
und
in der Zeit in der diese Studie
rausgekommen ist gab es dazu zwei große
Erklärungsansätze nämlich einmal den
kognitiven Ansatz der besagt das ist
alles Selbstwahrnehmung also ich
beobachte mich im Grunde genommen
durchgehend selbst und wenn ich lächle
dann schließe ich daraus dass ich sehr
glücklich bin und das macht mich nur nur
glücklicher und der andere Ansatz ist
das ist physiologisch also es geht um
die Muskeln die beim Lächeln angespannt
werden und die hängen einfach direkt mit
meiner Stimmung zusammen und jetzt ist
die Frage wie kriegt man raus welcher
dieser zwei Erklärungsansätze zutrifft
und ich habe eine meiner Meinung nach
sehr spannende Studie rausgesucht die
mich in meinem Studium auch schon sehr
begeistert hat und zwar von Fritz Strack
und da geht es genau darum rauszufinden
welche dieser beiden Theorien jetzt
zutrifft und an dieser Studie möchte ich
jetzt mit euch durchgehen wie
funktioniert empirische Forschung
überhaupt und was sagen Studien aus die
Idee dahinter ist wie eben schon kurz
angekündigt Vertrauen ist was anderes
als verstehen also wenn ich euch jetzt
sage ja empirischen Studien kann man
trauen dann müsst ihr mir das glauben
und dann haben wir nicht viel gewonnen
aber wenn ihr versteht wie empirische
Forschung funktioniert dann könnt ihr
besser einschätzen welcher Studie ihr
trauen könnt und welcher nicht
kurz als Einordnung ich will mich hier
hauptsächlich mit quantitativer
Forschung beschäftigen das bedeutet
qutitative Forschung ist dazu da
Annahmen zu prüfen die man schon hat der
Gegensatz dazu wäre qualitative
Forschung also ich frage wenige Leute
dafür genauer und will erstmal meine
Hypothesen also meine Annahmen
entwickeln darum soll es heute nicht so
sehr gehen nur damit sich hinterher
keiner beschwert okay was brauchen wir
um jetzt diese empirische Forschung zu
machen zuerst brauchen wir eine
Hypothese meine Hypothese hier wäre
Lächeln verstärkt positive Emotion das
ist eigentlich relativ einfach gesagt
und wie läuft so ein Experiment jetzt ab
das ist eigentlich bei den meisten
Experimenten sehr ähnlich deswegen wir
orientieren uns jetzt aber in unserem
Beispiel also zuerst muss man
Versuchsperson auswählen irgendjemanden
an dem man das ganze testen will und
dann muss man eine Manipulation
vornehmen das klingt jetzt erstmal
schlimm ist es aber nicht das ist
einfach ein Fachbegriff dafür dass ich
die eine Gruppe von Leuten dazu bringe
zu lächeln und die andere nicht zu
lächeln das ist meine Manipulation
und dann am Ende muss ich natürlich auch
noch messen was mich interessiert in dem
Fall hier die positiven Emotionen und am
Ende muss ich das ganze vergleichen und
dazu brauche ich
Statistik nur kurz falls jemand Angst
bekommt es sind keine Formeln in den
Folien okay zu den Versuchspersonen also
in einer idealen Welt würden wir
natürlich alle Menschen testen die das
betrifft Lächeln das machen alle
Menschen also müssten wir alle Menschen
testen das wäre uns unere Population
realistisch ist das natürlich nicht und
deswegen versuchen wir einfach eine
möglichst große Stichprobe auszuwählen
also wir wählen aus allen Leuten mehr
oder weniger zufällig einfach welche aus
die wir dann testen ideal wäre wenn wir
repräsentativ eine Stichprobe ziehen
würden das bedeutet unsere Stichprobe
sollte genauso aufgebaut sein wie die
Population die wir untersuchen sollen
also wir sollten genauso viele junge wie
alte haben wie auch Männer und Frauen
das ist aber auch nicht realistisch in
der Forschung und
deswegen macht man das so dass man
Theorie geleitet sagt ist es denn in
Ordnung wenn ich jetzt nur bestimmte
Leute teste in dem Fall heißt das ich
nehme eigentlich nicht an dass Männer
unterschiedlich Lächeln wie Frauen oder
junge anders wie ältere und deswegen ist
es okay wenn ich einfach irgendwelche
Leute nehme weil ich ja annehme dass das
bei allen gleich funktioniert und wonach
dann am Ende wirklich ausgewählt ist
wird ist auf die verfügbar also wer
erklärt sich überhaupt bereit an Meer
Studie teilzunehmen Leute die sich nicht
bereit erklärt haben machen oft nicht so
gut
mit was wir auch noch sehen müssen ist
dass wir ja hier eine zufällige Auswahl
treffen also wenn ich
100.000 Leute hab und wähl da jetzt z
draus aus dann spielt da der Zufall mit
rein und natürlich ist das ist dieser
zufallseinfluss dann auch in meinen
Daten drin das heißt je nachdem ob ich
jetzt am oberen Ende irgendwie welche
Leute erwische oder am unteren Ende von
irgendeinem Merkmal dass ich mir
ausdenke das macht einen Unterschied da
kommen wir gleich noch zu warum das
wichtig ist hier bei der Studie wurden
jetzt 92 Studierende benutzt okay zur
Manipulation in unserer Studie wollen
wir rausfinden ist der Effekt wenn wir
einen Effekt sehen also wenn manche
Leute glücklicher sind als andere kommt
das wirklich von diesem Lächeln was wir
den eingeflüstert haben und wichtig
dafür ist dass wir alles andere zwischen
den beiden Gruppen gleich
weil wenn wir noch irgendeinen
Unterschied hätten dass die einen
irgendwie ein anderen cartoon sehen als
den anderen dann könnte es ja auch am
cartoon liegen und deswegen ist es
wichtig dass alles andere gleich bleibt
nur das Lächeln ändert sich eben ob sie
lächeln oder nicht lächeln und was auch
noch wichtig ist ist hier dass man keine
direkte Anweisung zum Lächeln gibt weil
das im Zweifel unsere Studie verfälschen
könnte weil wenn die Leute dann werden
die Leute ja noch mal drauf hingewiesen
aha jetzt lächle ich und das könnte man
dann hinterher nicht mehr raus Renen ob
die denken sie müssen sich jetzt so
verhalten also um Verfälschung zu
vermeiden sollten wir hier den Sinn
verschleiern und das ist warum ich diese
Studie eigentlich begeistert weil sie so
klasse von der Durchführung ist finde
ich und zwar haben die sich gedacht wie
machen wir das ohne den Leuten zu sagen
Lächeln wir lassen die ein Stift in den
Mund nehmen und zwar entweder zwischen
den Zehnen oder in die zwischen den
Lippen und wer ein Stift dabei hat darf
das jetzt gerne ruhig mitmachen ich
demonstriere das mal kurz wenn man den
Stift zwischen die Zähne nimmt werden
dabei die gleichen Muskeln angespannt
wie auch beim Lächeln man zieht so die
Mundwinkel hoch
so und wenn man den Stift zwischen die
Lippen nimmt dann werden die Muskeln
auch angespannt aber die werden so
zusammengepresst so als würde man
verkniffenes Gesicht machen und dadurch
ist es dann unmöglich gleichzeitig zu
lächeln
so und dazu da kriegt man die Leute dazu
entweder zu lächeln oder nicht zu
lächeln ohne Ihnen das zu sagen und ich
finde das sehr K lasse und das gute an
diesem Ansatz ist dass man mit dieser
Manipulation jetzt rauskriegen kann
welche der beiden Theorien trifft
eigentlich zu denn dadurch dass wir den
Leuten ja einen Grund geben warum sie
die mene so doof verziehen kann diese
kognitive Theorie ja gar nicht mehr
greifen wenn die sich selbst beobachten
denken die nicht ach ich lächle sondern
ach ich habe ein Stift im Mund das heißt
wenn wir jetzt mit dieser Studie
trotzdem noch den Effekt finden dass
Leute die die Mundwinkel hochziehen die
Lust das ganze lustiger finden oder
glücklicher sind dann liegt es wirklich
daran dass die Muskeln direkt über diese
physiologische Theorie mit der Stimmung
verknüpft
sind okay und jetzt ähm gehen wir einen
Schritt weiter wir müssen die ganze
Sache noch messen und hier ist jetzt
eine Sache wichtig die generell in der
Psychologie uns vor große Probleme
stellt nämlich das meiste was wir messen
wollen ist gar nicht direkt messbar
Emotionen sind nicht direkt messbar man
kann anders als in der Chemie oder so
nicht einfach irgendwie ein Thermometer
reinstecken sagen ah glücklich fün von Z
sondern man muss das indirekt messen
meistens indem man die Leute befragt und
damit man das auch vergleichen kann
zwischen zwei verschiedenen Leuten nimmt
man dazu meistens so eine Skala so wie
glücklich sind sie auf einer Skala von 1
bis
10 okay und weil unsere Hypothese ja ist
dass Emotionen nur verstärkt werden
müssen wir die Leute erstmal glücklich
machen oder bzw fröhlich machen sie gute
Stimmung versetzen das wurde in der
Studie gemacht indem sie einen lustigen
cartoon angeschaut haben der Cartoon
wurde natürlich vorher getestet ob der
lustig ist
und einen Fachbegriff würde ich jetzt
hier gerne einführen einfach wenn man
den häufig braucht und das ist der
Fachbegriff
Operationalisierung das bedeutet ich
mache Dinge messbar die eigentlich nicht
messbar sind und
dieses den Fragebogen anwenden wäre eine
Operationalisierung was hier auch ganz
wichtig S sind ist ist dass Messungen
einfach per se immer ungenau sind und
zwar alle Messungen selbst wenn ich
jetzt mit demem Maßband an dem Tisch
rangehe und versuche auszumessen wie
lang der ist wenn ich das fünf Mal mache
kriege ich nicht jedes mal exakt den
gleichen Wert das sind zufällige Fehler
die da auftreten einfach wie ich vom
Winkel her gucke oder wie ich das
Maßband ziehe also Messungen sind per se
ungenau und das trifft natürlich umso
mehr zu wenn ich gar nicht das Merkmal
was ich eigentlich messen will diese
Emotion direkt Messe sondern wenn ich
sie indirekt Messe das macht das Ganze
einfach noch ein bisschen anfälliger für
zufällige
Fehler das waren jetzt die wichtigen
Sachen ich fasse das Experiment noch mal
ganz kurz zusammen weil ich es wichtig
finde dass jeder verstanden hat was
jetzt hier gemacht wurde also die
Versuchsperson wurden eingeladen die
sollten ein Stift halten entweder
zwischen den Zehnen zwischen den Lippen
oder in der Hand und dadurch wurde eben
Hand ist einfach die Kontrollgruppe ähm
da hat man die Idee das hat keinen
Einfluss auf die Emotionen aber einfach
damit man so eine baseline hat dann
mussten sie in cartoon schauen und
bewerten in welcher wie wie gut sie von
der Stimmung sind also ob sie eine gute
Stimmung haben oder nicht kleiner fun
fact natürlich muss man den Leuten
irgendwas erzählen damit sie ins Labor
kommen und ein Stift in Mund nehmen hier
hat man den Leuten erzählt dass man
erforschen will es gibt ja Menschen mit
Behinderung die so mit dem Stift im Mund
schreiben und man möchte da erforschen
wie sich das in verschiedenen
Lebenslagen auswirkt das war so die
cover story natürlich wurden die am Ende
aufgeklärt was wirklich erforscht wurde
okay kommen wir jetzt zu dem
methodischen Teil dem vergleichen und
der ist mir auch wichtig ich will nicht
dass ihr jetzt die komplette Statistik
von Abis Z durchrechnen können sondern
einfach ein gewisses Verständnis dafür
wie so eine Statistik funktioniert und
was wir hier machen wollen ist dass wir
vergleichen wollen die beiden Gruppen
und zwar die was die bewertet haben wie
lustig das ganze ist oder in wie guter
Stimmung sie sind also positive Stimmung
und da wir in jeder Gruppe mehrere
Personen haben würde es sich anbieten
einfach den Gruppendurchschnitt zu
nehmen also ich rechne das zusammen
Bilde ein Durchschnitt und jetzt ist die
Frage kann ich das direkt vergleichen
kann ich sagen der Gruppendurchschnitt
bei den Leuten die das zwischen den Zeh
gehalten haben ist höher super Studie
bestätigt nee das wäre ein bisschen zu
einfach da hätte ich mir lange Jahre
statistikstudium sparen
können warum es gibt eben diese
zufälligen Fehler die ich erwählt hab
erwähnt habe erstens die du durchs
Messen an sich kommen und zweitens die
die dadurch aufgetreten sind dass ich ja
nicht alle Menschen befragt habe sondern
nur eine gewisse Stichprobe und da habe
ich noch mal zufallseinfluss drin das
heißt ich habe jetzt zwei Werte die sich
voneinander unterscheiden und ich will
rausfinden unterscheiden die sich weil
da wirklich ein Effekt hinterliegt oder
ist das einfach nur Zufall unterscheiden
die sich zufällig voneinander hier habe
ich euch jetzt mal die Originaltabelle
mitgebracht aus der eben gesehenen
Studie da sieht man jetzt hier bei mean
funniness das zweite von unten das das
wären jetzt hier unsere Mittelwerte die
wir gebildet
haben okay was machen wir jetzt damit
wir müssen jetzt erstmal ein
statistisches Verfahren aussuchen und da
ist die Auswahl wirklich sehr groß also
es gibt sehr sehr viele statistische
Verfahren die für verschiedene Zwecke
geeignet sind das bekannteste ist glaube
ich der t-Test der ist dafür da einfach
zwei Mittelwerte miteinander zu
vergleichen funktioniert hier nicht wir
haben mehr als zwei Gruppen ja Zähne
Lippen Hand und deswegen wurde hier eine
Varianzanalyse angewendet damit kann man
mehr als zwei Gruppen vergleichen und
zwar wurde eine besondere Art der
Varianzanalyse angewendet die heißt
geplante Kontraste und das bedeutet
einfach nur dass ich nicht nur
Vergleiche unterscheiden sich die Werte
voneinander sondern ich kann vorher
aussuchen welches Muster ich erwarte und
dann kann ich prüfen ob das stimmt ich
will euch jetzt kurz die Grundzüge
dieser Varianzanalyse erklären ich hoffe
das klappt genau ähm was ich eben schon
gesagt habe die Grundfrage ist
unterscheiden sich die Werte zufällig
voneinander oder wegen eines Effekts und
eigentlich will ich testen bei diesem
geplanten kontrasteing wie
wahrscheinlich ist es dass ich durch
Zufall so ein Muster
bekomme ich habe es einfach mal hier
aufgezeichnet und das sind jetzt hier
die drei Gruppen man sieht die
unterscheiden sich voneinander die Frage
ist ist das Zufall oder nicht und was
ich jetzt machen kann ist ich kann die
Varianz berechnen deswegen heißt das
Ding anzanalyse die Varianz ist im
Grunde der Unterschied der einzelnen
Messwerte zu ihrem
gruppenmittelwert das also von jedem
einzelnen Punkt zum Mittelwert das wird
dann in eine Formel gepackt wird
zusammengerechnet ist nicht ganz wichtig
wie die Formel genau aussieht es wird
dann noch quadriert damit man keine
Vorzeichen hat und dann kriegt man einen
Wert und den nennen wir jetzt Varianz
innerhalb einer Gruppe und das machen
wir natürlich für jede Gruppe und was
wir dann noch machen können ist dass wir
das gleiche mit den verschiedenen
Gruppen machen wir vergleichen nämlich
die
gruppenmittelwerte mit dem
gesamtmittelwert den ich ja auch
berechnen kann einfach den Mittelwert
von allen Personen und hier kann ich
wieder eine Varianz berechnen also
wieder der Unterschied der einzelnen
Gruppen zum
gesamtmittelwert und diese zwei
Varianzen kann ich jetzt im Verhältnis
zueinandersetzen und kann sagen m ist
die Varianz innerhalb einer Gruppe
einfach riesig groß das würde dann
bedeuten die Leute in der Gruppe sind
ganz uneinheitlich wie wie glücklich
oder wie wie gut die Stimmung ist und
dann kann man noch sagen ist der
Unterschied zwischen den Gruppen eher
groß oder eher klein wenn die Varianz
zwischen den Gruppen groß ist heißt das
da ist riesen Unterschied ob ich jetzt
in der zähnegruppe oder in der
lippengruppe bin und wenn ich diese
beiden Varianzen die ich berechnet habe
ins Verhältnis zueinandersetze kriege
ich einen Wert raus das ist so ein
F-Wert und da kann ich dann in der
Tabelle nach nachgucken wie
wahrscheinlich ist es dass ich dieses
Verhältnis durch Zufall rausbekommen
habe und das ist im Grunde schon wie
eine Varianzanalyse funktioniert
natürlich mit ein bisschen mehr Formeln
man rechnet das dann noch hoch und
schätzt da verschiedene Werte aber im
Grunde genommen reicht es zu verstehen
was hier gemacht wird und zwar dass wir
dann am Ende sagen können ist das Zufall
oder
nicht genau noch mal zu dem zu den
geplanten Kontrasten das wäre jetzt
einfach was ich en würde ne also die die
Gruppe mit der in der Hand wä in der
Mitte Zähne wäre erhöht und Lippen wäre
erniedrigt das wäre was ich erwarten
würde und jetzt kann ich testen trifft
das so zu oder
nicht gut was sagt uns das jetzt oder
was machen wir jetzt damit also wir
haben jetzt berechnet die
Wahrscheinlichkeit dass es nicht nur
Zufall ist sondern dass da wirklich was
hinter steckt 100% Sicherheit sind
natürlich ein ziemlich unrealistisches
Ziel weil wir eben so viele
zufallseinflüsse da drin haben haben wä
es richtig gruselig wenn das wirklich zu
100% sicher wäre und deswegen hat man
sich überlegt dass man so eine
irtumswahrscheinlichkeit einführt auf
die sich alle einigen die noch in
Ordnung ist und meistens nimmt man dafür
5% oder
1% und berechnet eben so eine
irtumswahrscheinlichkeit die ist in
einen Studien noch immer drin die nennt
sich P oder p-Wert und
dann sage ich einfach wenn meine
Irrtumswahrscheinlichkeit kleiner als
0,05 ist also kleiner als diese f Proz
dann nenne ich das ganze signifikant und
sag okay ich gehe davon aus dass der
Unterschied echt ist und dass das nicht
nur Zufall ist und ich finde das ist
ganz wichtig um einzuschätzen was
Studien eigentlich auchuss sagen man
darf nicht drauf kommen okay Signifikanz
bedeutet ist unbedingt so sondern auch
signifikant bedeutet man hat noch eine
Irrtumswahrscheinlichkeit drin und hier
in dieser Studie die ich euch
mitgebracht habe im ersten Experiment
ist die irtumswahrscheinlichkeit P =
0,03 also 3%. nur mal so zur
Einschätzung was machen wir jetzt mit
diesem Ergebnis wir haben jetzt
gerechnet und haben rausgefunden unser
Test wird signifikant also geht der
beobachtete Unterschied dass nämlich die
einen in positiver gestimmt sind als die
anderen geht wahrscheinlich auf unsere
Manipulation zurück nämlich dass die
einen gelächelt haben und die anderen
nicht und da wir ja ausgeschlossen haben
mehr oder also da wir die Annahme haben
dass
das was wir machen ausschließt dass die
Leute das K ef verarbeiten schließen wir
jetzt daraus dass die physiologische
Theorie die ich am Anfang vorgestellt
habe wahrscheinlicher wird ganz wichtig
das ist kein Beweis dass sie wirklich
zutrifft es ist halt nur kein
Gegenbeweis und es unterstützt die
Hypothese die wir haben mit einer
gewissen
Irrtumswahrscheinlichkeit gut das wäre
es von mir zu dem Teil wie empirische
Forschung funktioniert die Studie könnt
ihr nachlesen das habe ich euch am Ende
auch noch mal äh zusammengefasst und
jetzt würde ich mich mit euch gern kurz
damit beschäftigen was eine gute Studie
überhaupt ausmacht woran erkenne ich
das hier mal zusammengefasst ich gehe
auf die Punkte noch mal näher ein
zumerst brauchen wir eine gute
Operationalisierung wir brauchen eine
angemessene Stichprobe wir müssen
ordentliche Statistik berechnen ganz
wichtig natürlich Korrelation und
Kausalität auseinanderhalten und als
zwei hinweiswerte die man hinzuziehen
kann gibt es noch Peer Reviews und
Impact Factor da gehe ich auch noch kurz
drauf ein
was ist eine gute Operationalisierung
also das messbar machen von
nichtmessbaren Dingen z.B
standardisierte Tests das ist immer
relativ gut wenn man sowas nutzen kann
weil das eben schon von jemand anderem
getestet wurde ob das gut funktioniert
was ich auch immer sehr wichtig finde
kriege ich in der Studie die ich lese
eine sinnvolle Erklärung warum so
gemessen wird wie gemessen wird
und auch wichtig gibt der Autor der
Studie an welche Qualitätskriterien
seine Messart hat wenn man z.B so ein
standardisierten Fragebogen hat hat man
so Qualitätskriterien die heißen z.B
Reliabilität und Validität und dazu gibt
es Werte und die sollten angegeben sein
was auch immer gut ist ist wenn eine
Studie ein Manipulation Check durchführt
das bedeutet wenn die Autoren am Ende
noch mal prüfen hat das wirklich
funktioniert was ich machen wollte also
Lächeln die Leute auch wirklich mit
diesem Stift im Mund oder haben die
irgendeine Art gefunden den so zwischen
den zhnen einzuklemmen dass sie dabei
doch nicht lächeln das wäre der
Manipulation Check
auch hilfreich ist immer wenn man sich
nicht sicher ist ist das eine gute
Operationalisierung andere Studien
suchen die was ähnliches messen und
einfach mal vergleichen wie messen die
das denn ist das vielleicht sinnvoller
als das was ich hier jetzt gerade
vorgesetzt
bekomme auch wichtig eine angemessene
Stichprobe es gibt da so eine
Daumenregel die besagt wenn man
verschiedene Gruppen hat sollte man
mindestens 30 Leute pro Gruppe haben
damit die Daten auch wirklich
aussagekräftig sind das ist natürlich
nicht immer möglich aber man sagt das
sollte ungefähr erfüllt sein damit man
mit der Stichprobe zufrieden sein kann
ein ständiges Problem was ich euch nicht
vorenthalten möchte ist in vielen
Studien werden Studierende als
Stichprobe ausgewählt einfach weil sie
da sind und bereit sind mitzumachen das
kann Problem sein nämlich wenn
Unterschiede zu anderen denkbar sind
also wenn man jetzt politische
Einstellung erforscht dann ist es klar
dass Studierende da vielleicht ein
bisschen anders ticken als die
Gesamtbevölkerung dann ist es ein
Problem darauf sollte man achten wenn
man so eine Studie liest kann man sich
da noch was anderes vorstellen und ähm
wenn es um sowas wie Lächeln geht ist
das weniger ein Problem und was auch
sehr sinnvoll ist ist wenn in dem
Artikel in der Studie irgendwo drin
steht wurde überprüft ob die
Versuchspersonen durchschaut haben was
man messen wollte weil wenn Sie das
merken dann kann man die Ergebnisse
unter Umständen nicht mehr gebrauchen
das wäre für mich auch ein
Qualitätsmerkmal wenn das da drin steht
ordentliche Statistik das bedeutet vor
allen Ding das richtige statistische
Verfahren zu verwenden kleines Beispiel
was kann passieren wenn man das falsche
Verfahren verwendet wenn man viele
Einzeltests rechnet also wenn ich jetzt
anstatt alles zu vergleichen sage okay
ich vergleiche eins mit zwei zi mit 3
eins mit 3 dann habe ich ganz viele
Tests gerechnet statt einem großen und
das ist nicht gut weil die
Irrtumswahrscheinlichkeit ja immer nur
für einen Test gilt und wenn ich mehrere
Tests rechne und damit aber eine Frage
beantworten will dann habe ich hinterher
weil sich diese
irtumswahrscheinlichkeiten so habe ich
eine größere Irrtumswahrscheinlichkeit
als ich eigentlich haben wollte und dann
ist mein Ergebnis weniger sicher ob
etwas das richtige statistische
Verfahren ist ist für Leinen schwer
einzuschätzen das gebe ich zu das ist
eher schwierig was man sich da angucken
kann ist wird genau berichtet also
werden alle Kennwerte reingeschrieben
und wäre es einem Profi möglich das
ganze vielleicht auch noch mal
durchzurechnen das spricht immer dafür
dass das eine ordentlich gerechnete
Studie ist Korrelation und Kausalität
ganz kurz ich glaube das wissen die
meisten auch schon dass welche Schlüsse
werden gezogen also Korrelation ist der
Zusammenhang zwischen zwei verschiedenen
Merkmalen und Kausalität bedeutet a
verändert B kleines Beispiel was ich
gern gebe was glaube ich bekannt ist in
Landstrichen mit mehr Störchen werden
mehr Kinder geboren darf ich daraus
jetzt schließen dass Störche Kinder
bringen nein denn hier W jetzt werden
jetzt andere Gründe noch die einfach
vergessen werden z.B dass auf dem Land
mehr Störche Leben und viele Leute aufs
Land ziehen wenn sie Kinder bekommen und
deswegen muss ich immer sehr darauf
aufpassen welche Schlüsse darf ich
überhaupt ziehen z.B muss auch die
zeitliche Abfolge gegeben sein also wenn
A nicht vor B passiert dann kann A nicht
B
verändern einfach wichtig da noch mal
drüber nachzudenken wenn man so eine
Studie liest kann das überhaupt
sein okay einen Hinweis re also einen
Hinweis den man sich angucken kann wenn
man wissen will ist eine Studie gut oder
nicht Studien werden immer in
Zeitschriften also werden meistens in
Zeitschriften veröffentlicht und viele
Zeitschriften haben ein sogenanntes Peer
Review das gab es auch in einigen
anderen sehr guten Vorträgen schon zu
hören das bedeutet dass andere Forscher
aus dem Feld den Beitrag bewerten wenn
er eingereicht wird und das ist nicht
unumstritten sich darauf zu verlassen es
gibt natürlich auch Forscher die sich
unterlang untereinander lange kennen man
zitiert gern von Kollegen das ist jetzt
kein Merkmal wo ich sagen muss okay das
stellt die stellt die Qualität immer
sicher aber es ist ein guter Hinweis auf
Qualität nämlich wenn ich in wenn ich
eine Zeitschrift habe wo kein peerreview
stattgefunden hat dann ist es auf jeden
Fall schon mal ein bisschen kritischer
zu
betrachten genauso beim Impact Factor
der Impact Factor das ist eine Kennzahl
die zur Zeitschrift gehört und die mehr
oder weniger besagt wie oft wurde denn
daraus zitiert also wie bekannt ist
diese Zeitschrift das kann man als
Qualitätskriterium nehmen das darf man
allerdings nicht überbewerten die Idee
dahinter ist umso bekannter die
Zeitschrift ist umso mehr Auswahl hat
sie umso mehr Artikel werden eingereicht
und umso mehr kann sie sich aussuchen
was sie dann am Ende nimmt und die
Annahme ist dass sie dann eher bessere
Studien nimmt weil sie mehr Auswahl hat
das wie gesagt das darf man nicht
überbewerten das bedeutet nicht dass
alle Studien die in
Journals mit Tom Impact Factor kommen
auch wirklich alle Top sind aber man
kann es zumindest mal als Hinweis nehmen
wenn man eine Studie gefunden hat guckt
man sich einfach mal den impactvaktor an
und kann dann so ein bisschen einordnen
also Impact Factor über eins wurde bei
uns im Studium immer gesagt kann man
zitieren keine so richtig feste Grenze
aber so zur Einordnung für
euch gut damit hätte ich so ein bisschen
euch versucht ein Einblick zu geben was
eine gute Studie ist jetzt wollen wir
noch kurz zur Frage kommen was mache ich
eigentlich wenn ich wie vorne im Comic
beschrieben unterschiedliche Ergebnisse
habe wenn ich zwei Studien finde die was
komplett gegenteiliges Aussagen und da
will ich noch mal kurz auf das Beispiel
vom bystander Effekt vom Anfang
zurückkommen der eben in dem Comic drin
war und der besagt umso mehr Leute bei
einem Unfall zusehen umso weniger gibt
es dann Hilfeleistung und die Grundlage
ist ein Fall aus New York von einer
gewissen Kitty Genovese die damals
ermordet wurde und um die 40 Nachbarn
haben das mitgekriegt die haben gehört
wie sie geschrienen hat und kein
einziger hat die Polizei gerufen und das
hat einen gewissen John m dley dazu
veranlasst da mal ein bisschen genauer
drauf zu guucken und der hat dann
relativ viele Experimente dazu gemacht
in denen er einen Unfall simuliert hat
und hat einfach variiert wie viele
Personen dazueguckt haben und hat dann
gemessen helfen die und wenn ja wie
lange dauert es bis die helfen und
dieser Effekt das ist auch schon relativ
lange her der wurde oft gefunden und
sehr viel diskutiert gerade weil es auch
so ein bisschen gruselig ist die Idee
dass einfach niemand hilft und
da gibt es wie am Anfang erwähnt
unterschiedliche Ergebnisse also manche
Studien haben das gefunden und manche
nicht was machen wir jetzt
damit zuerst mal genauer
hinschauen manchmal wenn Studien so
erscheinen als wären sie komplett
gegensätzlich gibt es einfach
Unterschiede die dafür sorgen dass sie
dann am Ende doch nicht so gegensätzlich
sind außerdem möchte euch Metaanalysen
kurz vorstellen und sogenannte
Reviews zu den Unterschieden Ergebnisse
scheinen manchmal nur Wieders sprüchlich
z.B kann man sich angucken was für eine
Stichprobe wurde untersucht wenn in der
einen Stichprobe Kinder genommen wurden
in der anderen Erwachsene könnte es
vielleicht sein dass gar nicht
irgendeine der Studien falsch ist
sondern dass es einfach bei Kindern
unterschiedlich funktioniert als bei
Erwachsenen oder man kann sich die
Operationalisierung anschauen also wie
wurde das Ganze durchgefüt führt z.B
wurden mehrere Versuchspersonen ich habe
jetzt hier echte Personen geschrieben
sind natürlich alles echte Personen aber
mehrere Versuchspersonen
Zeuge dieses Unfalls oder war nur eine
der anwesenden Personen eine
Versuchsperson und das andere waren
eingeweihte das kann ein Unterschied
machen also was können wir machen um das
jetzt genauer rauszufinden man kann sich
so eine Metaanalyse die ich gleich
vorstelle anschauen und es gibt auch
Moderator en das sind dann Analysen in
denen rausgefunden wird macht das jetzt
ein Unterschied ob das Kinder oder
Erwachsene
sind zu den Metaanalysen Metaanalysen
sind Zusammenfassungen mehrerer Studien
in einem wissenschaftlichen Artikel und
vorausgehen da umfassende
Literaturrecherchen das heißt der Autor
von einer Metaanalyse versucht z.B vom
Jahr 1970 bis 2010 alle Studien zu
erwischen die zu diesem Thema erschienen
sind und dann packt er die in einen
Artikel und beschreibt eben oft auch die
Unterschiede die zwischen diesen Studien
auftreten und was sehr sehr praktisch
ist ist die Berechnung von Effektstärken
die möchte ich euch kurz näher bringen
und
Effektstärken sagen halt aus wie stark
so ein Effekt ist wenn er auftritt
also wie sehr unterscheidet sich das und
sehr sehr praktisch ist die Berechnung
einer gesamteffektstärke über alle
Studien von 1970 bis 2010
Effektstärken sind ein Kennwert wie groß
ein Effekt ist und das Schöne daran ist
dass sie standardisiert sind das heißt
vergleichbar zwischen Studien wenn ich
mir Mittelwerte angucke dann hat der
eine vielleicht eine andere Skala in
seiner Studie verwendet und dann kann
ich die nicht mehr direkt miteinander
vergleichen Effektstärken kann ich
vergleichen eine ein Beispiel el für
eine Effektstärke ist Cohens D das kann
man berechnen und da gibt es auch so
eine
Richtlinie wie man das einschätzen kann
also ein kleiner Effekt wäre so um die
0,2
einen Effekt um die 0,5 würde man
mittlerer Effekt nennen und ab 0,8 würde
man von dem großen Effekt sprechen und
ich denke das ist relativ hilfreich
wenn man dann so eine gesamteffektstärke
in der Metaanalyse liest und dann drauf
guckt okay ist das großer mittlerer oder
kleiner Effekt dann habe ich schon
relativ gute Idee davon
wie das F also wie diese wie diese
Fragestellung die ich da betrachte
einzuschätzen
ist ich habe eine Metaanalyse gefunden
zu diesem bystander Effekt den ich euch
vorgestellt habe da sieht man auch dass
das relativ viele Autoren sind
das ist nötig weil diese
Literaturrecherchen eben auch oft sehr
aufwendig sind und die habe ich euch am
Ende auch noch mal auf die Folien
geschrieb rieben gerne mal reingucken
ist relativ interessant weil dann auch
solche Widersprüche solche scheinbaren
Widersprüche darin aufgelöst
werden Reviews ist noch ein bisschen was
anderes als Metaanalysen Reviews sind
Zusammenfassungen des aktuellen
Wissensstands über ein bestimmtes Thema
diese Reviews sind auch Artikel die
meist von Forschern aus der
entsprechenden Richtung erstellt werden
die forschen selbst in dem Gebiet und
sagen sich jetzt haben wir 2010 ich
fasse jetzt einfach mal zusammen was
bisher über diesen Effekt bekannt ist
und das praktische ist dass ähm wenn man
das als nicht ganz in diesem Feld
informierter Mensch liest dann hat man
ein Fach ein Fachmann der mit dem
Fachwissen dass er hat einem die
Widersprüche auflöst der einem sozusagen
erklärt warum sich diese Studien
voneinander unterscheiden es kann auch
sehr praktisch
sein genau das wäre im Grunde das wären
im Grunde genommen schon meine Tipps was
man machen kann wenn man
unterschiedliche Ergebnisse findet eben
Metaanalysen oder Reviews zu dem Thema
suchen jetzt möchte ich mich noch ganz
kurz am Ende damit befassen welche
Probleme die Wissenschaft hat weil ich
es einfach nicht fair finde euch hier
ein positiveres Bild zu verkaufen als es
eigentlich
ist die Probleme es gibt natürlich mehr
Probleme in der Wissenschaft als jetzt
die drei die ich hier vorstellen werde
aber da die Zeit begrenzt
ist werde mich auf diese drei
konzentrieren das erste ist P haacking
das zweite ist die eben schon erwähnte
replikationskrise und das dritte ist der
publication
bias zum P haacking was P haacking
bedeutet dass man Daten manipuliert um
das gewünschte Ergebnis zu bekommen Ziel
bei diesem phacking ist diesen p-Wert
den wir eben schon besprochen haben also
die
Irrtumswahrscheinlichkeit unter 5% zu
drücken indem man an Stellschrauben ein
bisschen dreht damit man eben diese
Statistiken beeinflussen kann und damit
möchte man erreichen dass der Test den
man durchführt dann irgendwie doch noch
signifikant wird das ist im Grunde
absichtliches täuschen und das Schlimme
ist dass es kaum zu bemerken ist also
die wenigsten Autoren veröffentlichen
ihre Rohdaten und selbst
wenn könnte man das vielleicht auch
nicht ganz nachvollziehen und das ist
auf auf jeden Fall ein Problem es gibt
schon Ansätze um das irgendwie ein
bisschen zu verhindern ein Ansatz der
eben schon vorkam replikationsstudien
also ich schaue mir eine Studie an und
versuche sie einfach noch mal genauso
durchzuführen und schaue ob ich auf die
gleichen Ergebnisse komme und damit kann
ich eventuell dann im Nachhinein P
haacking
aufdecken allerdings darf man da dann
auch nicht voreilig sein weil wenn man
jetzt was anderes findet muss man dem
vorherigen Autor nicht unbedingt
unterstellen dass er es absichtlich
falsch gemacht hat wir haben ja auch
immer noch unsere
Irrtumswahrscheinlichkeit aber zumindest
kann man da mal schauen wie
wie es in dem Feld so aussieht wichtig
das Problem ist dadurch nicht gelöst das
ist nur ein Lösungsansatz aber
theoretisch kann das immer noch
vorkommen die
replikationskrise schließt jetzt da so
ein bisschen ungünstig dran an weil ich
euch eben vorgestellt hat dass
Replikation da so ein Ansatz sind ähm
genau Replikation ist die Studie einfach
zu wiederholen von einem anderen
Forscher mit der gleichen Fragestellung
und äh wie eben schon kurz angedeutet
gab es da gerade in der Psychologie vor
einiger Zeit eine
replikationskrise man hat festgestellt
relativ viele relativ wichtige Befunde
auf die wir uns ja die wir seit Jahren
irgendwie als ähm relativ sicher
angenommen haben konnten nicht
repliziert
werden was gibt's da was gibt's da für
Ansätze also eigentlich kann man nur
ansetzen wenn man die Studie zum ersten
Mal schon durchführt indem man einfach
mehr auf die Studienplanung achtet und
die ganze Studie von Anfang an schon
ähm ordentlich plant viele
Versuchspersonen damit man sich bei dem
Ergebnis dann noch einfach sicherer ist
m und man kann die
Irrtumswahrscheinlichkeit reduzieren ich
habe ja eben erklärt entweder setzt man
die auf 5 % oder auf 1% fest und ähm ums
restriktiver man dabei ist umso sicherer
kann man sich natürlich auch sein und
wenn wir uns alle drauf einigen dass wir
uns sehr sicher sein wollen dann können
wir vielleicht in Zukunft sowas wie
replikationskrisen eher vermeiden aber
auch dieses Problem ist noch nicht
gelöst das letzte Problem was ich euch
jetzt noch vorstellen möchte ist der
publication
bias der das Problem ist da dass
signifikante Ergebnisse also wenn jemand
wirklich ein Effekt gefunden hat dass
diese Studien eher veröffentlicht werden
als Studien die keinen Effekt gefunden
haben und
wenn wir uns dann angucken dass wir
immer eine irtumswahrscheinlichkeit
haben aber nur die Studien
veröffentlicht werden die auch was
gefunden haben dann sehen wir schon dass
es ein Problem ist weil das eben ein
falsches Bild erzeugen könnte weil wir
vielleicht von den ganz vielen Studien
die zu dem Thema schon gescheitert sind
gar nichts gehört haben weil die einfach
nicht publiziert wurden was könnte da
ein Lösungsansatz sein also einen den
ich kenne sind
Metaanalysen ich habe ja schon gesagt
dass da oft umfangreiche
Literaturrecherchen betrieben werden und
es gibt statistische Verfahren um diese
Effektstärken die ich berechne
anzupassen und jetzt sozusagen
runterzurechnen in dem Fall ind dem ich
annehme dass es noch unveröffentlichte
Studien gibt die nichts gefunden haben
was auch mal klasse ist wenn bei
Metaanalysen Autoren angefragt werden
also wenn ich eine Metaanalyse schreibe
dann rufe ich alle möglichen Leute aus
dem Feld an wo ich weiß die haben zu dem
Thema schon mal geforscht und frag nach
hast du auch noch unveröffentlichte
Studien zu dem Thema irgendwas was du
durchgeführt hast was keinen Effekt
hatte und umso mehr ich das mache und da
auch Daten von bekomme umso besser kann
ich so eine Korrekturrechnung
durchführen und kann dann am Ende
schätzen wie also wie groß dieser Effekt
wirklich ist wenn ich auch die Studien
einbeziehe die nicht veröffentlicht
wurden aber ganz gelöst ist dieses
Problem auch noch
nicht gut ähm ich denke ich hoffe dass
ich die unteren Fragen jetzt
soweit mehr oder weniger beantwortet
habe und würde deswegen noch mal zur
Zusammenfassung auf die Frage
zurückkommen kann man empirischen
Studien denn jetzt trauen oder
nicht ja aber so wie immer ähm meine
Zusammenfassung ist einfach Studien
haben unterschiedliche Qualität jetzt
mal abgesehen von Fake science oder
sonstigem auch Studien die von
Wissenschaftlern im besten Wissen und
Gewissen durchführt durchgeführt wurden
haben eine unterschiedliche Qualität
deshalb ist es wichtig die
Studienqualität selber irgendwie
bewerten zu können das heißt nicht dass
jeder jetzt Wissenschaftler sein sollte
aber es lohnt sich durchaus mal wenn man
irgendeinen Effekt in eine Diskussion
einbringen möchte nicht nur die
Zusammenfassung aus ähm irgendeiner
Populärwissenschaft oder aus irgendeiner
populären Zeitschrift zu nehmen sondern
sich ruhig mal die Studie selbst
anzugucken und sich die mal durchzulesen
es ist nicht schlimm wenn man nicht
alles versteht ähm aber sich einfach mal
ein eigenes Bild davon machen was wurde
da überhaupt gemacht und ist das in
meinen Augen kann ich dieser Studie
trauen oder nicht ganz wichtig finde ich
dass man wahrscheinlich versteht
deswegen habe ich auch am Anfang diesen
Methodenteil eingefügt weil ich oft
Menschen höre die sagen ja die Studie
hat es gefunden also muss es stimmen und
das ist ein Fehlschluss den man gerne
macht aber wenn man so ein bisschen
versucht zu verstehen dass das alles
Wahrscheinlichkeiten sind und dass wir
keine hundertprozentige Sicherheit haben
dann kann man diese Studien besser
einschätzen mein Fazit auch Metaanalysen
und Reviews manchmal natürlich auch mit
Vorsicht zu genießen aber im Grunde eine
sehr sehr hilfreiche Sache wenn man sich
über ein Thema mal einen Überblick
bilden
möchte aber wir haben natürlich auch
diese offenen Probleme in der
Wissenschaft von denen ich ein paar
angesprochen habe die sollte man in
seinem Vertrauen auf Studien auch nicht
einfach unter den Teppich kehren mein
Fazit alles in allem wurde eigentlich am
Anfang schon zusammengefasst
Wissenschaft ist im Moment oder die
Wissenschaft so wie sie wie wir sie
machen ist das Beste was wir momentan
haben wenn wir drauf gucken was für
Studien wir vertrauen dann ist das immer
noch das Mittel der Wahl wir sollten
Studien vertrauen aber dabei kritisch
bleiben vielen
dank kleiner Kommentar vielleicht zum
Abschluss
auch im Hinblick auf locked up science
und ähnliches diese Studien die ich euch
mitgebracht habe sind alle frei
verfügbar die könnt ihr natürlich alle
gerne im Internet
nachlesen vielen Dank und jetzt haben
wir noch Zeit für Fragen und Antworten
wir haben hier im Saal acht Mikrofone
verteilt möglicherweise sind die dem
einen und der anderen schon aufgefallen
versammelt euch einfach dahinter ich
würde dann versuchen mehr oder weniger
zu koordinieren wer wann rankommt ich
frage als erstes mal das Internet gibt's
irgendwas aus dem
Internet wo ist überhaupt unser Internet
da ist das Internet nichts aus dem
Internet alles klar dann fangen wir do
direkt mal an mit Mikrofon 2 ja hallo m
Irrtumswahrscheinlichkeit du hast gesagt
das ist mal auf 1% mal auf 5%
festgesetzt in der vorgestellten Studie
habt ihr 3% gesagt mir ist immer noch
nicht ganz klar wo der Wert der nun
eigentlich herkommt macht ihr die
Studien macht eure Statistiken eure
Wahrscheinlichkeiten Berechnung und am
Ende guckt jemand auf und sagt ha jetzt
haben wir hier p0,4 hier wir wollten
aber 0,3 also sind wir nicht 0,03 also
sind wir nicht signifikant oder sagen
wir okay mit 5 kommen wir auch durch
dann haben wir jetzt n haben wir jetzt
4% also sind wir signifikant oder landen
wir am Ende bei P haacking und sagen
okay wo muss ich hin damit ich
signifikant bin auch wenn es 20% sind wo
kommt das P her gut das habe ich
vielleicht nicht exakt genug erklärt
also wichtig ist dass man sich vorher
vor der Studie überlegt auf wel welchem
wahrscheinlichkeitsniveau will ich
testen also will ich 5% erreichen oder
will ich 1% erreichen das ist mein Ziel
was ich mir setze und dann berechne ich
eben mit Hilfe dieser statistischen
Methoden einen Wert und der ist dann z.B
3% wie hier und die haben sich jetzt
vorher gesagt okay ich möchte unter 5%
kommen mit meiner
irtumswahrscheinlichkeit ich habe 3%
erreicht also alles super 3% ist weniger
als 5% deswegen nenne ich das ganze
signifikant hätten sie vorher gesagt nee
ich will die 1% erreichen und sind dann
bei 3% gelandet hätten sie sagen müssen
es ist nicht signifikant das ist genau
das ähm wo ich sage wenn man sich höhere
Ziele setzt dann kann man sich auch
sicherer sein am Ende beantwortet das
die
Frage ehrlich gesagt nicht weil ich
immer noch nicht weiß
wo dieses wo dieser Wert aus der Studie
dann rauspurzelt hängt ja von den
statistischen Methoden ab die ihr
innerhalb der Studie aus und da GB dann
feste Vorgehensweisen wo ich am Ende
sage das mache ich so und so also ist
das jetzt mein p-Wert genau das ist das
was man berechnet also ich habe ja eben
gesagt man vergleicht dann die eine
Varianz mit der anderen die rechnet man
in so einer Formel zusammen und kriegt
dann ein Wert raus und schaut den in der
Tabelle nach und das ist dann der p-Wert
also das ich fürchte dass es etwas zu
kompliziert damit ich das jetzt hier in
der Tiefe wirklich darstellen könnte wie
diese Berechnung funktioniert da kann
ich nur empfehlen sich ein
methodenlehrebuch Mal zur Hand zu nehmen
dann kann man sich genau an schauen
wie diese Berechnung im Detail mit
Formeln
funktioniert der weil machen wir weiter
mit Mikrofon 4 bitte wäre es denkbar
dass man die einzelnen Phasen oder die
einzelnen Teile einer Studie irgendwie
auf mehrere Leute verteilt um so eine
Art Metastudie innerhalb einer Studie zu
schaffen also dass andere Leute Daten
erheben als sie auswerten dass andere
Leute sich die Stichprobe überlegen und
solche Sachen ähm das wäre möglich das
findet teilweise schon statt also
meistens ist es in meiner Erfahrung
nicht der Forscher selbst der dann da
sitzt mit den Versuchspersonen das
machen meistens Hilfskräfte z.B und ähm
auch Auswertungen gut dass man das
wirklich zwei unterschiedlichen Leuten
gibt wei könnte man wohl tun ich habe es
häufig so erlebt dass äh man sich dann
einfach auch noch mal zusammensetzt und
die Auswertung noch mal von jemand
anderem gegenchecken lässt aber es wäre
tisch auch möglich wenn wahrscheinlich
auch etwas aufwendig das komplett
voneinander zu
trennen und die fünf bitte ja danke für
den sehr übersichtlichen Vortrag ich
finde ein weiteres Problem ist dass
Menschen die außerhalb der Wissenschaft
stehen oder außerhalb der Fachdisziplin
die Ergebnisse von Studien nicht direkt
aus den Studien bekommen sie lesen nicht
die papers sonder die lesen im Internet
oder in der Zeitung das haben
Journalisten geschrieben und die
Journalisten wiederum haben Ihre
Informationen auch nicht aus der Studie
sondern die haben das von der
Marketingabteilung der Universität und
da habe ich haarsträumende Dinge auch
von großen bekannten Universitäten
gesehen dass die
Marketingabteilungen dann die Studien
komplett falsch darstellen also komplett
übertreiben was die Effekte und so
weiter angeht ja das war ja mehr oder
weniger mein Ansatz mit diesem Vortrag
auch die Menschen zu ermutigen sich dann
mal die Originalstudie zur Hand zu
nehmen und da mal selber reinzugucken
auch wenn das vielleicht im ersten
Moment ein bisschen abschreckend
wirkt und Mikro 7 hinten
rechts gibt es die Möglichkeit irgendwie
so Details zur Studienplanung im Vorfeld
schon irgendwie bei einer dritten also
bei einer unabhängigen
Stelle zu hinterlegen s dass man nicht
so Sachen machen kann wie zu sagen ah
wir haben uns eigentlich P = 5 als äh
oder P gleich 1 als also
1%umswahrscheinlichkeit als Ziel gesetzt
und kommen jetzt aber bei drei raus von
dem her sagen wir fünf und wir sind
signifikant ja die Möglichkeit gibt es
das ist ähm ein Phänomen was langsam
bekannter wird dass man bei
verschiedenen Zeitschriften vorher sowas
wie so ein Abstract einreicht bevor man
die Studie überhaupt durchführt dann
wird das schon mal gegengelesen wird
schon mal geprüft und dann kann man
natürlich äh am Ende da nicht mer sagen
okay jetzt habe ich aber doch was ganz
anderes gemacht das gibt es das ist auch
eine sehr meiner Meinung nach sehr
sinnvolle Sache wird leider noch zu
wenig gemacht ist natürlich auch relativ
aufwendig wenn man dann zwei
einreichprozesse hat es macht's nicht
einfacher die ein bitte
hi ich will noch mal kurz auf die
signifikanzniveaus eingehen
und das Erreichen der signifikanzniveaus
an sich ist ja kein Merkmal für Qualität
einer Studie richtig sondern nur die
Interpretation
dessen ja das also ob man jetzt ähm das
stimmt ob man das Signifikanzniveau
erreicht oder nicht sagt nicht ob es
eine gute Studie ist sondern das sagt
nur ob ich ein Effekt gefunden habe oder
nicht ähm es gibt sehr sehr gute Studien
die keinen Effekt gefunden haben und die
teilweise auch einfach gute Studien sind
weil sie keinen Effekt gefunden haben
und
das sind zwei unabhängige Dinge ob eine
Studie gut ist oder ob sie was und ob
sie was findet die acht bitte er winkt
schon ja danke dan schön erstmal vielen
Dank für den schönen Vortrag ich hätte
noch ein nach Latenz ist ja echt fies
ich hätte eine Nachfrage zum publication
bi wir haben in vielen Wissenschaften
das Problem dass viel veröffentlicht
werden muss um überhaupt an eine Stelle
ranzukommen wie wird da speziell in der
Philosophie wollte ich schon sagen in
der Psychologie mit umgegangen wenn e
schon schon ein Problem mit publication
wei es im generellen
besteht ja wie wird damit umgegangen man
muss trotzdem publizieren um eine gute
wissenschaftliche Karriere hinzulegen
mir ist da ehrlich gesagt kein besonders
guter Ansatz persönlich bekannt also es
ist leider so dass nur die Studien die
was finden auch veröffentlicht werden
und es ist leider immer noch so dass man
viel veröffentlichen muss ja wenn ich
eine Lösung wüsste dann würde ich mich
sehr freu
es tut mir leid dass ich die Frage nicht
so richtig gut beantworten kann die zwei
bitte vielen Dank für den schönen
Überblick für mich persönlich war der
letzte Teil am interessantesten
eigentlich und ich wollte fragen du noch
mal darauf eingehen kannst wie diese
drei Probleme eigentlich alle
Zusammenhängen weil das wirkte jetzt so
als wenn das irgendwie so drei Dinge die
man im Hinterkopf halten sollte aber
eigentlich irgendwie auch gar nicht so
schlimm s man weiß dass sie gibt aber
die haben ja einen riesigen Einfluss
darauf wie alles in der Wissenschaft
aussieht und die hängen ja auch
miteinander z zusammen und auch gerade
dieser Impact Factor von dem du
gesprochen hast der ist ja irgendwie
auch eine auslöser für diese Probleme
die Fixierung da drauf ja also die
hängen auf jeden Fall zusammen das
stimmt weil wenn ich sage phacking kann
ich ein bisschen dadurch abschwächen
diesen Effekt kann ich dadurch
abschwächen dass ich Replikation mache
und wenn ich dann sage ja aber
Replikation haben ja auch so ihre
Probleme absolut die hängen zusammen da
könnte man auch wirklich sehr lange noch
denke ich drüber referieren wie die
genau zusammen ich kann auch die anderen
Vorträge noch empfehlen gerade zu diesem
publication bias die noch gelaufen
sind ja ich ich habe nicht ganz
verstanden was ich dazu jetzt genau
sagen soll zu dem publication
be wie z. P
hacking wie z.B P hacking eben mit dem
BIOS zusammenhängt also gerade dadurch
dass man sich auf die signifikanten
Studien fokussiert kommt es e zu P
hacking und das hängt mit dem imp
zusammen absolut genau also das
beantwortet im Grunde schon genau die
Frage das ist richtig wenn natürlich nur
Studien publiziert werden die auch
Effekte haben dann ist der
Wissenschaftler unter einem größeren
Druck auch in Effekt zu finden und dann
ist er vielleicht eher verleitet an
seinen Daten noch rumzuschrauben damit
sie veröffentlicht werden das ist genau
richtig das Problem ist diesen
publication bias aufzulösen ist halt
auch eine schwierige Sache weil
es ist leider auch einfach so dass man
selbst als Wissenschaftler auch nicht so
unglaublich interessiert daran ist in
der Zeitschrift acht verschiedene
Beiträge zu lesen die alle sagen ja wir
haben da nichts gefunden wir haben da
nichts gefunden wir haben da nichts
gefunden es ist eine schwierige
Geschichte muss ich ehrlich sagen es ist
12:23 Uhr das Internet ist aufgestanden
und hat eine Frage ja die Frage lautet
wie geht man mit irtümmern um die erst
nach der Veröffentlichung auffallen die
einem selbst als Autor auffallen
ja idealerweise sollte man sie richtig
stellen also
ich denke der schönste Weg wäre
noch eine Studie dazu am besten
durchzuführen natürlich wenn einem jetzt
so ein Riesenpatzer passiert ist könnte
man auch versuchen das richtig zu
stellen ich muss ehrlich zugeben dass
ich da noch nicht genügend Erfahrung mit
habe mir ist das noch selbst momentan
nicht passiert und ich habe das auch
leider von noch niemandem mitbekommen
wie er damit umgegangen ist und die fünf
bitte ja danke auch von mir noch mal für
den Vortrag m ich würde noch mal kurz
auf die Herausforderungen eingehen du
hast da ganz zum Schluss gesagt es
fehlen die Daten und Replikationen
können teilweise nicht erstellt werden
gibt's da Ansätze dass z.B Journals
existieren die die Veröffentlichung der
Daten erfordern und die vielleicht auch
erfordern dass eine Studie nicht nur
einmal durchgeführt wird bevor sie
veröffentlicht wirdd sondern dass sie
zweimal durchgeführt wird also das mit
dem mehrmals durchführen kenne ich
persönlich jetzt noch nicht ähm was ich
sehe ist dass es von Wissenschaftlern
selbst Bestrebungen gibt Ihre Daten
komplett offen zulegen ähm das passiert
meistens soweit ich das mitbekommen habe
dann im Internet und ähm ob es Journals
gibt die das explizit fordern weiß ich
jetzt leider nicht ich habe das schon
ähm gesehen aber ich hatte immer das
Gefühl dass das eher von den
Wissenschaftlern ausgeht die dann sagen
okay ich mache all meine Daten frei
zugänglich rechnet das gerne nach also
das die Idee gibt es auf jeden Fall
Mikrofon 4 bitte hallo ist die Tatsache
dass man gerne einen falschen un
Untersuchungsgegenstand angibt schon mal
aufgefallen kann man das irgendwie
rausrechnen den Fehler in der
Psychologie und soziie seh seh
hufig eigentlich das
andere ein falschen
Untersuchungsgegenstand also ja wie du
gesagt hast z.B dass man sagt es geht um
körperbeherte Menschen die mit und
schreiben und gar
nichtchen ach so so eine cover story ja
weil man würde ja meinen dass
mittlerweile sehr viele Leute auch
denken dass in der Psychologie wenn du
zu eine Studie gehst das tatsächlich um
was komplett anderes
geht ja also das mit diesem Cover
Stories
ganz wichtig ist dass das am Ende der
Studie natürlich aufgelöst wird also die
Leute werden nur während der Studie
darüber getäuscht was erhoben wird und
am Ende der Studie werden die
ausführlich aufgeklärt und denen wird
dann gesagt gemessen wurde ja den Leuten
die da teilnehmen ist mittlerweile klar
dass es durchaus sein kann dass was
anderes gemessen wird und wie ich schon
erwähnt hab gibt's ja auch den Ansatz
noch mal zu überprüfen was denken die
Leute eigentlich was gemessen wurde und
es gibt auch durchaus bei solchen Sachen
wo das kritisch ist die Idee alle die
geraftt haben worum es geht nehmen wir
lieber aus der Analyse raus weil diese
Daten könnten verfälscht sein das gibt
es da muss man das kommt auf die Theorie
an die man gerne prüfen möchte bei
manchen Theorien ist das natürlich
tragischer als bei anderen wenn die
Personen wissen was eigentlich geforscht
wird beantwortet das die Frage
danke Mikro ist aus das internetmikro
ist an ja es gibt noch eine Bitte darum
und zwar
m etwas dazu zu sagen wie das sich
verhält mit dem funding Buers also quasi
die Beeinflussung der Geldgeber auf die
Studien ja das ist ein sehr großes Thema
auf jeden Fall ich fürchte ich kann dazu
nicht so unglaublich viel sagen schlicht
deshalb weil ich bisher nur an der Uni
war und es keine Geldgeber mit
bestimmten Interessen da in dem Feld gab
also alle Forschung die ich bisher
gemacht habe wurde vom Staat
finanziert ich fürchte dazu bin ich
einfach nicht die richtige Person um
dazu etwas fundiert sagen zu
können und Mikro 1 bitte ja also meine
Frage wäre gibt es gibt es vielleicht
sowas schon oder könnte man das nicht
machen ein Bewertungssystem für Studien
so nach dem Motto das für alle
transparent ist okay mit dieser Studie
haben sich schon diese und jenen
Wissenschaftler beschäftigt
und die vergeben z.B in Kategorien
irgendwie Noten oder so und am Ende
gibt's dann System wo man sagen kann
okay also die Studie ist zumindest so
belastbar dass schon viele Leute sich
damit beschäftigt haben und attestieren
konnten das ist zumindest handwerklich
korrekt gemacht und äh wer das nicht was
ähm das gibt so ein bisschen schon in
dem Sinne dass man einfach gucken kann
wie viele Leute haben diese Studie schon
zitiert also wenn eine Studie schon von
vielen Leuten aus dem Feld zitiert wurde
dann haben die hoffentlich die alle gut
gelesen und haben festgestellt diese
Studie ist wirklich gut ähm das geht so
ein bisschen in die gleiche Richtung ich
würde mal behaupten dass das Problem bei
so einem Bewertungssystem wäre dass äh
man sich da nicht einig würde also wer
soll dann am Ende sagen ob das jetzt
eine vier oder eine fünf ist und ähm
also es gibt diesen peerreview Prozess
es gibt diese Sache mit dem Zitieren das
geht beides in die Richtung aber so ein
ganz klares
Notensystem würde ich persönlich jetzt
für sehr schwer bis gar nicht umsetzbar
halten in so einer
Wissenschaftscommunity meine persönliche
Einschätzung dazu und damit kommen wir
zur letzten Frage und die kommt von
Mikrofon 4
bitte kurz kurz Nachfrage zum Thema der
Metastudien gibt gibt's irgendeine
Einschätzung wie viel Studien
idealerweise zu zusammengebas sein
müssten um eine saubere Metastudie zu
fahren also ich frag deshalb man
stolpert teilweise über hunderte von von
Teilstudien in Metastudien und ich weiß
nicht sollten da die alarmblocken
angehen oder ist das eher sowas wie
Qualitätsmerkmal das kommt aufs Feld an
also
ist es halt so wenn ein Feld noch
relativ neu ist dann gibt es dazu wenig
Studien und dann können auch wenige
gefunden werden und wenn ein Feld aber
schon relativ lange existiert z.B hier
dieser bystander Effekt das ist was was
schon ewig erforscht wurde dann erwarte
ich da auch entsprechend viele Studien
ich denke man kann nicht so pauschal
sagen welche Anzahl mindestens erfüllt
sein müsste damit die Metaanalyse gut
ist ich würde eher darauf schauen
wie haben sie die Studien überhaupt
gefunden haben sie wirklich alles
gemacht um alle Studien zu finden haben
sie die Autoren angerufen welche
Suchbegriffe haben sie eingegeben das
wird häufig in solchen Metaanalysen
ausführlich beschrieben was die Autoren
getan haben um Studien zu finden und da
würde ich mich eher Nachrichten um
einschätzen zu können haben sie wirklich
alles Relevante rausgefunden wenn man
das Gefühl hat sie haben sich nicht so
richtig Mühe gegeben wäre das eher ein
Merkmal dass die Qualität vielleicht
nicht so gut ist von der
Metaanalyse so und damit werden wir am
Ende des Vortrags vielen Dank Eiko
Applaus bitte danke
[Applaus]
[Musik]
schön
[Musik]