De 6 problemen van wetenschappelijk bewijs
bewijs

De 6 problemen van wetenschappelijk bewijs

Share on facebook
Share on google
Share on twitter
Share on linkedin

In dit artikel wil ik graag een belangrijk onderwerp behandelen, namelijk, ‘wat is wetenschappelijk bewijs’. Tegenwoordig zie je (gelukkig) steeds minder bro-science en grijpen mensen naar onderzoek om hun argumenten en punten kracht bij te zetten. Dit is een hele goede ontwikkeling. Echter, dit komt met zijn eigen problemen. Want kan je alle discussies en argumenten wel op deze manier benaderen? En is dit wel echt de ‘heilige graal’ wanneer het aan komt op het onderbouwen van jouw visie?

Dit artikel is voornamelijk interessant voor mensen die hun prestaties en resultaten erg serieus nemen en die verder kijken dan de gebruikelijke aanpak. Daarnaast, ook voor coaches, of mensen die een coach hebben. Ik hoop dat jullie hier iets van op steken!

Voor we verder gaan, ik ben absoluut voorstander van kennis op doen uit studies en onderzoeken; hoe slecht sommige studies ook in elkaar zitten, het blijft beter dan het argument ‘bij mij werkt dit zo, dus dit is hoe het zit’ of ‘iedereen is anders’. Ja, iedereen is anders, maar Pietje is geen baksteen en Henk is geen vliegend spaghettimonster; we zijn allemaal mensen en ook al kan er tussen personen enige variatie zitten in hoe het lichaam reageert op bepaalde prikkels, voeding of supplementen, niemand komt aan in een calorietekort, niemand heeft een hogere output op vetten dan op koolhydraten, niemand is allergisch voor carbs, etc.

Verschillende soorten bewijs

Voor we verder gaan is het goed om het onderscheid te maken tussen Evidence Based en Research Based.

Er zijn verschillende soorten ‘bewijs’ voor een mening of een argument te verzinnen, elk met z’n eigen kenmerken.

Anekdotisch bewijs

Bovenaan hebben we anekdotisch bewijs. Dit is het minst concrete van alle bewijsvormen die hier staan, maar tegelijkertijd misschien wel de meest belangrijke van deze driehoek. Anekdotisch bewijs komt vanuit nieuwsgierigheid; mensen die zelf experimenteren en hun bevindingen rapporteren. Het stukje wat ik net aanhaalde ‘dit is wat werkt voor mij’ valt hieronder. Wanneer we een hoop van dit soort anekdotische bewijzen bij elkaar rapen, van veel verschillende mensen, kan dat ons in een richting sturen van wellicht iets interessants; omdat dit niet echt onderzoek is en mensen die nieuwsgierig zijn deze vorm van ‘bewijs’ kunnen leveren, is dit het soort bewijs waar de meeste ontdekkingen in worden gedaan. Een heleboel zal onzin zijn, maar als veel mensen op eenzelfde conclusie uitkomen kan een dusdanig onderwerp wellicht interessant zijn voor verder onderzoek. Zonder anekdotisch bewijs zouden er geen onderwerpen zijn om verder onderzoek te doen.

Daarnaast is er het welbekende gezegde ‘success leaves clues’’

Logisch bewijs

De volgende die we bespreken is logisch bewijs. Dit is het ‘bewijs’ dat we zelf kunnen maken, uitgaande van onze kennis. Met logisch nadenken tot conclusies kunnen komen. Als je weet dat je 2 hebt en nog 2 krijgt, kun je beredeneren dat je er 4 zult hebben. Deze vorm van bewijs wordt dus gebaseerd op onderzoeken die voorheen verricht zijn, ervaringen die gedaan zijn, etc.

bewijs

Empirisch bewijs

De volgende stap is empirisch bewijs, of met andere woorden we hebben daadwerkelijke observationele data vanuit onderzoeken. Er zijn veel verschillende manieren om data te vinden of te verkrijgen, buiten het lab om. Onderzoeken zijn erg goed om tot conclusies of ontdekkingen te komen, wanneer ze goed zijn opgezet. Echter, een van de kenmerken van goed onderzoek is dat de onderzoeksgroep voldoende groot is, maar dit geeft tegelijkertijd het probleem dat kleine verschillen tussen proefpersonen worden gefilterd, die er wellicht wel toe doen.

Meer en beter empirisch bewijs is de grondslag voor nieuw en beter logisch bewijs, omdat je meer data hebt vanuit waar je redeneringen kan maken. Daarnaast zal meer en beter empirisch bewijs ook zorgen voor nieuw anekdotisch bewijs, omdat we meer in de juiste richting gestuurd worden en beter in staat zijn om de juiste vragen te stellen en te onderzoeken.

Het probleem met empirisch bewijs is dat het soms enorm lastig is om bepaalde onderwerpen goed te onderzoeken, zeker wanneer onderzoeken op mensen gedaan moeten worden. Zoals we eerder wel eens genoemd hebben zijn er altijd confounders; zaken die een resultaat beïnvloeden, zonder dat de onderzoekers door hebben dat deze zaken aanwezig zijn. Veel van deze confounders zouden weggenomen kunnen worden door de onderzoek-omstandigheden zo strikt mogelijk te reguleren, maar dit is niet mogelijk in onderzoeken bij mensen; optimaal gezien zou je de onderzoeksgroepen opsluiten, licht, geluid, voeding, stress, etc allemaal zo gelijk mogelijk houden tussen de verschillende onderzoeksgroepen en slechts 1 of enkele factoren laten verschillen. Dit gaat echter nooit goedgekeurd worden door ethische commissies, en daarnaast is de kans erg klein dat mensen zich zouden aanmelden voor dit soort studies.

Objectief zijn

Evidence Based denken vereist dat je al het bewijs overweegt en geen voorkeur of vooroordelen hebt tegen delen uit het complete plaatje. Een aanhanger van het carnivoordieet zal waarschijnlijk niet helemaal open staan voor het bewijs dat planten nodig en gezond zijn. Een veganist zal onderzoeken die vertellen dat vlees niet schadelijk of zelfs voordelen heeft wellicht ook met een schuin oog aankijkt. Een goede onderzoeker (onder die noemer zou ik iedereen willen noemen die bezig is met het optimaliseren van resultaten vanuit onderzoek) probeert ervoor te zorgen zo min mogelijk vooroordelen te hebben en al het onderzoek en bewijs even zwaar mee te laten wegen in zijn visie.

Zoals je weet kan het ene onderzoek het andere tegen spreken en zijn slechts weinig dingen in steen geschreven of toepasbaar zonder enige uitzondering. Dat is het lastige van een goede onderzoeker of een goede coach zijn; we kunnen niet wachten tot onderzoek het definitieve antwoord heeft gegeven, omdat dat soms jaren of tientallen jaren kan duren; al die tijd afwachten en stilstaan is geen optie. Je zult alle data samen moeten rapen en naar eigen inzicht zo goed als mogelijk je aanpak of visie daarop moeten baseren. Wees creatief en innovatief.

Samenvattend

De take-away van dit verhaal tot zo ver is dat Evidence Based niet gelimiteerd moet zijn en blijven tot Research Based. Nogmaals, dit betekent niet dat onderzoeken niets waard zijn of niet belangrijk zijn. Onderzoek (empirisch bewijs) is wellicht het allerbelangrijkste bewijs dat we kunnen aanleveren, maar daar moet het niet stoppen. Interpreteer empirisch bewijs en ga vanuit daar verder!

Problemen met alleen afgaan op onderzoek

Zoals ik hierboven al wat beschreven heb zijn er een aantal problemen met al je conclusies baseren op onderzoeken, zonder zelf logisch na te denken of proberen data te interpreteren. Ik wil deze problemen hier doorlopen met jullie.

#1 Achteruit kijken

Wanneer je al je aanpakken en beslissingen baseert op onderzoek, is het enige wat je kan doen achteruit kijken. Je kan je keuzes alleen baseren op onderzoeken die al gedaan zijn. Dit gaat innovatie in de weg staan. Je zal op deze manier nooit boven de concurrentie uit kunnen steken en het nooit beter kunnen doen dan gemiddeld, omdat je je aanpak alleen baseert op wat iemand anders ooit al bedacht en onderzocht heeft.

#2 Het beperkt vooruitgang

Goed onderzoek is altijd gelimiteerd aan het anekdotisch en logisch bewijs dat bestaat; deze 2 vormen van bewijs spreken de creativiteit aan van mensen; het zal vaak genoeg voorkomen dat er de foute richting in wordt gedacht, maar vanuit deze 2 bewijsvormen ontstaan hypotheses die met onderzoek getoetst kunnen worden. Als niemand bezig is het huidige onderzoek in twijfel te trekken en iedereen het huidige onderzoek als absolute waarheid beschouwt, zitten we vast. Als iedereen zou besluiten om alleen nog maar aanpakken te hanteren die volgens onderzoek bewezen zijn, zijn we over een paar jaar niets tot nauwelijks verder qua kennis dan we op dit moment zijn, omdat er geen nieuwe dingen meer worden geprobeerd.

bewijs

#3 Noodzaak beperkt financiering

Wetenschappelijk onderzoek gaat enorm traag; onderzoeken moeten goed worden uitgeschreven, moeten worden gefinancierd, moeten worden goedgekeurd door commissies, etc.

Als dit onze enige vorm van bewijslast zou zijn, zou ontwikkeling enorm traag gaan. Daarnaast is er in het fitness en voedingsgebied, zeker wanneer het neerkomt op optimaliseren van resultaten, erg weinig financiële drang voor universiteiten om onderzoek te verrichten. Er zijn immers geen miljardenbedrijven die honderden miljoenen willen investeren zoals bijvoorbeeld bij de farmaceutische industrie wel het geval is.

#4 Creativiteit wordt beperkt

Tegenwoordig zijn veel mensen meer bezig met het ongelijk van anderen, in plaats van verder komen of het werkveld verder krijgen. Op fora en ook in de coaching business zie je dat veel mensen die iets nieuws proberen compleet worden afgebrand als dat ‘nieuws’ niet strookt met wat het huidige bewijs zegt. Hierdoor durven steeds minder mensen hun nek uit te steken op zoek naar het onbekende, omdat de kans op gezichtsverlies erg groot is. Echter, zoals we al gezien hebben, kan dit resulteren in het compleet vast komen staan van ons werkveld.

Dat betekent echter niet dat we alles wat we weten vanuit bewezen concepten overboord moeten gooien; het huidige bewijs, zowel empirisch als logisch, zou wel de grondslag moeten zijn voor nieuw anekdotisch bewijs en nieuwsgierigheid.

#5 Onderzoek is niet altijd 100% relevant

Zoals al eerder vermeld is goed onderzoek extreem afgekaderd, omdat dat ervoor zorgt dat de resultaten van het onderzoek daadwerkelijk iets zeggen en betekenen, met een zo laag mogelijke kans dat toeval de oorzaak was. Dit is echter ook een probleem; nieuw onderzoek verkent dus steeds maar een heel klein nieuw stukje van het onbekende. Daarnaast is fysiologie extreem complex en zijn er altijd confounders zoals eerder besproken; er kan nooit gecorrigeerd worden op al deze confounders tijdens een onderzoek, dus dat betekent dat de omstandigheden waarin een klant zich/jij je bevindt wellicht anders is dan waar de proefpersonen zich in bevonden. Eenzelfde aanpak hoeft zeker niet altijd dezelfde uitkomst te hebben. Wellicht sliepen de proefpersonen meer, of hadden ze minder stress. Wellicht hadden ze meer jaren trainingservaring, of bepaalde blessures niet..

#6 Kijk naar de context

Veel mensen (als ze al literatuur gebruiken om hun argumenten kracht bij te zetten) lezen alleen het abstract van een studie en trekken daar al hun conclusies uit. Wat ze daarbij ontgaat is dat de studieresultaten altijd in context geplaatst moeten worden en resultaten zelden tot nooit per definitie gelden voor iedereen, in alle omstandigheden. Een onderzoek dat zegt dat een squat een betere biloefening is dat een hipthrust is weinig waard als je geen flauw benul hebt van bijvoorbeeld de lengte van het bovenbeen en onderbeen van de proefpersonen. Iemand met lange bovenbenen zal veel meer heupdominant squatten en dus meer bilactiviteit laten zien dat iemand met korte bovenbenen.

Artikelen worden met regelmaat compleet uit context getrokken en daarnaast wordt er in populaire media vaak slechts een zinsnede gekopieerd; dit resulteert in rare kopjes zoals ‘koud douchen voor meer bruin vet’ of ‘van elke dag chocola eten val je af’. Beide headers hebben het laatste jaar in de krant gestaan. Beide zijn compleet uit context getrokken.

If not this, then what?

Nogmaals, dit is absoluut geen betoog tegen literatuur gebruiken als grondslag van je denkwijze of aanpak. Echter, daar hoort het pas te beginnen. Gebruik die data en onderzoeken om zelf verder te gaan met logisch beredeneren en om dingen uit te proberen. Buiten het lab vindt meer progressie plaats dan in het lab; onderzoeken kunnen vermoedens bevestigen, maar zullen zelden compleet nieuwe dingen vinden. De meeste werkende aanpakken zijn ontdekt door mensen die zelf durven te proberen of coaches die vanuit logisch nadenken nieuwe aanpakken uitproberen bij hun klanten.

Lees zoveel je kan en wil, maar probeer, vanuit logisch redeneren, nieuwe dingen uit. Durf ergens de eerste in te zijn!

Misschien wel een goed advies voor alles in het leven, zelfs buiten sport en voeding om…

Dit blog is geschreven door

Jan Willem van der Klis

‘Mijn focus ligt op het verkrijgen en verspreiden van de best mogelijke kennis om training en voeding te optimaliseren’

Ook interessant!

Doelen behaal je samen!

Schrijf je in en ontvang als eerste nieuwe kortingsacties en info over nieuwe producten!