Разчитане на графики в изследвания и реклами

Дотук всичко е добре, но с тази статия ще разясним, че една графика не трябва да се взема извън контекста, и без пълните данни тя не струва нищо. Същото важи и за легитимни научни изследвания. Често някой ви препраща графика от Pubmed, която много очевидно "доказва" как едно нещо превъзхожда друго в еди-какъв-си мащаб.

Какви може да са основните проблеми?

Ето къде най-често може да се заблудите:

• Гледане само на процентната промяна;
• Промени в нормалните/физиологичните граници;
• Графики без информация за отклоненията;
• Проблеми с търсенето само на статистическа значимост;
• Неотчитане грешки в измерването;
• Липса на скалиране (това може единствено в реклами да се види).

Нека разгледаме всеки от проблемите с конкретен пример за повече яснота.

Заблуда #1 - гледане само на процентната промяна

Тази промяна зависи от стойността, спрямо която реферирате. Иначе казано - спрямо коя стойност сравнявате изменението. Може две еднакви абсолютни промени да резултират в различна процентна такава и това да заблуди. Ето пример:

От графиката разбирате, че в Група 1 има 10% промяна, а в група 2 промяната е само 5%. Звучи сякаш в първия случай резултатите са по-добри? Не. Докато нямате пълната информация, не може да правите заключения.

Ето пълната информация:

Група 1 е покачила лежанката си от 50 на 60 кг.

Група 2 е покачила лежанката си от 100 на 110 кг.

В по-долната графика виждате, че и двете групи са повишили силата си с 10 кг, но тези 10 кг в първия случай са 20% от първоначалната тежест, а във втория - само 10%.

Кое е по-впечатляващо? Определено по-малкото (десетте процента) е "повече" в случая.

Ето още един пример:

Ако разгледаме изследване където две групи правят сгъване за бицепс с щанга и имаме следното нещо:

Група 1 започва с 15 кг и стига до 25 кг. Това са 66% увеличение и 10 кг нагоре.

Група 2 започва с 30 кг и стига до 45 кг. Това са 50% увеличение и 15 кг нагоре.

Очевидно резултатите във втората група са завидно по-добри, въпреки че ако гледаме само процентното увеличение, ще се заблудим, защото при първата група силата се е повишила с 66% спрямо 50%.

Заблуда #2 - промени в нормалните/физиологичните граници

Тук се искат малко познания по физиология или просто използване на интернет търсачка. Подобен проблем най-често се среща когато се обсъждат връзки между суплемент/храна и определен хормон. Например между трибулус терестрис и тестостерон или между захар и инсулин.  

Дори да се отчита промяна, то тя трябва да е в определен мащаб, за да има практически ефект. Например, ако определен продукт успее да ви повиши тестостерона от 400 ng/dL на 450 ng/dL, то той е успешен и резултати ще има, нали така? Звучи добре, но на практика не е издържано. И двете стойности влизат в нормалните, физиологични граници. Подобна промяна няма да окаже практически резултат. Понякога процентите трябва да са в трицифрената гама, за да се радваме на промяна в постиженията.

Заблуда #3 - графики без информация за отклоненията

Погледнете долната графика:

Тук се забелязва разлика от 17 единици между първата и втората група. Това съответства на цели 340%. Изглежда впечатляващо. Никъде обаче не са отчетени отклоненията. Ето същата графика, но с изобразени отлонения:

Тук се вижда, че при първата група резултатите при всички участници са сравнително еднакви. Във втората група разликите в резултатите на определени индивиди са огромни. Средната стойност е сметната, но стойностите са толкова разнообразни, че подобни резултати не трябва да водят до генерализиран извод.

Заблуда #4 - проблеми с търсенето само на статистическа значимост

Това, че в определено изследване пише, че е намерена статистическа значимост, не значи непременно, че резултатите са ясни като бял ден. Ако тестваме 995 души и при всички измерим измислената стойност от 1.0 и добавим към тях още 5, при които да е отчетена стойност 0.1, то тяхното отклонение ще има статистическа значимост, защото се отдалечава много от средните стойности.

Но ако оставим статистическата значимост настрана и си зададем въпроса "Ако при 995 души имаме стойност 1.0 и само при 5 души стойност 0.1, то нима може да кажем, че значимостта е важна?", в случая това ще е просто един сметнат параметър, който извън контекста на всички данни може да доведе до голяма заблуда.

Заблуда #5 - неотчитане грешки в измерването

Това най-често се среща в изследвания на процента телесни мазнини. Нека сравним два хранителни режима. И двата траят по 2 седмици. В изследването участват индивиди, като всички са с 15% телесни мазнини. След 2 седмици група 1 е отново с 15%, а група 2 е с 14,5%. Логично е да заключим, че диетата на втората група е по-ефективна. Проблемът е, че не е отчетен мащабът, в който измервателният уред може да греши. Ако мерим мазнините с калипер и при него е известно, че той дава резултати с ±2% отклонение (примерна цифра), то нямаме право да правим твърдение за втората диета, тъй като резултатите й влизат в областта на грешка на измерващия уред. Ако разликите бяха например 3%, то можеше да заключим, че промяна има.

Заблуда #6 - липса на скалиране

Такъв вид графики може да видите само в рекламите, тъй като основната им цел е да заблудят.

Тук не става дума за грешка или недоглеждане, а за умисъл. Подобно нищо никога няма да бъде допуснато в научна работа, но затова пък има голяма вероятност да го срещнете в интернет. Погледнете долната графика:

На пръв поглед разликата между двете групи е много сериозна и очевидна. Да, ама не. Проблемът е, че липсва скала. Ето долу същото нещо, но с попълнена ордината.

Абсолютната стойност при едната група е 80, а при другата 83. Разликата е само 3 единици. Практически никаква. Ето и отново същата графика, но със стойности, започващи от нула.

Тук вече е очевидно, че разликата в двете групи е незначителна. Но ако имахте на разположение само първата, то нямаше как да знаете.

Може да се намерят и други случаи, които водят до заблуди, но вече ще се навлезе в статистическия анализ, което не е тема нито на статията, нито на изданието.

Надявам се следващия път, като видите реклама с гръмка графика или просто ви пратят някакво изследване, вече ще знаете за какво бързо да погледнете, за да откриете грешки, ако има такива.