معظم الأبحاث التي نشرها ستكون خاطئة. وأنا موافق على ذلك

رجل حسابي يواجه "أزمة استنساخ"

العلم في قبضة الأزمة. أزمة "استنساخ". لا يمكن استنساخ النتائج الكبيرة ، المنشورة في المجلات الكبرى بأسماء كبيرة. النتائج التي تم اعتبارها "حقائق" تحولت إلى وهم. فشلت جهود فريق واسع النطاق لإعادة إنتاج عشرات الدراسات في علم النفس وأدوية السرطان في إعادة إنتاج غالبية النتائج الأصلية. تسببت هذه الإخفاقات في حدوث حادة في التنفس عبر العلم: "هل نحن أيضًا؟ هل يمكننا إعادة إنتاج نتائجنا؟ "

كل هذا يجعل عناوين الصحف والافتتاحيات والمقالات الفكرية رائعة في المجلات العلمية الساحرة. وبشكل متزايد ، في الصحف الوطنية. غالباً ما يستحضر الخطاب القوي الفكر القائل بأن موت العلم (*) سيزورنا جميعًا ، واحدًا تلو الآخر ...

في المختبر ، يكتسح شكل شاهق ومغطى الرأس وغطاء في الظلام والأصابع الطويلة والعظام البيضاء ويدور ماصة شحذ.

تشير كلمة "أنت" إلى "وفاة العلم" في رأس المختبر "لم تستخدمها كثيرًا في خبراتك. معظم الآثار التي لم تجدها موجودة. "

"حقا؟" يردد رأس المختبر ، "لم أكن أعرف ، ترى أن قيمة P أقل من ..."

"سأوقفك هناك. اتى وقتك. أنا أتيت لأخذك إلى الجانب الآخر "

"ماذا ، كامبريدج؟"

"لا يا أبراج برج الأحمق. الجانب الآخر "

"يا الحمد لله. كامبريدج تفريغ ".

ولكن لماذا نتوقع أن يكون العلم على صواب طوال الوقت؟ تخيل لو كانت كل الأوراق المنشورة على حق! تخيل مدى سرعة تقدم المجتمع! (للخير أو للمرضى ، من يدري). يبدو أننا نسينا المنظور الأساسي لأي نتيجة علمية: لا نعتقد أنه صحيح. لا تأخذ الأوراق المنشورة بالقيمة الاسمية.

ما مدى أهمية هذا المنظور؟ أساسي جدًا لدرجة أنه أحد الأشياء الأولى التي نقوم بتدريس طلاب المرحلة الجامعية الأولى بها. عند تعرضها لأول مرة لأوراق دفتر اليومية ، يكون لدى الطلاب ردان: (1) لا أفهم كلمة واحدة من هذا القبيل ، يرجى إعادة كتابي المدرسي؟ (الجواب: لا ، لأن الكتاب المدرسي خاطئ). و (2) تم نشره ، لذلك يجب أن يكون صحيحًا. نحن ندربهم على أن هذا هراء. نحن ندربهم على كيفية التفكير في الأوراق ، كيف هم ، على الأرجح ، خطأ. كيفية عدم الإذعان للسلطة ، ولكن أن تكون متشككًا بشكل بنّاء - لطرح الأسئلة الأساسية الورقية: "هل تأتي المطالبات من النتائج الفعلية؟" ؛ "ما كان يمكن القيام به على نحو أفضل؟"؛ "ما الذي يمكن عمله بعد ذلك؟".

وليس لأننا نعتقد أن مؤلفي الورقة يكذبون علينا. أو حماقة. ولكن لأن العلم صعب. التجارب صعبة. هناك العديد من المتغيرات غير المنضبط ، غالبًا غير معروفة. لذلك نحن نعلم أن ورقة فردية واحدة على مجموعة من التجارب لا يمكن اعتبارها حقيقة. لذلك ، نحن بحاجة إلى إعادة إنتاج النتائج.

هل نسينا هذه الدروس بأنفسنا؟ هل يخضع العلم لشكل من أشكال فقدان الذاكرة الجماعي؟

ربما لأنني عالم حسابي - بناء نماذج من الخلايا العصبية وبتات من الدماغ باستخدام الرياضيات ورمز الكمبيوتر - لدي رأي مختلف: أتوقع أن يكون البحث خطأ. لأنني أتوقع أن يكون بحثي خاطئًا. قبل أن أبدأ ذلك. (بالمناسبة ، هذا هو السبب في أن الباحثين الحاسوبيين في أي مجال - بيولوجيا النظم ، وعلم الأعصاب ، والتطور ، وما إلى ذلك - هم مجموعة بائسة).

النماذج خاطئة من البداية. يحاول النموذج التقاط جزء من مشكلة مهمة - كيف تحول الخلايا العصبية مدخلاتها إلى مخرجات ، على سبيل المثال. لا يحتوي النموذج على كل تفاصيل النظام الذي يحاول تقليده - فالقيام بذلك سيكون حماقة ، لأن هذا سيكون مثل إنشاء خريطة لبلد من خلال بناء نموذج مقياس مثالي لكل عثرة ، وركن ، ورأس. جميلة أن ننظر إلى ؛ عديمة الفائدة للملاحة. لذا فإن النماذج خاطئة في التصميم: فهي تتجاهل التفاصيل. أنها تهدف إلى أن تكون مفيدة. ولأن نماذجنا تخمينات في الحقيقة ، فإن الجوهر الأساسي للمشكلة سيكون معظمهم خاطئًا تمامًا ، وليس مفيدًا. نتوقع فشل نماذجنا ؛ خاصة عند التعامل مع شيء معقد مثل الدماغ أو السلوك البشري.

هنا نماذج يعني أيضا النماذج الإحصائية. الإحصائيات هي ، في جوهرها ، كيفية تلخيص العالم الواقعي المعقد والفوضوي إلى مجموعة صغيرة من الأرقام ، صغيرة بما يكفي بحيث يمكننا أن نأمل في فهمها. عندما تعلن إحدى الدراسات عن انخفاض خطر الإصابة بالخرف إذا كنت تقضي وقتًا أقل في ضرب نفسك في رأسك كطفل (مشاهدة طفلي الصغير يضرب دميه على رأسه) ، فهذا رقم واحد وملخص واحد للعلاقة بين كميتين (مقدار الخرف ، ومقدار تقريع الأحداث). هذا الرقم الفردي يتلخص في التعقيد الفوضوي لمئات أو الآلاف من نقاط البيانات - لقياسات مئات من الخرف لدى الناس ، وبشكل منفصل ، إلى أي مدى ضربوا أنفسهم في الرأس كطفل. هذا الرقم خطأ. نحن نعرف أنه خطأ. لا نعرف مقدار الخطأ. إذا كان الخطأ قليلاً ، فإن تأثير انخفاض المخاطرة لا يزال قائماً. إذا كان الكثير من الخطأ ، فإن التأثير ليس هناك.

إليكم الشيء المهم: لا يهم ما يقوله الاختبار الإحصائي. يخبرنا الاختبار أنه من المحتمل أن يقع العدد في نطاق ما ، نظرًا لحجم البيانات المتوفرة لدينا ، وافتراضاتنا حول البيانات. والتي تتضمن ، من بين أمور أخرى ، أن البيانات تم قياسها بشكل صحيح (إن لم يكن ، فإن الرقم هو ، بالطبع ، خطأ). وأننا استخدمنا الطريقة الصحيحة لتبسيط البيانات وصولاً إلى أرقام بسيطة (إذا لم يكن الأمر كذلك ، فإن الرقم ليس له علاقة بالواقع). والأهم من ذلك ، أنه يوجد بالفعل تأثير حقيقي في العالم الحقيقي. أنه موجود بالفعل. إذا لم يكن موجودًا ، فلا يهم حجم إحصاءاتنا.

الحقيقة الدنيوية هي أن الكثير مما لا يمكن استنساخه هو أن الدراسات الأصلية استخدمت إحصائيات حماقة أو لم تكن محظوظة. (وفي بعض الحالات عدم قدرة المؤلفين الأصليين على فهم نتائجهم). لا الغش ، لا بيانات مزيفة ، لا الكذب المباشر. بسبب الأزمة ، تلقينا الآن تحذيرات كثيرة حول إجراء الاختبارات الإحصائية الخاطئة ؛ عن القيام بالاختبارات الصحيحة ، ولكن بدون عينات كافية ؛ وحول رغبتنا اللاواعية في تعذيب البيانات حتى تعترف بنتيجة. كلهم بحاجة إلى الاهتمام. جميع سيحسن العلم.

(من المهم للغاية ، على كل حال ، أن تكون اختبارات الأدوية التجريبية قابلة للتكاثر ، لأن الأرواح تعتمد على تلك الاختبارات. وفي حالة الأدوية التي تم اختبارها على أنواع معينة من الخلايا ، فإن عدم القدرة على إعادة إنتاج النتائج يبدو إلى حد كبير الخلايا التي يتم تسميتها بطريقة خاطئة - فهي ليست ما تقوله على الصفيحة التي أتوا منها.)

وحتى مع ذلك ، يبدو أن الأزمة كانت إلى حد كبير من منظور وليس إحصاءات. نحن بحاجة إلى أن نتذكر حقيقة بسيطة: كل ورقة هي فكرة - تقول "يا إلقاء نظرة على هذا ، يمكن أن يكون هذا بارد". ليس "هذه هي الحقيقة".

لقد تلاشى موت العلوم ليصبح معي كلمة قبل بضعة أسابيع

"لقد قلت لك لا تملك عينات كافية"

"يا ماتي ، أنا أقوم بتحليل بعض البيانات الموجودة مسبقًا لاختبار الأفكار والبحث عن أدلة والحصول على زاوية هجوم على الدماغ. لا أعرف أنني لا أملك عينات كافية ، حتى أعرف حجم التأثير الذي أبحث عنه. علاوة على ذلك ، أعرف أن كل ما أجده خطأ. لذا ، أنت تعرف ، أنا بخير "

"يا"

"هل لديك أي كبسولات؟"

(*) شكرا لك يا تيري

تريد المزيد؟ اتبعنا في سبايك

تويتر: @ ماركدومفريز