八年后，一个试图重现关键癌症生物学研究结果的项目终于结束了。其研究结果表明，与社会科学研究一样，癌症研究也存在复制问题。
再现性项目：癌症生物学的研究人员旨在复制 2010 年至 2012 年发表的 53 篇顶级癌症论文中的 193 个实验。但该团队在 12 月 7 日发表于《癌症生物学》杂志的两篇论文中报告称，其中只有四分之一的实验能够被再现。 电子生活 .
研究人员无法完成大部分实验，因为团队无法从原始论文或其作者那里收集到有关所用方法的足够信息，也无法获得尝试复制所需的必要材料。
更重要的是，在 23 篇论文的 50 个实验中，效果大小平均比原始实验报告的低 85%。效应大小表明研究中发现的效应有多大。例如，两项研究可能发现某种化学物质可以杀死癌细胞，但该化学物质在一项实验中杀死了 30% 的细胞，而在另一项实验中则杀死了 80% 的细胞。第一个实验的效果大小不到第二个实验的一半。
该团队还使用五个标准来衡量复制是否成功。其中四个关注效果大小，第五个关注原始实验和重复实验是否具有类似的阳性或阴性结果，以及两组结果是否具有统计显着性。研究人员能够将这些标准应用于他们可以重现的实验中的 112 种测试效果。研究人员报告称，最终只有 46%（即 51 人）符合的标准多于未通过的标准。
蒙特利尔麦吉尔大学的生物伦理学家乔纳森·金梅尔曼（Jonathan Kimmelman）表示：“这份报告告诉我们很多关于癌症生物学运作方式的文化和现实，这根本不是一个令人愉快的画面。”他与人合着了一篇关于该项目的评论，探讨了研究结果的伦理方面。
金梅尔曼说，如果无法重复的实验被用来启动临床试验或药物开发工作，那就令人担忧了。如果事实证明药物所依据的科学不可靠，“这意味着患者不必要地接触到不安全的药物，而且这些药物实际上根本无法对癌症产生影响，”他说。
与此同时，金梅尔曼警告不要过度解释这些发现，认为当前的癌症研究体系已经崩溃。“我们实际上不知道系统运行得如何，”他说。该项目尚未解决的众多问题之一是癌症研究中适当的复制率是多少，因为完美地复制所有研究是不可能的。“这是一个道德问题，”他说。“这是一个政策问题。这并不是一个真正的科学问题。”
该项目的负责人蒂姆·埃林顿 (Tim Errington) 表示，该项目的总体教训表明，临床前研究的严重低效可能会阻碍以后的药物开发渠道。他是弗吉尼亚州夏洛茨维尔开放科学中心的研究主任，该中心是这项研究的共同发起者。
进入临床试验的 15 种抗癌药物中，多达 14 种从未获得美国食品和药物管理局的批准。有时这是因为这些药物缺乏商业潜力，但更常见的是因为它们没有显示出许可所需的安全性和有效性水平。
大部分失败都是意料之中的。“我们是试图理解复杂疾病的人类，但我们永远无法正确理解，”埃林顿说。但考虑到癌症重现性项目的发现，也许“我们应该更早地知道我们失败了，或者我们实际上并不理解是什么导致了令人兴奋的发现，”他说。
不过，波士顿布莱根妇女医院和哈佛医学院的流行病学家雪莉·王表示，并不是说未能重复研究就意味着一项研究是错误的，或者重复研究就意味着研究结果是正确的。“这只是意味着你能够繁殖，”她说，繁殖项目也强调了这一点。
王说，科学家们仍然需要评估一项研究的方法是否公正和严格。王没有参与该项目，但审查了其研究结果。她补充说，如果原始实验和重复实验的结果确实不同，那么这是一个学习机会，可以找出原因和影响。
埃林顿和他的同事之前曾报告过癌症重现性项目的部分研究结果，但这是第一次发布该项目的整个分析结果（ 序列号：2017 年 1 月 18 日 ）。
在该项目期间，研究人员面临着许多障碍，特别是最初的实验在他们发表的研究中都没有包含足够的关于尝试繁殖方法的细节。因此，再现性研究人员联系了研究作者以获取更多信息。
该项目发现，虽然 41% 的实验的作者极其或非常有帮助，但另外三分之一的实验的作者没有回复更多信息的请求，或者没有提供其他帮助。例如，该小组无法复制的一项实验需要使用专门为原始实验培育的小鼠模型。埃林顿说，进行这项工作的科学家拒绝与复制项目分享其中一些小鼠，如果没有这些啮齿动物，复制是不可能的。
开放科学中心执行主任、两项研究的合著者布莱恩·诺塞克 (Brian Nosek) 表示，一些研究人员完全反对独立科学家想要尝试复制他们的工作的想法。诺塞克说，这种态度是一种研究文化的产物，这种文化重视创新而不是重复，并且重视学术的“发表或灭亡”制度而不是合作和数据共享。
一些科学家可能会感到复制的威胁，因为它并不常见。“如果复制是正常和常规的，人们就不会将其视为威胁，”诺塞克说。但他说，复制也可能让人感到害怕，因为科学家的生计甚至身份往往深深植根于他们的发现中。“发表论文是进步的货币，是一种关键的奖励，可以转化为获得资助的机会、找到工作的机会以及保住这份工作的机会，”诺塞克说。“复制并不完全适合这个奖励系统。”
即使是想要提供帮助的作者也无法总是因为各种原因共享他们的数据，包括硬盘丢失或知识产权限制或只有以前的研究生拥有的数据。
多年来，一些专家对科学“可重复性危机”的呼声不断增加，也许最引人注目的是心理学领域的专家 （SN：2018 年 8 月 27 日 ). 随后在 2011 年和 2012 年，制药公司拜耳 (Bayer) 和安进 (Amgen) 报告称，在复制临床前生物医学研究结果方面存在困难。
但并不是每个人都就解决方案达成一致，包括重复关键实验是否实际上有用或可能，甚至科学研究的方式究竟出了什么问题或需要改进（ 序列号：2015 年 1 月 13 日 ）。
美国实验生物学会联合会科学政策主任伊维特·塞格 (Yvette Seger) 表示，新发现至少得出了一个明确、可行的结论。这就需要为科学家提供尽可能多的机会来准确解释他们是如何进行研究的。
“科学家应该渴望包含尽可能多的关于他们的实验方法的信息，以确保了解另一方的结果，”没有参与重现性项目的西格说。
该项目的研究人员表示，最终，如果科学要成为一门自我纠正的学科，那么不仅需要有大量犯错误的机会，而且还需要有大量的机会发现这些错误，包括通过重复实验。
“总的来说，公众知道科学很难，而且我认为公众也知道科学会犯错误，”诺塞克说。“人们关心的是而且应该是，科学能否有效地发现错误？”癌症项目的发现不一定能回答这个问题，但它们确实凸显了试图找出答案的挑战。
