使用大样本在线增加复现性

女主人品牌——神奇面包制造商,夹馅面包,丁盾,和其他产品——最近申请破产。有很多复杂的原因,该公司经营陷入困境,但也有一个明显的:如果一个公司想提供更多的面包架子上,它必须支付更多的工人,设备,物资,航运,等等。食品企业不会轻易增加规模。

谷歌,另一方面,不考虑破产。2004年,谷歌收到每天约3亿次的搜索查询。截至2011年,这一数字已经增加了一个数量级以上,超过30亿。一个搜索算法,适用于搜索也可以工作10。有成本与增加网站的规模,但与大多数企业相比相对较小。在线业务规模相对容易。

作为一个心理学家,我的研究用于像女主人的商业模式。运行两倍的参与者在研究一般要求我和/或研究助理花两倍的时间在实验室里,我不得不等待长约两倍的数据。

现在我运行大部分的在线研究,主要使用亚马逊的土耳其机器人招募参与者。如果我为30分钟的一项研究中,参与者2.00美元我可以可靠地得到20,200或者更多的人在24小时内完成我的学习。换句话说,我的研究尺度像谷歌的搜索。如果我想要运行更多的参与者,我只是大量输入框亚马逊网页。成本存在——我必须解决(有时代码)的数据,我需要支付更多的参与者,但他们往往是最小的与研究在实验室的运行成本。

心理学的世界充斥着复现性的担忧。增加复现性的一个方法是运行更多的参与者。研究在线运行使得这样做非常可行。开始职业生涯的人在实验室运行对象往往有一个女主人的心态:我们不想运行任何比我们需要的更多的参与者。如果我运行40名学员在我在2005年进行的一项研究中,我的第一反应是在2013年做同样的事情。我们的科学将受益于采用谷歌的心态:如果我运行40名学员在2005年,2013年为什么不跑100 ?除了提高统计能力,运行更多的参与者也可以避免I型和II型错误。

我最近使用大样本获得的好处。后,我进行了一项研究,看起来非常有前途,我们已经收集了来自约40参与者的数据。最近读到的危险对象之前运行p< . 05,然后停止,我决定运行更多的参与者。不幸的是,这个效应逐渐消失;幸运的是,我发现了真相。采用谷歌的心态,和使用大样本在线,不能解决所有复现性问题。但是它可以帮助。