麻省理工学院（MIT）的研究团队发布的论文指出，用于检测推特机器人帐户的现有第三方工具并不准确。
据说阻止埃隆马斯克收购推特的因素之一是大量的机器人账户。 推特当时声称，5%的每日活跃用户是自动帐户，但马斯克表示还有更多。
推特有自己的系统来识别机器人帐户，但没有披露它们。 另一方面，第三方机器人检测工具使用从推特收集的数据集和在这些数据集上训练的机器学习模型来检测机器人的细微迹象，并识别特定于人类和非特定于人类的模式。 这些模型已被用于研究社交媒体上的机器人活动，并已发表在数百或数千篇论文中。
这些论文中的大多数基准数据集都是在不同背景下收集的数据集合。 其中许多是在特定推文（例如包含特定主题标签的推文）中收集的，并且收集的每条推文都被人手动标记为机器人或人类。 然后，使用手动标记的数据集来训练模型，以识别特定上下文中的机器人和人类。
例如，在政治的情况下，你可以选择一些与政治相关的主题标签，提取相关的推文，并手动将这些推文标记为人类或机器人。 当然，如果发生这种情况，与政治相关的机器人将被高度准确地提取。 当研究人员在通用分类器上运行基准数据集时，他们表明他们在分类机器人和人类方面的准确率为99%。
通过这种方式，专门为某事训练的机器人检测模型在该专业领域非常有效。 但它并没有涵盖整个推文，并且严重依赖于特定数据，而不是机器人和人类之间的根本区别。
当这些模型在其他学科的数据集上进行测试时，它们几乎没有显示出类似于随机预测的准确性。 换句话说，它表明在一个数据集上训练的分类器不会泛化到另一个数据集。
他们还发现，对于许多数据集，相对简单的模型（例如查看帐户是否“喜欢”任何推文）与更高级（SOTA）机器学习模型一样准确。
这些结果表明，现有的机器人检测数据集由于其数据收集简单而通用性较差。
最后，研究人员警告说，在使用现有的机器人检测数据集作为预处理时，应该仔细考虑可能存在的偏差类型。 作为一种基本解决方案，社交媒体本身，如推特，应该为研究人员提供丰富而强大的数据，并带有高质量的地面真相标签。
