OpenAI 分析：自 2012 年，把神经网络训练到 ImageNet 同等性能所需算力每 16 个月减半——相比 2012 年，如今只需四十四分之一的算力就能达到 AlexNet 那一档性能（同期摩尔定律只能带来 11 倍的成本改善）
AI and efficiency
评分 52
导读
OpenAI 发布一篇效率分析，显示自 2012 年以来，把神经网络训练到在 ImageNet 分类上同等性能所需的算力，每 16 个月就减少一半（因子为 2）；相比 2012 年，如今只需四十多分之一（44×更少）就能达到 AlexNet 那一档性能，而按摩尔定律同期只应带来 11 倍的成本改善。作者的结论是：在近期投入很高的 AI 任务上，算法层面的进步所带来的增益，已经超过了经典硬件效率的提升。
推荐理由
和算力翻倍那条互补，给出算法效率增长的量化基线。
主体与标签
OpenAI#论文/研究#现象/趋势
正文
We’re releasing an analysis showing that since 2012 the amount of compute needed to train a neural net to the same performance on ImageNet classification has been decreasing by a factor of 2 every 16 months. Compared to 2012, it now takes 44 times less compute to train a neural network to the level of AlexNet (by contrast, Moore’s Law would yield an 11x cost improvement over this period). Our results suggest that for AI tasks with high levels of recent investment, algorithmic progress has yielded more gains than classical hardware efficiency.