Sakana AI 和 Nvidia 通过跳过 80% 的无效计算，实现 30% 更快的 H100 推理

Sakana AI 和 Nvidia 已开源 TwELL，这是一种稀疏数据格式，可让 H100 GPU 在大型语言模型中跳过 80% 的无效计算，同时不牺牲准确性。该解决方案在 H100 上可实现最高 30% 更快的推理和 24% 更快的训练，并降低峰值内存使用。在对一个 1.5 十亿参数的模型进行测试时，通过训练期间的轻量级正则化，该方法将活跃神经元降至低于 2%，且在七个下游任务中没有出现性能下降。