应用介绍
耦合牛顿迭代法 (Coupled Newton iteration) 曾在 Shampoo 的实现中被用于执行逆四次方根,并且可以被轻松地调整用于执行正交化。但我们没有使用它,因为我们发现它必须至少以 float32 精度运行才能避免数值不稳定,而这会导致它在现代 GPU 上运行缓慢。
耦合牛顿迭代法 (Coupled Newton iteration) 曾在 Shampoo 的实现中被用于执行逆四次方根,并且可以被轻松地调整用于执行正交化。但我们没有使用它,因为我们发现它必须至少以 float32 精度运行才能避免数值不稳定,而这会导致它在现代 GPU 上运行缓慢。