论文链接：http://proceedings.mlr.press/v97/xie19b/xie19b.pdf基于怀疑容错的分布式SGDAbstactzeno优势在于只需要假设系统中存在一个正常节点。核心思想：怀疑有潜在缺陷的worker。可能会怀疑错误，因此加入了使用排名的偏好机制Introduction使用stochasticzero-orderoracle计算分数，这个分数代表在迭代中该节点的可信度。然后取分数最高（最值得信任）的节点的均值。论文贡献点：系统中仅需存在一个正常节点收敛速度与分布式同步SGD相同适用于不相同分布的数据集ModelFailureModel最坏的情况即错误梯度将
论文链接：http://proceedings.mlr.press/v97/xie19b/xie19b.pdf基于怀疑容错的分布式SGDAbstactzeno优势在于只需要假设系统中存在一个正常节点。核心思想：怀疑有潜在缺陷的worker。可能会怀疑错误，因此加入了使用排名的偏好机制Introduction使用stochasticzero-orderoracle计算分数，这个分数代表在迭代中该节点的可信度。然后取分数最高（最值得信任）的节点的均值。论文贡献点：系统中仅需存在一个正常节点收敛速度与分布式同步SGD相同适用于不相同分布的数据集ModelFailureModel最坏的情况即错误梯度将
概述 梯度下降法(GradientDescent)是一个算法，但不是像多元线性回归那样是一个具体做回归任务的算法，而是一个非常通用的优化算法来帮助一些机器学习算法求解出最优解的，所谓的通用就是很多机器学习算法都是用它，甚至深度学习也是用它来求解最优解。所有优化算法的目的都是期望以最快的速度把模型参数θ求解出来，梯度下降法就是一种经典常用的优化算法。梯度下降法的思想 思想就类比于生活中的一些事情，比如你去询问你的一个朋友工资多少，他不会告诉你，但是他会让你去猜，然后告诉你猜的结果。你每说出一次答案，他就会说猜高了或是猜低了，这样下去你就会奔着对方的回答继续猜下去，总有一次能猜到正确答案。梯度
概述 梯度下降法(GradientDescent)是一个算法，但不是像多元线性回归那样是一个具体做回归任务的算法，而是一个非常通用的优化算法来帮助一些机器学习算法求解出最优解的，所谓的通用就是很多机器学习算法都是用它，甚至深度学习也是用它来求解最优解。所有优化算法的目的都是期望以最快的速度把模型参数θ求解出来，梯度下降法就是一种经典常用的优化算法。梯度下降法的思想 思想就类比于生活中的一些事情，比如你去询问你的一个朋友工资多少，他不会告诉你，但是他会让你去猜，然后告诉你猜的结果。你每说出一次答案，他就会说猜高了或是猜低了，这样下去你就会奔着对方的回答继续猜下去，总有一次能猜到正确答案。梯度
