草庐IT

【scikit-learn基础】--『监督学习』之 层次聚类

层次聚类算法是机器学习中常用的一种无监督学习算法,它用于将数据分为多个类别或层次。该方法在计算机科学、生物学、社会学等多个领域都有广泛应用。层次聚类算法的历史可以追溯到上世纪60年代,当时它主要被用于社会科学中。随着计算机技术的发展,这种方法在90年代得到了更为广泛的应用。1.算法概述层次聚类的基本原理是创建一个层次的聚类,通过不断地合并或分裂已存在的聚类来实现。它分为两种策略:凝聚策略:初始时将每个点视为一个簇,然后逐渐合并相近的簇分裂策略:开始时将所有点视为一个簇,然后逐渐分裂在scikit-learn中,层次聚类的策略有4种:ward:默认策略,也就是最小方差法。它倾向于合并那些使得合并

【scikit-learn基础】--『监督学习』之 均值聚类

聚类算法属于无监督学习,其中最常见的是均值聚类,scikit-learn中,有两种常用的均值聚类算法:一种是有名的K-means(也就是K-均值)聚类算法,这个算法几乎是学习聚类必会提到的算法;另一个是均值偏移聚类,它与K-means各有千秋,只是针对的应用场景不太一样,但是知名度远不如K-Means。本篇介绍如何在scikit-learn中使用这两种算法。1.算法概述1.1.K-MeansK-means算法起源于1967年,由JamesMacQueen和J.B.Hartigan提出。它的基本原理是是将n个点划分为K个集群,使得每个点都属于离其最近的均值(中心点)对应的集群。K-Means算法

【scikit-learn基础】--『监督学习』之 均值聚类

聚类算法属于无监督学习,其中最常见的是均值聚类,scikit-learn中,有两种常用的均值聚类算法:一种是有名的K-means(也就是K-均值)聚类算法,这个算法几乎是学习聚类必会提到的算法;另一个是均值偏移聚类,它与K-means各有千秋,只是针对的应用场景不太一样,但是知名度远不如K-Means。本篇介绍如何在scikit-learn中使用这两种算法。1.算法概述1.1.K-MeansK-means算法起源于1967年,由JamesMacQueen和J.B.Hartigan提出。它的基本原理是是将n个点划分为K个集群,使得每个点都属于离其最近的均值(中心点)对应的集群。K-Means算法

【scikit-learn基础】--『监督学习』之 支持向量机分类

支持向量机也是一种既可以处理分类问题,也可以处理回归问题的算法。关于支持向量机在回归问题上的应用,请参考:TODO支持向量机分类广泛应用于图像识别、文本分类、生物信息学(例如基因分类)、手写数字识别等领域。1.算法概述支持向量机的主要思想是找到一个超平面,将不同类别的样本最大化地分隔开。超平面的位置由支持向量决定,它们是离分隔边界最近的数据点。对于二分类问题,SVM寻找一个超平面,使得正例和支持向量到超平面的距离之和等于反例和支持向量到超平面的距离之和。如果这个等式不成立,SVM将寻找一个更远离等式中不利样本的超平面。下面的示例,演示了支持向量机分类算法在图像识别上的应用。2.创建样本数据这次

【scikit-learn基础】--『监督学习』之 支持向量机分类

支持向量机也是一种既可以处理分类问题,也可以处理回归问题的算法。关于支持向量机在回归问题上的应用,请参考:TODO支持向量机分类广泛应用于图像识别、文本分类、生物信息学(例如基因分类)、手写数字识别等领域。1.算法概述支持向量机的主要思想是找到一个超平面,将不同类别的样本最大化地分隔开。超平面的位置由支持向量决定,它们是离分隔边界最近的数据点。对于二分类问题,SVM寻找一个超平面,使得正例和支持向量到超平面的距离之和等于反例和支持向量到超平面的距离之和。如果这个等式不成立,SVM将寻找一个更远离等式中不利样本的超平面。下面的示例,演示了支持向量机分类算法在图像识别上的应用。2.创建样本数据这次

【scikit-learn基础】--『监督学习』之 决策树分类

决策树分类算法是一种监督学习算法,它的基本原理是将数据集通过一系列的问题进行拆分,这些问题被视为决策树的叶子节点和内部节点。决策树的每个分支代表一个可能的决策结果,而每个叶子节点代表一个最终的分类结果。决策树分类算法的历史可以追溯到1980年代初,当时研究者开始探索用机器学习来解决分类问题。在1981年,J.RossQuinlan开发了ID3算法,该算法使用信息增益来选择决策树的最佳划分属性。后来,在1986年,J.RossQuinlan提出了C4.5算法,该算法引入了剪枝技术,以防止过拟合,该算法还引入了处理连续属性、缺失数据和多值属性等新特性。在1998年,JeromeFriedman等人

SelfOcc:首篇纯视觉环视自监督三维占有预测(清华大学)

本文经自动驾驶之心公众号授权转载,转载请联系出处。写在前面&笔者的个人理解三维场景标注通常需要耗费大量的人力物力财力,是制约自动驾驶模型训练迭代的一大瓶颈问题,从大量的二维视频中自监督地学习出有效的三维场景表示是一个有效的解决方案。我们提出的SelfOcc通过使用NeRF监督首次实现仅使用视频序列进行三维场景表示(BEV或TPV)学习。SelfOcc在自监督单目场景补全、环视三维语义占有预测、新视角深度合成、单目深度估计和环视深度估计等任务上均取得了SOTA的性能。SelfOcc的相关背景自监督3D占用预测在当前的自动驾驶技术领域,以视觉为核心的系统通常依赖于精细的三维(3D)标注来学习有效的

【scikit-learn基础】--『监督学习』之 决策树分类

决策树分类算法是一种监督学习算法,它的基本原理是将数据集通过一系列的问题进行拆分,这些问题被视为决策树的叶子节点和内部节点。决策树的每个分支代表一个可能的决策结果,而每个叶子节点代表一个最终的分类结果。决策树分类算法的历史可以追溯到1980年代初,当时研究者开始探索用机器学习来解决分类问题。在1981年,J.RossQuinlan开发了ID3算法,该算法使用信息增益来选择决策树的最佳划分属性。后来,在1986年,J.RossQuinlan提出了C4.5算法,该算法引入了剪枝技术,以防止过拟合,该算法还引入了处理连续属性、缺失数据和多值属性等新特性。在1998年,JeromeFriedman等人

【scikit-learn基础】--『监督学习』之 贝叶斯分类

贝叶斯分类是一种统计学分类方法,基于贝叶斯定理,对给定的数据集进行分类。它的历史可以追溯到18世纪,当时英国统计学家托马斯·贝叶斯发展了贝叶斯定理,这个定理为统计决策提供了理论基础。不过,贝叶斯分类在实际应用中的广泛使用是在20世纪80年代,当时计算机技术的进步使得大规模数据处理成为可能。1.算法概述贝叶斯分类基于贝叶斯公式,通过已知样本信息来计算未知样本属于各个类别的概率,然后选择概率最大的类别作为未知样本的分类结果。贝叶斯公式的简化公式:\(P(A|B)=\frac{P(B|A)P(A)}{P(B)}\)其中:\(P(A)\):事件A发生的概率\(P(B)\):事件A发生的概率\(P(A|

【scikit-learn基础】--『监督学习』之 贝叶斯分类

贝叶斯分类是一种统计学分类方法,基于贝叶斯定理,对给定的数据集进行分类。它的历史可以追溯到18世纪,当时英国统计学家托马斯·贝叶斯发展了贝叶斯定理,这个定理为统计决策提供了理论基础。不过,贝叶斯分类在实际应用中的广泛使用是在20世纪80年代,当时计算机技术的进步使得大规模数据处理成为可能。1.算法概述贝叶斯分类基于贝叶斯公式,通过已知样本信息来计算未知样本属于各个类别的概率,然后选择概率最大的类别作为未知样本的分类结果。贝叶斯公式的简化公式:\(P(A|B)=\frac{P(B|A)P(A)}{P(B)}\)其中:\(P(A)\):事件A发生的概率\(P(B)\):事件A发生的概率\(P(A|