自监督学习之掩码自动编码器(MaskedAutoencoders,MAE)——音频识别方面1.参考文献《MaskedAutoencodersthatListen》2.背景Transformers和self-supervisedlearning(自监督学习)占据了计算机视觉(ComputerVision,CV)和自然语言处理(naturallanguageprocessing,NLP)的主导地位。使用BERT进行屏蔽自动编码，通过对大规模语言语料库的自监督预训练，为各种NLP任务提供了一种新的最新技术。类似地，在CV社区中，VisionTransformers(ViT)变得越来越流行，在自监督的

继续写：https://blog.csdn.net/chenhao0568/article/details/134920391?spm=1001.2014.3001.5502词嵌入模型（WordEmbeddingModels）如Word2Vec,GloVe词嵌入模型，如Word2Vec和GloVe，是自然语言处理（NLP）领域的关键技术。它们的主要作用是将文字（特别是词汇）转换为计算机能够理解的数值形式。这些数值形式被称为“嵌入”（embeddings），它们捕捉了词汇的语义和语境信息。Word2VecWord2Vec是最著名的词嵌入方法之一。它由Google的研究团队开发，主要有两种模型结构

1. 自我改善1.1. 只有学会了如何学习和改变的人，才称得上是受过教育的人1.1.1. 卡尔·罗杰斯1.2. 人工智能如果只是学习纯理论的游戏（从国际象棋和围棋到电脑游戏），其结果已然可以令人惊叹1.3. 让大多数机器人玩叠叠乐游戏（用积木搭成塔，慢慢从塔中抽出积木，然后搭在最顶上），结果就会变得乱七八糟1.4. 就算机器人可以在模拟世界中使用监督学习进行训练，现实的复杂性和可变性总是跟虚拟环境大不相同1.5. 训练人工智能理解现实的正常方法，是向它展示数以百万计移除真实积木的例子，其中既有成功的例子也有失败的例子1.5.1. 在现实世界中，这种方法会花费很长的时间，因为塔需要重建数百万次1

无监督学习-聚类算法1、聚类介绍1.1、聚类作用知识发现异常值检测特征提取数据压缩的例子1.2、有监督与无监督学习有监督：给定训练集X和标签Y选择模型学习（目标函数的最优化）生成模型（本质上是一组参数、方程）根据生成的一组参数进行预测分类任务无监督：拿到的数据只有X没有标签，只能根据X的相似程度做一些事情Clustering聚类：对于大量未标注的数据集，按照内在的相似性来分为多个类别（簇）目标：类别内相似度大，类别内相似度大，类别间相似小也可以用来改变数据的维度，可以将聚类结果作为一个维度添加到训练数据中。降维算法，数据特征变少1.3聚类算法图片来源：https://scikit-learn.

由真实人脑细胞构建的“迷你大脑”和微电极组成的AI系统，已经能够进行语音识别——从数百个声音片段中准确认出某个特定人的声音的那种。最近，一项颇为前沿的类脑研究登上了Nature子刊。这个特别的AI系统甚至可以进行无监督学习：研究人员只是一遍遍播放音频片段，不提供任何形式的反馈来告诉系统答对还是错。最终，该系统在两天的训练之后，准确率直接从最初的51%升到了78%。这，究竟是怎么实现的？类器官神经网络来了发明该系统的主要目的，是解决硅芯片的高能耗等问题。一般来说，这个问题的解题思路都是靠类脑计算。但这种思想下设计的“传统”类脑芯片大多数都是直接基于数字电子原理，完全模仿大脑功能的能力着实有限。在

今天，和大家分享一下机器学习之无监督学习中的常见的聚类方法。在无监督学习中，我们的数据并不带有任何标签，因此在无监督学习中要做的就是将这一系列无标签的数据输入到算法中，然后让算法找到一些隐含在数据中的结构，通过下图中的数据，可以找到的一个结构就是数据集中的点可以分成两组分开的点集（簇），能够圈出这些簇（cluster）的算法，就叫做聚类算法（clusteringalgorithm）。聚类算法的应用市场分割：将数据库中客户的信息根据市场进行不同的分组，从而实现对其分别销售或者根据不同的市场进行服务改进。社交网络分析：通过邮件最频繁联系的人及其最频繁联系的人来找到一个关系密切的群体。组织计算机集群

11月13日，微软研究院（MicrosoftResearch）和普林斯顿大学研究人员，提出了一个通用框架，用于设计无监督学习问题的有效算法，如高斯分布和子空间聚类的混合。研究人员所提的框架在解决噪声问题上，使用了一种下界学习计算公式的元算法。这是建立在Garg、Kayal和Saha(FOCS’20)最近的工作基础上的，他们设计了这样一个框架，用于在没有任何噪音的情况下学习算术公式。元算法的一个关键要素是针对称为“稳健向量空间分解”的新问题的有效算法。研究证明，当某些矩阵具有足够大的最小非零奇异值时，元算法效果很好。“我们推测这个条件适用于我们问题的平滑实例，因此我们的框架将为平滑设置中的这些问

之前我们总结了机器学习中常用的几种回归算法和分类算法。都属于机器学习监督学习算法。今天，和大家分享一下机器学习之无监督学习中的常见的降维方法。我们可以怎样发现一个数据集的底层结构？我们可以怎样最有用地对其进行归纳和分组？我们可以怎样以一种压缩格式有效地表征数据？这都是无监督学习的目标，之所以称之为「无监督」，是因为这是从无标签的数据开始学习的。降维看上去很像压缩。这是为了在尽可能保存相关的结构的同时降低数据的复杂度。如果你有一张简单的128×128×3像素的图像（长×宽×RGB值），那么数据就有49152维。如果你可以给这个图像空间降维，同时又不毁掉图像中太多有意义的内容，那么你就很好地执行了

了解监督学习、无监督学习和半监督学习的特征，以及它们在机器学习项目中的应用方式。在人工智能技术的讨论中，监督学习往往会得到最多的宣传，因为它通常是用于创建人工智能模型的最后一步，用于图像识别、更好的预测、产品推荐和潜在客户评分等。相比之下，无监督学习往往在人工智能开发生命周期的早期在幕后工作：它通常被用来为监督学习的魔力展开奠定基础，就像让经理大放异彩的繁重工作一样。正如后面所解释的，这两种机器学习模式都可以有效地应用于业务问题。在技术层面上，监督学习与无监督学习之间的区别在于用于创建算法的原始数据是预先标记（监督学习）还是未预先标记（无监督学习）。让我们开始吧。什么是监督学习？在监督学习中，

在机器学习中，术语Ensemble指的是并行组合多个模型，这个想法是利用群体的智慧，在给出的最终答案上形成更好的共识。这种类型的方法已经在监督学习领域得到了广泛的研究和应用，特别是在分类问题上，像RandomForest这样非常成功的算法。通常应用一些投票/加权系统，将每个单独模型的输出组合成最终的、更健壮的和一致的输出。在无监督学习领域，这项任务变得更加困难。首先，因为它包含了该领域本身的挑战，我们对数据没有先验知识，无法将自己与任何目标进行比较。其次，因为找到一种合适的方法来结合所有模型的信息仍然是一个问题，而且对于如何做到这一点还没有达成共识。在本文中，我们讨论关于这个主题的最佳方法，即