草庐IT

machine-learning-model

全部标签

【scikit-learn基础】--『数据加载』之外部数据集

这是scikit-learn数据加载系列的最后一篇,本篇介绍如何加载外部的数据集。外部数据集不像之前介绍的几种类型的数据集那样,针对每种数据提供对应的接口,每个接口加载的数据都是固定的。而外部数据集加载之后,数据的字段和类型是不确定的。简单来说,我们在实际的数据分析工作中,用到的是外部数据集加载,在学习数据分析时,更多用到的是前面介绍的数据加载:玩具数据集:【scikit-learn基础】--『数据加载』之玩具数据集真实数据集:【scikit-learn基础】--『数据加载』之真实数据集样本生成器:【scikit-learn基础】--『数据加载』之样本生成器1.openml.org数据集ope

Azure Machine Learning - Azure OpenAI 服务使用 GPT-35-Turbo and GPT-4

通过AzureOpenAI服务使用GPT-35-TurboandGPT-4环境准备Azure订阅-免费创建订阅已在所需的Azure订阅中授予对AzureOpenAI服务的访问权限。目前,仅应用程序授予对此服务的访问权限。可以填写https://aka.ms/oai/access处的表单来申请对AzureOpenAI服务的访问权限。Python3.7.1或更高版本。以下Python库:os。部署了gpt-35-turbo或gpt-4模型的AzureOpenAI服务资源。设置使用以下项安装OpenAIPython客户端库:[OpenAIPython0.28.1][OpenAIPython1.x]p

High-Resolution Image Synthesis with Latent Diffusion Models 稳定扩散模型论文笔记

一、研究现状    早期图像生成方法主要是变分自动编码器(VariationalAutoencoders,VAEs),该算法利用编码器和解码器以及变分推断的方法学习隐空间到真实图像空间的映射从而完成图像的生成。其优势是特征空间可迁移并且训练较为稳定,但是不容易进行模型评估,当输入的图像数据的分布情况复杂时,其学习到的特征泛化能力不足,而且生成的图像模糊。    生成对抗网络(GenerativeAdversarialNetworks,GAN)通过生成器与判别器的动态博弈来优化模型,允许以良好的感知质量对高分辨率图像进行有效采样,生成的图像比较清晰。但该方法模型训练不稳定并难以捕捉完整的数据分布

[wordpiece]论文分析:Google’s Neural Machine Translation System

文章目录一、论文解读1.1模型介绍1.2模型架构1.3wordpiece二、整体总结论文:Google’sNeuralMachineTranslationSystem:BridgingtheGapbetweenHumanandMachineTranslation作者:YonghuiWu,MikeSchuster,ZhifengChen,QuocV.Le,MohammadNorouzi,WolfgangMacherey,MaximKrikun,YuanCao,QinGao,KlausMacherey,JeffKlingner,ApurvaShah,MelvinJohnson,XiaobingLi

《Secure Analytics-Federated Learning and Secure Aggregation》论文阅读

背景机器学习模型对数据的分析具有很大的优势,很多敏感数据分布在用户各自的终端。若大规模收集用户的敏感数据具有泄露的风险。对于安全分析的一般背景就是认为有n方有敏感数据,并且不愿意分享他们的数据,但可以分享聚合计算后的结果。联邦学习是一种训练数据在多方训练,然后聚合结果得到最终的中心化模型。其中的关键就是多方结果的安全聚合。风险模型有很多用户,假设用户都是诚实但好奇的,即会遵守协议规则,但会通过拼凑数据获取敏感信息。换句话说就是恶意的,很可能执行不好的行为。安全聚合问题的定义、目标和假设风险模型假设用户和中心服务器都是诚实且好奇的。如果用户是恶意的,他们有能力在不被监测的情况下影响聚合结果。安全

【scikit-learn基础】--『数据加载』之样本生成器

除了内置的数据集,scikit-learn还提供了随机样本的生成器。通过这些生成器函数,可以生成具有特定特性和分布的随机数据集,以帮助进行机器学习算法的研究、测试和比较。目前,scikit-learn库(v1.3.0版)中有20个不同的生成样本的函数。本篇重点介绍其中几个具有代表性的函数。1.分类聚类数据样本分类和聚类是机器学习中使用频率最高的算法,创建各种相关的样本数据,能够帮助我们更好的试验算法。1.1.make_blobs这个函数通常用于可视化分类器的学习过程,它生成由聚类组成的非线性数据集。importmatplotlib.pyplotaspltfromsklearn.datasets

【vSphere 8 自签名证书】企业 CA 签名证书替换 vSphere Machine SSL 证书Ⅰ—— 生成 CSR

目录替换拓扑图证书关系示意图说明&关联博文1.默认证书截图2.使用certificate-manager生成CSR2.1创建存放CSR的目录2.2记录PNID和IP2.3生成CSR2.4验证CSR参考资料替换拓扑图证书关系示意图默认情况下,VMCA与MachineSSL的关系是本系列博文要实现的拓扑是说明&关联博文因为使用企业CA直接签名MachineSSL证书替换vSphere证书步骤较多且繁琐,为了内容关联性和可读性,关于这个自签名证书系列的博文,博主分为4篇,这是第一篇,剩余4篇会陆续发布。本篇博文主要描述了如何在vCenterServer系统中使用实用工具certificate-man

Cloze Test Helps: Effective Video Anomaly Detection via Learning to Complete Video Events 论文阅读

ClozeTestHelps:EffectiveVideoAnomalyDetectionviaLearningtoCompleteVideoEvents摘要1.介绍2.相关工作3.方法4.实验阅读总结文章信息:发表于:ACMInternationalConferenceonMultimedia2020(CCFA类会议)原文地址:https://arxiv.org/pdf/2008.11988.pdf源码地址:https://github.com/yuguangnudt/VEC_VAD摘要在媒体内容解释中,视频异常检测(VAD)是一个备受关注的主题,通过深度神经网络(DNN)已经取得了显著的进

【论文简述】Bi-ClueMVSNet: Learning Bidirectional OcclusionClues for Multi-View Stereo(IJCNN 2023)

一、论文简述1.第一作者:ZheZhang2.发表年份:20233.发表期刊:IJCNN4.关键词:MVS、深度学习、遮挡、双向投影5.探索动机:现有的工作很少考虑遮挡问题,导致边界和遮挡区域的重建效果不佳。IntraditionalMVSmethods,takingCOLMAPasanexample,theocclusionissuecanbemodeledundertheprobabilisticframework.However,veryfewlearning-basedmethodshavetakentheocclusionproblemintoconsideration.Howeve

【论文笔记】SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking

文章目录论文信息Abstract1.Introduction2.Methodology2.1TheMainModel2.2ContrastiveLoss2.3ImplementationDetails(Hyperparameters)3.Experiments代码实现个人总结值得借鉴的地方论文信息论文地址:https://arxiv.org/pdf/2210.17168.pdfAbstract论文提出了一种token-level的自蒸馏对比学习(self-distillationcontrastivelearning)方法。1.Introduction传统方法使用BERT后,会对confusi