草庐IT

sparse_softmax_cross_entropy_loss

全部标签

强化学习稀疏奖励问题(sparse reward)及解决方法

参考 《EasyRL》1.稀疏奖励通常在训练智能体时,我们希望每一步动作都有相应的奖励。但是某些情况下,智能体并不能立刻获得奖励,比如全局奖励的围棋,最终获胜会得到奖励,但是人们很难去设定中间每步的奖励,这会导致学习缓慢甚至无法进行学习的问题。2.解决方法2.1设计奖励(rewardshaping)除了最终要学习到的目标外,可以额外添加一些奖励用于引导智能体。比如ViZDoom射击游戏,杀了敌人得到正奖励,被杀得到负奖励。探究人员设计了一些新奖励,来引导智能体做的更好,比如掉血就扣分,捡到补给包会加分,待在原地扣分,活着扣一个很小的分(否则智能体只想活着,躲避敌人)等方法。rewardshap

Calico IPIP模式下的Cross Subnet特性分析

本文分享自华为云社区《CalicoIPIP模式下的CrossSubnet特性分析》,作者:可以交个朋友。CalicoipipcrossSubnet模式Calico-ipip模式和calico-bgp模式都有对应的局限性,对于一些主机跨子网而又无法使网络设备使用BGP的场景可以使用cross-subnet模式,实现同子网机器使用calico-BGP模式,跨子网机器使用calico-ipip模式。概念图如下:统一环境信息: 创建k8s集群创建k8s安装脚本 1-setup-env.sh#!/bin/bashdateset-v#1.prepnoCNIenvcat27.3--config=-kind:

java - 内部错误 : Bad sparse switch magic - what that means?

今天我得到一个堆栈跟踪,其中有一个非常奇怪的错误。实际上,我可能是第一个得到这个的人(耶!),因为在发布这个问题之前,谷歌中唯一出现的“Badsparseswitchmagic”是在Android源代码中。这是堆栈跟踪的一部分(Android2.3.4):java.lang.InternalError:badsparseswitchmagicatorg.my.app.MyItemAdapter.(MyItemAdapter.java:64)atorg.my.app.MyActivity.onCreate(MyActivity.java:78)从MyItemAdapter构造函数退出时抛

使用ElasticSearch完成大模型+本地知识库:BM25+Embedding模型+Learned Sparse Encoder 新特性

本文指出,将BM25,向量检索Embedding模型后近似KNN相结合,可以让搜索引擎既能理解用户查询的字面意义,又能捕捉到查询的深层次语义,从而提供更全面、更精确的搜索结果。这种混合方法在现代搜索引擎中越来越普遍,因为它结合了传统搜索的精确性和基于AI的搜索的语义理解能力。然后在8.8引入LearnedSparseEncoder新特性,因为densevectorsearch密集向量搜索通常需要在领域内进行重新训练。如果没有在领域内进行重新训练,它们甚至可能表现不如传统的词汇评分,比如Elastic的BM25。HowtogetthebestoflexicalandAI-poweredsearc

Calico IPIP模式下的Cross Subnet特性分析

本文分享自华为云社区《CalicoIPIP模式下的CrossSubnet特性分析》,作者:可以交个朋友。CalicoipipcrossSubnet模式Calico-ipip模式和calico-bgp模式都有对应的局限性,对于一些主机跨子网而又无法使网络设备使用BGP的场景可以使用cross-subnet模式,实现同子网机器使用calico-BGP模式,跨子网机器使用calico-ipip模式。概念图如下:统一环境信息: 创建k8s集群创建k8s安装脚本 1-setup-env.sh#!/bin/bashdateset-v#1.prepnoCNIenvcat27.3--config=-kind:

零知识证明论文阅读---Blockchain-Assisted Transparent Cross-Domain Authorization and Authentication for Smart

零知识证明论文阅读—Blockchain-AssistedTransparentCross-DomainAuthorizationandAuthenticationforSmartCitySystemModel系统由五类实体组成:Identitycommitteemembers(ICMs),Identityissuers(IIs),Identityholders(IHs),Identityverifiers(IVs),Identityauditor(IA)。详细的介绍可以阅读这篇论文Blockchain-AssistedTransparentCross-DomainAuthorizationa

论文阅读/中文记录,材料机器学习:Data-driven based phase constitution prediction in high entropy alloys

HanQ,LuZ,ZhaoS,etal.Data-drivenbasedphaseconstitutionpredictioninhighentropyalloys[J].ComputationalMaterialsScience,2022,215:111774.文章目录摘要1.引言2.方法2.1数据收集和处理2.2机器学习模型3.结果和分析3.1特征相关性3.2机器学习模型的预测性能3.3特征和特征降维的重要性和有效性3.3.1特种重要性排序3.3.2特征有效性分析:RFECV(循环特征提取和交叉验证)3.3.3特征降维:PCA分析3.4模型对比3.4.1通过二元分类和ROC曲线进行模型比较

【论文笔记】SparseFusion: Fusing Multi-Modal Sparse Representations for Multi-Sensor 3D Object Detection

原文链接:https://arxiv.org/abs/2304.143401.引言  目前的3D目标检测工作都使用模态的密集表达(如BEV、体素、点云),但由于我们只对实例/物体感兴趣,这种密集表达是冗余的。此外,背景噪声对检测有害,且将多模态对齐到同一空间很耗时。  相反,稀疏表达很高效且能达到SotA性能。通常,使用稀疏表达的方法使用物体查询表示物体或实例,并与原始图像和点云特征交互。  本文提出SparseFusion(如下图所示),使用稀疏候选对象产生稀疏表达,使3D目标检测性能高而耗时少。该方法是第一个使用稀疏候选对象和稀疏融合输出的图像-激光雷达融合3D目标检测方法。首先对各模态分

论文阅读——Loss odyssey in medical image segmentation

Lossodysseyinmedicalimagesegmentationgithub:https://github.com/JunMa11/SegLossOdyssey这篇文章回顾了医学图像分割中的20种不同的损失函数,旨在回答:对于医学图像分割任务,我们应该选择哪种损失函数?首先是一张各类分割函数的图谱:介绍函数之前先定义字母符号的含义:,分别代表分割结果和GT,代表里面的每个体素,N是一张图片体素数量,C是类别损失函数分为四类:即分布不匹配,区域、边界或它们的某种组合。1.Distribution-basedLoss 基于分布的损失函数旨在最小化两个分布之间的不相似性。以交叉熵cross

What the DAAM: Interpreting Stable Diffusion Using Cross Attention

WhattheDAAM:InterpretingStableDiffusionUsingCrossAttention(Paperreading)RaphaelTang,ComcastAppliedAI,ACL2023bestpaper,Code,Paper1.前言大规模扩散神经网络是文本到图像生成中的一个重要里程碑,但人们对其了解甚少,缺乏可解释性分析。在本文中,我们对最近开源的模型StableDiffusion进行了文本-图像归因分析。为了生成像素级归因图,我们在去噪子网络中提升并聚合交叉注意词-像素得分,将我们的方法命名为DAAM。我们通过测试其对名词的语义分割能力以及对所有词性的广义归因