embedding可以把文字和图像转为向量（k维的浮点数特征向量）。
比如我们输入的句子长度为7，词典大小为100，把每一个整数转为2维小数的embedding直观代码如下：
from keras.models import Sequential
from keras.layers import Embedding
model = Sequential()
model.add(Embedding(100,2, input_length=7))#输入维，输出维
data = np.array([[0,2,0,1,1,0,0],[0,1,1,2,1,0,0],[0,1,12,1,15,0,1]])
model.predict(data) # 输入维度(3,7)整型，输出维度(3,7,2)浮点类型
图片同样可以做embedding，我们要把
N
∗
N
∗
256
N*N*256
N∗N∗256（前两个是尺寸，最后是灰度）的图像用
N
/
16
∗
N
/
16
∗
1000
N/16*N/16*1000
N/16∗N/16∗1000来表示，将每16个像素点看做一个像素块，则像素块为1616256的整数，要将其映射为1000维的浮点数。
embedding网络是
[
16
∗
16
∗
256
,
1000
]
[16*16*256,1000]
[16∗16∗256,1000]的浮点数矩阵，每一行的1000维数据就是每个块的embedding表示。
Encoder-Decoder指的是如下的模型：
关于基本Encoder-Decoder，有2点需要说明：
1）不论输入和输出的长度是什么，中间的「向量 c」 长度都是固定的（这也是它的缺陷，下文会详细说明）
根据不同的任务可以选择不同的编码器和解码器（可以是一个 RNN ，但通常是其变种 LSTM 或者 GRU ）
2）只要是符合上面的框架，都可以统称为 Encoder-Decoder 模型。说到 Encoder-Decoder 模型就经常提到一个名词—— Seq2Seq。
Seq2Seq（是 Sequence-to-sequence 的缩写），就如字面意思，输入一个序列，输出另一个序列。这种结构最重要的地方在于输入序列和输出序列的长度是可变的。Seq2Seq（强调目的）不特指具体方法，满足「输入序列、输出序列」的目的，都可以统称为 Seq2Seq 模型。常见的应用有：机器翻译、对话机器人、诗词生成、代码补全、文章摘要（文本 - 文本）。Encoder-Decoder是Seq2Seq的一种，即中间有个固定长度的向量C：
Encoder-Decoder 当输入信息太长时，会丢失掉一些信息(编码长度优先，在编码时进行了压缩，因此丢失信息是必然的)。Attention 机制就是为了解决「信息过长，信息丢失」的问题，简单来说，Attention 模型的特点是 Encoder 不再将整个输入序列编码为固定长度的「中间向量 Ｃ」 ，而是编码成一个向量的序列。
引入了attention的Encoder-Decoder模型如下图，简单来说就是：不断输入X（代号K），不断计算C（注意力），不断decode成Y（代号Q）
我们来看例子，输入X为kono eiga ga kirai（この映画が嫌い），其中日语的语序和英语是不一样的。
这里的注意力数组是用hate和日语原文乘积得到的。注意力集中在第一个单词kono，也就是说I hate 后面紧接着的this对应的起始是kono这个词。
我们来看下计算注意力数据的方法。其输入是待翻译的特征向量
K
K
K(key vectors)，一个当前输出的特征向量
Q
i
Q_i
Qi(query vectors)，计算函数为
a
i
=
F
(
Q
i
,
K
)
a_i=F(Q_i,K)
ai=F(Qi,K)。如果q、k维度相同，可以直接用点乘：
a
=
q
T
k
a=q^Tk
a=qTk；若维度不同，可以再加个学习参数矩阵W:
a
=
q
T
W
k
a=q^TWk
a=qTWk。此外，最好做一个归一化：
a
=
q
T
k
/
∣
k
∣
a=q^Tk/\sqrt{|k|}
a=qTk/∣k∣。
如果Q和K相同，则称为self-attention机制。一般的词嵌入模块学习的是单词之间的关系，而self-attention模块学习了单词在句子上下文环境中的关系（transformer中甚至还显式的加上了位置编码）。注意和Attention机制区分开，在Attention中我们有一对对的训练数据，而self-attention没有。
换种方式说明：假设我们得到了一段输入文本，并且从文本中的单词嵌入 W 开始。我们需要找到一种 Embedding 方法来度量同一文本中其他单词嵌入相对于 W 的重要度，并合并它们的信息来创建更新的嵌入W’。
具体做法是：自注意力机制会将 Embedding 输入文本中的每个单词线性投影到三个不同的空间中（这些矩阵在训练过程中需要学习），从而产生三种新的表示形式：即查询query、键key和值value。这些新的嵌入将用于获得一个得分，该得分将代表 W 和每个Wn 之间的依赖性（如果 W 依赖于 W’，则结果为绝对值很高的正数，如果 W 与W’不相关，则结果为绝对值很高的负值)。这个分数将被用来组合来自不同 Wn 单词嵌入的信息，为单词 W 的值v创建更新的嵌入e。
用矩阵形式，直观表达如下：
注意到这些新向量的维度比输入词向量的维度要小（512–>64），并不是必须要小的，是为了让多头attention的计算更稳定。
下面是个例子：对“Thinking Matchines”这句话，对“Thinking”（pos#1）计算attention 分值。我们需要计算每个词与“Thinking”的评估分，这个分决定着编码“Thinking”时（某个固定位置时），每个输入词需要集中多少关注度。
这个分通过“Thing”对应query-vector与所有词的key-vec依次做点积得到。所以当我们处理位置#1时，第一个分值是q1和k1的点积，第二个分值是q1和k2的点积。除以8，这样梯度会更稳定。然后加上softmax操作，归一化分值使得全为正数且加和为1。将softmax分值与value-vec按位相乘。保留关注词的value值，削弱非相关词的value值。将所有加权向量加和，产生该位置的self-attention的输出结果。
下图是一个self-attention的可视化例子：
用来做训练的一个编码器-解码器如图：
为了统一图像和视频，我们把图像用3维数据表示（宽、高、帧）。对于图像
X
∈
R
h
×
w
×
s
X\in R^{h\times w\times s}
X∈Rh×w×s上的任意一个点
(
i
,
j
,
k
)
(i,j,k)
(i,j,k),
其中N是点
(
i
,
j
,
k
)
(i,j,k)
(i,j,k)的临近区域（相当于加了位置编码）。
交叉注意力机制有两个输入X和C，其中C用来计算N，其他都相同。我们可以把两者简单加起来作为解码器：
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
这里是Ruby新手。完成一些练习后碰壁了。练习:计算一系列成绩的字母等级创建一个方法get_grade来接受测试分数数组。数组中的每个分数应介于0和100之间，其中100是最大分数。计算平均分并将字母等级作为字符串返回，即“A”、“B”、“C”、“D”、“E”或“F”。我一直返回错误:avg.rb:1:syntaxerror,unexpectedtLBRACK,expecting')'defget_grade([100,90,80])^avg.rb:1:syntaxerror,unexpected')',expecting$end这是我目前所拥有的。我想坚持使用下面的方法或.join，
在应用开发中，有时候我们需要获取系统的设备信息，用于数据上报和行为分析。那在鸿蒙系统中，我们应该怎么去获取设备的系统信息呢，比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况，一种是设备信息的获取，一种是系统信息的获取。1.1、获取设备信息获取设备信息，鸿蒙的SDK包为我们提供了DeviceInfo类，通过该类的一些静态方法，可以获取设备信息，DeviceInfo类的包路径为：ohos.system.DeviceInfo.具体的方法如下：ModifierandTypeMethodDescriptionstatic StringgetAbiList()Obt
目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》，侵权删。前言最近需要学习放大电路和滤波电路，但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放，所以也是相当从零开始学习了。滤波电路科普主要分类滤波器：主要是从不同频率的成分中提取出特定频率的信号。有源滤波器：由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波，最普通易于采用的无源滤波器结构是将电感与电容串联，可对主要次谐波（3、5、7）构成低阻抗旁路。无源滤波器：无源滤波器，又称
最近在学习CAN，记录一下，也供大家参考交流。推荐几个我觉得很好的CAN学习，本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门，真的通透；秀！靠这篇我竟然2天理解了CAN协议！实战STM32F4CAN！原文链接：https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解（小白教程）原文链接：https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总
深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal
作为新的阿里云用户，您可以50免费试用多种优惠，价值高达1,700美元（或8,500美元）。这将让您了解和体验阿里云平台上提供的一系列产品和服务。如果您以个人身份注册免费试用，您将获得价值1,700美元的优惠。但是，如果您是注册公司，您可以选择企业免费试用，提交基本信息通过企业实名注册验证，即可开始价值$8,500的免费试用！本教程介绍了如何设置您的帐户并使用您的免费试用版。关于免费试用在我们开始此试用之前，您还必须遵守以下条款和条件才能访问您的免费试用：只有在一年内创建的账户才有资格获得阿里云免费试用。通过此免费试用优惠，用户可以免费试用免费试用活动页面上列出的每种产品一次。如果您有多个帐
基础版云数据库RDS的产品系列包括基础版、高可用版、集群版、三节点企业版，本文介绍基础版实例的相关信息。RDS基础版实例也称为单机版实例，只有单个数据库节点，计算与存储分离，性价比超高。说明RDS基础版实例只有一个数据库节点，没有备节点作为热备份，因此当该节点意外宕机或者执行重启实例、变更配置、版本升级等任务时，会出现较长时间的不可用。如果业务对数据库的可用性要求较高，不建议使用基础版实例，可选择其他系列（如高可用版），部分基础版实例也支持升级为高可用版。基础版与高可用版的对比拓扑图如下所示。优势 性能由于不提供备节点，主节点不会因为实时的数据库复制而产生额外的性能开销，因此基础版的性能相对于
我完全不是程序员，正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3，但我想知道我是否应该升级到Ruby1.9，因为我真的没有任何升级的“遗留”成本。缺点是什么？我是否会遇到与普通gem的兼容性问题，或者甚至其他我不太了解甚至无法预料的问题？ 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem，请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问，您可以在以下位置查看:http://www.railsplugins.or
如何学习ruby的正则表达式？(对于假人) 最佳答案 http://www.rubular.com/在Ruby中使用正则表达式时是一个很棒的工具，因为它可以立即将结果可视化。 关于ruby-我如何学习ruby的正则表达式？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/1881231/