草庐IT

MindSpore尝鲜之爱因斯坦求和

Dechin的博客 2023-03-28 原文

技术背景

在前面的博客中，我们介绍过关于numpy中的张量网络的一些应用，同时利用相关的张量网络操作，我们可以实现一些分子动力学模拟中的约束算法，如LINCS等。在最新的nightly版本的MindSpore中也支持了爱因斯坦求和的算子，这是在张量网络中非常核心的一个操作，本文就简单介绍一下MindSpore中使用爱因斯坦求和的方法。

安装最新版的MindSpore

Einsum是在1.6之后的版本才支持的，MindSpore的Master分支就是官网上面的Nightly版本，我们可以安装这个已经实现了爱因斯坦求和算子的版本。

安装指令如下：

python3 -m pip install mindspore-cuda11-dev -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade

简单示例

我们可以先将张量缩并，理解成是一个普通的矩阵乘积即可，只是相乘的矩阵维度大小略有区别。可以先看一个简单的案例，再解析其中的原理：

Python 3.9.0 (default, Nov 15 2020, 14:28:56) 
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import os
>>> os.environ['GLOG_v'] = '4' # 设定日志等级，防止屏幕上出现大量的MindSpore告警信息
>>> from mindspore import Tensor, ops
>>> a = Tensor([[1.,2.],[3.,4.]])
>>> b = Tensor([1.,1.])
>>> ein_0 = ops.Einsum('ij,j->i') # 对第二个维度进行缩并
>>> print (ein_0((a,b)))
[3. 7.]
>>> ein_1 = ops.Einsum('ij,i->j') # 对第一个维度进行缩并
>>> print (ein_1((a,b)))
[4. 6.]

原理解析

我们日常所见的矩阵，可以采用张量这样的“章鱼图”表示方法来标记，每一个张量都是一个“章鱼”的头，而矩阵的每一个维度代表一条“章鱼腿”，比如一个维度为\((2,2,2)\)的矩阵，就可以用一只“三条腿的章鱼”来表示。而学习张量网络的时候经常可以看到的如下这张图，就分别用于表示一维、二维和三维的矩阵：

这些是张量的基本概念，而如果我们把“章鱼腿”都连接起来，就表示规定了这个张量的运算方向，张量只能跟相互连接的张量进行缩并（矩阵运算）操作。比如上一个章节中的案例，就可以用这样的一个张量图来表示：

可以看到，这两个矩阵运算之后得到的结果，是一个“单腿”的张量，对应于矩阵运算的维度变化就是：\((2,2)\times(2,)->(2,)\)。如果我们把这个运算推广开来，建立一个带有复杂链接信息的张量拓扑图，那么就得到了一个张量网络。在一个大型的张量网络中，我们不仅可以通过高性能的GPU来加速张量缩并的运算，还有路径搜索和图分解等算法可以进一步加速张量网络缩并，得到我们想要的结果。

我们可以再细化的讲解一下上一个章节中的案例，当我们使用ij,j->i这个路径时，得到的结果的第一个元素为\(a[0]\cdot b=3\)，得到的第二个元素为\(a[1]\cdot b=7\)。当我们使用ij,i->j这个路径时，得到的结果的第一个元素为\(a[:,0]\cdot b=4\)，得到的第二个元素为：\(a[:,1]\cdot b=4\)。从这个过程可以发现，对于二维的张量，其实取不同的“腿”，就是取行和取列运算的区别而已。对于更加高维的张量，我们很难用行、列这样的指标来衡量和理解，但是我们还是可以通过python的这种矩阵运算来理解。更多的参考示例，可以阅读MindSpore的官方文档（参考链接2）。

总结概要

张量网络计算，已经在众多的领域中得到了应用，不仅仅是传统的计算化学，当下医药研发领域的分子动力学模拟、计算化学和材料模拟，甚至是未来的量子计算，张量网络技术都在当中发挥重要作用。本文介绍的是MindSpore最新对张量网络计算的支持的第一步：用爱因斯坦求和计算张量网络缩并。

版权声明

本文首发链接为：https://www.cnblogs.com/dechinphy/p/mseinsum.html

作者ID：DechinPhy

更多原著文章请参考：https://www.cnblogs.com/dechinphy/

打赏专用链接：https://www.cnblogs.com/dechinphy/gallery/image/379634.html

腾讯云专栏同步：https://cloud.tencent.com/developer/column/91958

CSDN同步链接：https://blog.csdn.net/baidu_37157624?spm=1008.2028.3001.5343

51CTO同步链接：https://blog.51cto.com/u_15561675

参考链接

  1. https://www.cnblogs.com/dechinphy/p/lincs.html
  2. https://www.mindspore.cn/docs/zh-CN/r1.7/api_python/ops/mindspore.ops.Einsum.html?highlight=einsum#mindspore.ops.Einsum
  3. https://www.cnblogs.com/dechinphy/p/tensor.html
  4. https://www.zhihu.com/question/54786880/answer/147099121
之爱因斯httpscnblogsnoopener人工智能

有关MindSpore尝鲜之爱因斯坦求和的更多相关文章

  1. ruby - 为什么 Ruby 注入(inject)方法不能对没有初始值的字符串长度求和？ - 2

    为什么下面的代码会报错？['hello','stack','overflow'].inject{|memo,s|memo+s.length}TypeError:can'tconvertFixnumintoStringfrom(irb):2:in`+'from(irb):2:in`blockinirb_binding'from(irb):2:in`each'from(irb):2:in`inject'from(irb):2如果传递了初始值，它就可以正常工作:['hello','stack','overflow'].inject(0){|memo,s|memo+s.length}=>18

  2. ruby - 求和 ruby​​ 哈希值 - 2

    我正在尝试从ruby​​散列中求和值，但使用inject或reduce都没有返回正确答案。似乎这些方法正在覆盖存储的当前值而不是对它们求和。我的哈希看起来像这样:@test=[{"total"=>18,"type"=>"buy","date"=>Thu,21Nov2013,"instrument_code"=>"food"},{"total"=>92,"type"=>"buy","date"=>Thu,14Nov2013,"instrument_code"=>"food"},{"total"=>12,"type"=>"buy","date"=>Wed,20Nov2013,"instru

  3. ruby - 在 ruby​​ 中合并或求和 "keys"上的 2 个数组 - 2

    这是数组版本:Sum2hashesattributeswiththesamekey我有2个数组，例如:a=[[1,10],[2,20],[3,30]]b=[[1,50],[3,70]]我怎样才能对第一个值(如果存在)求和得到:c=[[1,60],[2,20],[3,100]] 最佳答案 你可以这样做:(a+b).group_by(&:first).map{|k,v|[k,v.map(&:last).inject(:+)]}首先，您使用+将数组放在一起，因为您不关心a和b，您只关心它们的元素。然后group_by按第一个元素对组合数组

  4. c# - 使用 JSON 请求和 RestSharp 通过 c# 上传文件 - 2

    在设法通过C#将数据加载到我的Rails服务器之后(查看here了解我在说什么)，我现在尝试将一个文件连同其他数据一起上传到同一服务器。在Ruby中，我可以用代码做到这一点:require'HTTMultiParty'classReceiptCreateincludeHTTMultiParty#Logtofile#debug_outputFile.new("httparty1.log","w+")base_uri"localhost:3000"format:jsonheaders"Accept"=>"application/json"definitializeenddefpost(ma

  5. ruby - 在 ruby​​ 中对哈希中的数字求和 - 2

    我有一个这样的哈希。products={199=>['Shoes',59.99],211=>['Shirts',19.99],245=>['Hats',25.99],689=>['Coats',99.99],712=>['Beanies',6.99]}它有一个商品编号=>[product,price]。我想在不使用inject方法的情况下汇总所有价格。谁能帮帮我？ 最佳答案 products.values.map(&:last).reduce(:+)#=>212.95 关于ruby-在r

  6. ruby-on-rails - rails 。对集合的特定属性求和 - 2

    我有一张发票list...@invoices_1_week=Invoice.order("due_dateDESC").where("status!='paid'ANDdue_date>=?ANDdue_date发票模型有一个总属性。我怎样才能得到@invoice_1_week集合中的总和？我知道我可以在这样的View中做到这一点......但我想知道是否有更多的Railsy方法来做到这一点。 最佳答案 这是一种Rails方法，使用ActiveRecord的sum方法:@invoices_1_week.sum("total")Her

  7. ruby-on-rails - 对数组进行分组并求和 - 2

    我有以下设置。Invoicehas_manyJobshas_manyTasksbelongs_touser我想获取所有User的Invoice有任务并汇总他们的数量classInvoice这是我得到的@invoice=Invoice.find(params[:id])jobs=@invoice.jobs.joins(:tasks).select('tasks.user_id,(sum(tasks.quantity)*jobs.price)astotal').group('tasks.user_id,jobs.id').order('tasks.user_id')我明白了，这很接近我想要

  8. ruby - 在 Ruby 中对哈希数组的值求和 - 2

    我在想出添加哈希数组的优雅方法时遇到了麻烦[{:a=>1,:b=>2,:c=>3},{:a=>1,:b=>2,:c=>3},{:a=>1,:b=>2,:c=>3}]应该返回[{:a=>3,:b=>6,:c=>9}]我知道它可能会涉及映射/归约，但我想不出正确的语法，ruby-docdotorg与我的版本不匹配也无济于事我使用的是1.8.7 最佳答案 array.inject{|x,y|x.merge(y){|_,a,b|a+b}}(在Ruby1.8.7上验证) 关于ruby-在Ruby中

  9. ruby-on-rails - 如何对嵌套集合的所有属性求和？ - 2

    鉴于我将User.attachments和Attachment.visits作为具有数字计数的整数。如何轻松统计该用户所有图片的所有访问量？ 最佳答案 使用ActiveRecord::Base#sum:user.attachments.sum(:visits)这应该生成一个高效的SQL查询，如下所示:SELECTSUM(attachments.visits)FROMattachmentsWHEREattachments.user_id=ID 关于ruby-on-rails-如何对嵌套集合

  10. ruby-on-rails - Rails ActiveRecord 在一次查询中执行分组、求和和计数 - 2

    我有两个表，Order(ID,Value)和OrderType(ID,Name[Quote,Sale,Purchase,etc])我想获得每种类型的订单总数(count)和每种类型的订单总值(value)(sum)我可以单独使用Order.group(:order_type).count(:id)和Order.group(:order_type).sum(:value)我想在一个查询中执行这些，相当于下面的SQLSELECTorder_types.id,Count(*)astotal_count,Sum(orders.value)Astotal_valueFROMorderJOINor

随机推荐