草庐IT

20210602 TensorFlow 实现多点线性回归问题

ATaburiss 2023-03-28 原文
0 导包

import warnings warnings.filterwarnings("ignore") import numpy as np      # numpy 支持矩阵计算  import tensorflow as tf import matplotlib.pyplot as plt     # matplotlib 是 Python 的画图工具1-1 构造数据

np.random.seed(999)     # 设定随机种子，用于控制随机过程 def pre(x):     return 2 * x  + 3   # 这里 w 是 2， b 是 3 # 多点的线性回归，随机产生500个 0-5 的数据 x =5*np.random.random(500)  y  = [pre(i) for i in x]1-1-2 画图

plt.plot(x, y,'salmon')     # plt.plot 画折线图；salmon 指定颜色 plt.scatter(x, y)           # scatter 画点 plt.grid() plt.show() # 线性回归的当前任务是，只给出点，让网络自动 将 w 和 b 的值求出来
1-2-1 # 现在对 数据点 添加噪声；产生-0.5到0.5之间的随机数

-0.5 + np.random.random(1) x = [i-0.5 + np.random.random(1)[0] for i in x] y = [i-0.5 + np.random.random(1)[0] for i in y] plt.scatter(x, y) plt.grid() plt.show()
1-3 数据处理
1、x,y值放在一起
2、数据集分为训练集和测试集
# x:[x1,x2,x3,x4,x5......] y:[y1,y2,y3,y4,y5......]
# [[x1,y1],[x2,y2],[x3,y3],[x4,y4].....]

x = np.array(x) y = np.array(y) print(x[:10]) print(y[:10]) print(x.shape)# --> (500,)
# 将 x 值和 y 值对应一起，有 2 种 做法
1-3-1  # 做法1  升维操作

x = x.reshape(-1,1) y = y.reshape(-1,1) all_data = np.concatenate([x,y],axis=1)      # 拼接操作，将对应的 x 和 y 拼接一起 print(all_data[:10])1-3-2 # 做法2

x = x.reshape(-1,) y = y.reshape(-1,) all_data = np.array([x,y]) all_data = all_data.T   # 转至操作 print(all_data[:10]) train_data = all_data[:-64] test_data = all_data[-64:]# 将数据 分为 训练数据和测试数据；一般进行网络训练有三个数据集
# 训练集，验证集和测试集，一般验证集可能是从训练集中分出来的
# 训练完成后，使用测试集的数据验证查看 loss
1-4 数据分块
# 如果将数据一次性全部放到网络中，参数较多，运行速度较慢，或者内存直接溢出
# 所以训练时，将数据切成一块块的，放入网络进行训练
# 如何将数据分块呢？通过生成器实现
# 生成器

def gen_batch(data):     for i in range(len(data) // 64):         cursor = 64 * i         batch_data = data[cursor : cursor + 64]         x = batch_data[:, 0]    # 取第一维度全要，第二维度中取第一个元素         y = batch_data[:, 1]    # 取第一维度全要，第二维度中取第二个元素         yield x,y # 这里的 生成器 将 data 按大小分块，这里没有要余数 g_batch = gen_batch(train_data) print(g_batch)-->

for x_,y_ in gen_batch(train_data):     print(x_.shape)     print(y_.shape)     print('-------')# 一次完整的for循环可以将测试数据跑一遍，
# 假设我们想论循100次我们的训练数据集，那应该是

import tensorflow as tf for i in range(100):     for x_,y_ in gen_batch(train_data):         sess = tf.Session()         sess.run()# 实际上，在TensorFlow中，也内置了一些生成器，可以直接调用参数实现
# 不过，很多时候是自己写生成器，因为这样便于控制自己的业务数据

2 线性回归
2-1 超参数

learing_rate = 0.01         # 学习率 num_train_epochs = 100      # 循环训练数据的次数 display_per_step = 50       # 每隔 50 次，查看训练情况# 超参数就是训练时需要用到的参数，把它们提取出来，易于修改
2-2 计算图

graph = tf.Graph() with graph.as_default():     # x 和 y 是真实值，是需要传入到网络里的     # 所以需要定义 2 个 placeholder，用这 2 个 placeholder 接收真实值     x = tf.placeholder(shape=[None,], dtype=tf.float32, name='x')     y = tf.placeholder(shape=[None,], dtype=tf.float32, name='y')     # w 和 b 的初始值为 0.5 和 0.2     w =  tf.Variable(0.5, dtype=tf.float32)     b =  tf.Variable(0.2, dtype=tf.float32)     # 计算y_pred     y_pred = w*x+b    # 正向过程，查看y预测值     # 定义loss     loss = tf.reduce_mean(tf.square(y_pred - y))     # 定义优化器     optimizer = tf.train.GradientDescentOptimizer(learing_rate)     train_step = optimizer.minimize(loss)2-3 运行计算图

with tf.Session(graph=graph) as sess:     init = tf.global_variables_initializer()     sess.run(init)     step= 0     for epoch in range(num_train_epochs):         # 注意x,y不要重名         for x_,y_ in gen_batch(train_data):              # x_ y_ 代表从生成器中抓取出来的数据             step += 1             _,l = sess.run([train_step,loss],{x:x_,y:y_})             if step%display_per_step == 0:                 w_value,b_value = sess.run([w,b])                 print("w_value is {:.4}, b_value is {:.4}, loss is {:.4}".format(w_value,b_value,l))     print('training over')     x_test,y_test = next(gen_batch(test_data))       # 查看测试数据，用生成器的next方法查看      loss_test = sess.run(loss,{x:x_test,y:y_test})     print('test loss is {:.4}'.format(loss_test))     w_value,b_value = sess.run([w,b])     print(w_value,b_value)
部分代码解释：
1. numpy中random；array；shape的使用
    https://blog.51cto.com/u_15149862/2841003
2. numpy中reshape的使用；数组的拼接操作
    https://blog.51cto.com/u_15149862/2841083
3. 1-4 中的生成器
    https://blog.51cto.com/u_15149862/2844458
4. 2-2 中的 format 用法
    https://blog.51cto.com/u_15149862/2847102
    https://blog.51cto.com/u_15149862/2760852

部分理论说明：
1. 关于验证集的一点介绍

TensorFlow20210602strongcodedataPython线性回归深度学习人工智能

有关20210602 TensorFlow 实现多点线性回归问题的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  3. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  4. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  5. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征，我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现，但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  6. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  7. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  8. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  9. 【高数】用拉格朗日中值定理解决极限问题 - 2

    首先回顾一下拉格朗日定理的内容：函数f(x)是在闭区间[a,b]上连续、开区间(a,b)上可导的函数，那么至少存在一个，使得:通过这个表达式我们可以知道，f(x)是函数的主体，a和b可以看作是主体函数f(x)中所取的两个值。那么可以有，  也就意味着我们可以用来替换 这种替换可以用在求某些多项式差的极限中。方法： 外层函数f(x)是一致的，并且h(x)和g(x)是等价无穷小。此时，利用拉格朗日定理，将原式替换为 ，再进行求解，往往会省去复合函数求极限的很多麻烦。使用要注意：1.要先找到主体函数f(x)，即外层函数必须相同。2.f(x)找到后，复合部分是等价无穷小。3.要满足作差的形式。如果是加

  10. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

随机推荐