仅20行代码，实现文件自动化上传至sftp

Candy.W 2023-03-28 原文

1. 背景

最近接到一个产品需求是给指定的 sftp 服务器的指定目录定时推送文件数据。

因为项目组已有现成的组件可以轻松实现 sftp 服务器文件的快速上传，本来是一件很容易的事情，但是问题出现在这个指定的 sftp 服务器所指定的密码带有系统关键字和一些特殊字符，导致现在的组件在解析过程中会失败。

因此重新开发了下面的这套脚本来满足这个特殊的需求。

2. 代码实现

Python代码

#test_upload.py
import os, sys
import yaml
from optparse import OptionParser
import paramiko
import traceback


opt_parser = OptionParser()
opt_parser.add_option('--node', action='store', type='string', dest='node', help='sftp config')
opt_parser.add_option('--local_file', action='store', type='string', dest='local_file',  help='file to be transferred')


def load_config_from_param_conf(key):
    """
    :param key: 指定业务所使用的sftp服务的名称，例如sftp.yaml文件中的key: test_file_upload
    :return: 从指定路径拿到yaml文件并读取指定key，返回例如sftp.yaml文件中key为test_file_upload下的配置选项值
    包含: host,port,user,password,destination
    """
    config_file = f'{os.environ["TASK_MAIN"]}/test_conf/sftp.yaml' #获取指定路径下的yaml文件
    with open(config_file, 'r') as r: #打开yaml文件内容
        config = yaml.load(r) #转换yaml数据为字典
    return config['sftp']['upload'][key]


def upload(sftp_conf, local_file_path):
    """
    :param sftp_conf: 获取指定sftp_conf=test_file_upload下返回的字典值，这里的参数sftp_conf与load_config_from_param_conf函数里的参数值一致
    :param local_file_path: 指定本地要上传到sftp服务器的文件的绝对路径
    :return:
    """
    sf = paramiko.Transport((sftp_conf['host'], sftp_conf['port']))
    sf.connect(username=sftp_conf['user'], password=sftp_conf['password'])
    sftp = paramiko.SFTPClient.from_transport(sf)
    to_path = sftp_conf['destination']
    sftp.put(local_file_path, to_path + os.sep + os.path.split(local_file_path)[-1], confirm=False)
    sftp.close()


if __name__ == '__main__':
    option = opt_parser.parse_args(sys.argv[1:])[0]
    sftp_conf = load_config_from_param_conf(option.node)
    try:
        upload(sftp_conf, option.local_file)
    except Exception as e:
        print(traceback.format_exc())
        raise Exception('upload {} file error.'.format(option.local_file))

sftp配置文件代码

#sftp.yaml
sftp:
  upload:
    test_file_upload:
      host: 10.12.34.6
      port: 808
      user: user_test
      password: 8Z.Lx/2@UH
      destination: /data/dump

3. 代码分析

(1). yaml 模块

import yaml

导入 yaml 模块前可以使用以下命令进行模块的安装

python3 -m pip install PyYaml

yaml 模块在这里的作用是读取 sftp 配置文件代码，将指定key: test_file_upload 下的 key:value 的值转换为字典。

例如：load_config_from_param_conf 函数中的返回值就是使用 yaml 读取到 sftp 配置文件代码后，返回 key: test_file_upload 下配置选项值。

格式如下：

{ "host": "10.12.34.6",
  "port": "808",
  "user": "user_test",
  "password": "8Z.Lx/2@UH",
  "destination": "/data/dump"
}

最后将返回值传给 upload 函数作为参数。

(2). OptionParser 模块

from optparse import OptionParser

按照 yaml 模块的安装方法，先安装 optparse 模块后，然后在文件中从optparse 中导入 OptionParser 模块

opt_parser = OptionParser()
opt_parser.add_option('--node', action='store', type='string', dest='node', help='sftp config')
opt_parser.add_option('--local_file', action='store', type='string', dest='local_file',  help='file to be uploaded')

在这里我使用了 OptionParser 这个类实例化了一个对象：opt_parser，通过对象来调用 add_option 方法添加了2个参数，分别是：node, local_file

1). 形参：--node，实参：node

所代表的业务含义是：指定要上传的 sftp 的节点，具体参数值对应 sftp配置文件代码中的 test_file_upload

2). 形参：--local_file，实参：local_file

所代表的业务含义是：指定本地需要被上传到 sftp 服务器的具体文件路径

3). 调用命令

python3 test_upload.py --node test_file_upload --local_file 
/home/test/sftp_load/test_001.csv

4). add_option()方法

add_option()参数说明：

action: 存储方式，分别为:store,store_false,store_true
type: 类型
dest: 存储的变量
default: 默认值
help: 帮助信息

参数：action的枚举

store: 参数列表中带有--node, 那么就会将下一个元素即：test_file_upload 作为其 dest 实参 node 的值; 如果没有--node,那么对应的node的值就为 None;
store_true: 参数列表中有--local_file, 那么其 dest 实参 local_file 的值就为 True; 否者就为 default 定义的默认值，这里没有给定 default 的默认值;
store_false: 参数列表中有--local_file, 那么其 dest 实参 local_file 的值就为 False; 否者就为 default 定义的默认值，这里没有给定 default 的默认值;

参数：type

type是指定传入参数的类型，这里的参数类型为 string 类型。

参数：dest

dest是参数传入后由哪个变量来存储的，后面代码对该参数的引用也是使用这里定义的变量名来引用的。

参数：default

default 是与 action 的值结合使用的。

当action=store_true时，default=123时，如果有传入形参--local_file，则实参local_file的值为：True
当action=store_true时，default=123时，如果没有传入形参--local_file，则实参local_file的值为：123
当action=store_false时，default=123时，如果有传入形参--local_file，则实参local_file的值为：False
当action=store_false时，default=123时，如果没有传入形参--local_file，则实参local_file的值为：123

参数：help

help相当于帮助说明文档，用于描述这个参数的含义。

sftp 仅 span background 0px 运维服务器运维 $sftp 服务器参数配置

有关仅20行代码，实现文件自动化上传至sftp的更多相关文章

ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2
我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？最佳答案这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2
很好奇，就使用rubyonrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？最佳答案不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提
ruby - 其他文件中的 Rake 任务 - 2
我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2
我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，
ruby-on-rails - Rails 3 中的多个路由文件 - 2
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？最佳答案在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题
ruby - 将差异补丁应用于字符串/文件 - 2
对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl
ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2
我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚
ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2
如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby
ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2
使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？最佳答案你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta
ruby-on-rails - Rails 源代码 : initialize hash in a weird way? - 2
在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中，它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has