草庐IT

go - 无法让 golang 和包 bigquery 工作以加载到大查询

coder 2024-07-07 原文

我想弄清楚如何让一个简单的 bq load 命令与 https://godoc.org/cloud.google.com/go/bigquery#Table.LoaderFrom 一起工作

手动运行它看起来像这样:

bq load --source_format=AVRO --ignore_unknown_values --replace=true mydataset.mytable gs://mybucket/table/*

在我的 golang 中使用 exec.Command() 成功运行它看起来像这样:

exec.Command("bq", "load", "--source_format=AVRO", "--ignore_unknown_values",
             "--replace=true", "mydataset.mytable",
             "gs://mybucket/table/*")

但是，当我试图让加载和 job.wait 成功运行时，我无法让这个程序在没有段错误的情况下运行它似乎在程序的 job.wait 行出现了分段冲突

package main

import (
    "context"
        "log"
        "cloud.google.com/go/bigquery"
)

func main(){
    ctx := context.Background()
    client, err := bigquery.NewClient(ctx, "my-project-id")
    if err != nil {
        // TODO: Handle error.
    }
    gcsRef := bigquery.NewGCSReference("gs://mybucket/table/*")
    gcsRef.SourceFormat = "AVRO"
    gcsRef.IgnoreUnknownValues = true
    // TODO: set other options on the GCSReference.
    ds := client.Dataset("mydataset")
    loader := ds.Table("mytable").LoaderFrom(gcsRef)
    // TODO: set other options on the Loader.
    job, err := loader.Run(ctx)
    if err != nil {
        // TODO: Handle error.
    }
    status, err := job.Wait(ctx) //seg faults right here
    if err != nil {
        // TODO: Handle error.
    }
    if status.Err() != nil {
        // TODO: Handle error.
    }
}

最佳答案

panic 可能来自对作业变量的 nil 指针引用。

我建议包括一个log.Fatal(err)

在你所有的 err!= nil block 中。

这将帮助您更清楚地了解工作分配不正确的原因。

当你在 go log 中写一个像这样的脚本时。Fatal 是退出程序并准确打印问题所在的好方法。

在 go 中，你总是试图将错误冒泡到堆栈中，以确定代码是否应该继续执行，是否可以恢复，或者如果它只是一个致命的事情，你应该结束程序。

有关日志包结帐的更多信息，请点击此处:https://golang.org/pkg/log/

如果您刚刚开始学习，请访问这里的一些很棒的资源，它们可以帮助您了解如何设计不同类型的程序。

https://github.com/dashpradeep99/https-github.com-miguellgt-books/tree/master/go

最好的，

克里斯托弗

关于go - 无法让 golang 和包 bigquery 工作以加载到大查询，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53012253/

bigquerygolang34httpssectiongogoogle-bigquerygcloud

有关go - 无法让 golang 和包 bigquery 工作以加载到大查询的更多相关文章

  1. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  2. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  3. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表，并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码)，并打印以下消息。鉴于该程序非常简单，我已经没有什么想法了-有什么建议吗？/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  4. ruby-on-rails - 无法使用 Rails 3.2 创建插件？ - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject)，但我没有脚本/生成，只有脚本/rails，当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗？没有这个命令可以创建插件吗？PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布，插件生成器已经被移除。查看变更日志here.现在

  5. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  6. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  7. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  8. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  9. ruby-on-rails - rspec should have_select ('cars' , :options => ['volvo' , 'saab' ] 不工作 - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion在首页我有:汽车:VolvoSaabMercedesAudistatic_pages_spec.rb中的测试代码:it"shouldhavetherightselect"dovisithome_pathit{shouldhave_select('cars',:options=>['volvo','saab','mercedes','audi'])}end响应是rspec./spec/request

  10. ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2

    在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo

随机推荐