草庐IT

go - 新手 : Properly sizing a []byte size in GO (Chunking)

coder 2024-07-08 原文

新手警报!

不太确定该怎么做 - 我想做一个“文件分块器”，我从二进制文件中抓取固定的 slice ，以便以后作为学习项目上传。

我目前有这个:

    type (
       fileChunk  []byte
       fileChunks []fileChunk
    )


    func NumChunks(fi os.FileInfo, chunkSize int) int {
      chunks :=  fi.Size() / int64(chunkSize)
      if rem := fi.Size() % int64(chunkSize) != 0; rem {
        chunks++
      }
      return int(chunks)
    }

    // left out err checks for brevity
    func chunker(filePtr *string) fileChunks {
      f, err := os.Open(*filePtr)
      defer f.Close()

      // create the initial container to hold the slices
      file_chunks := make(fileChunks, 0)


      fi, err := f.Stat()  
      // show me how big the original file is   
      fmt.Printf("File Name: %s,  Size: %d\n", fi.Name(), fi.Size())

      // let's partition it into 10000 byte pieces
      chunkSize := 10000
      chunks :=  NumChunks(fi, chunkSize)

      fmt.Printf("Need %d chunks for this file", chunks)

      for i := 0; i < chunks; i++ {
        b := make(fileChunk, chunkSize) // allocate a chunk, 10000 bytes

        n1, err := f.Read(b)
        fmt.Printf("Chunk: %d, %d bytes read\n", i, n1)

            // add chunk to "container"
        file_chunks = append(file_chunks, b)
      }

      fmt.Println(len(file_chunks))

      return  file_chunks
    }

这一切基本上都很好，但是如果我的 fize 大小是 31234 字节会发生什么，那么我最终会得到三个充满文件前 30000 字节的 slice ，最后的“ block ”将包含 1234“file bytes”，然后“填充”到 10000 字节的 block 大小——我希望将“剩余”filechunk ([]byte) 的大小调整为 1234，而不是全部容量——正确的方法是什么？在接收方，我会将所有片段“拼接”在一起以重新创建原始文件。

最佳答案

您需要将剩余 block 重新 slice 为最后读取的 block 的长度:

n1, err := f.Read(b)
fmt.Printf("Chunk: %d, %d bytes read\n", i, n1)
b = b[:n1]

这会对所有 block 进行重新 slice 。通常，对于所有非剩余 block ，n1 将为 10000，但不能保证。文档说“读取从文件中读取最多 len(b) 个字节。”所以一直关注n1是好的。

关于go - 新手 : Properly sizing a []byte size in GO (Chunking)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/20004134/

ProperlyChunkingchunkssectionchunkSizego

有关go - 新手 : Properly sizing a []byte size in GO (Chunking)的更多相关文章

  1. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗？ - 2

    刚入门rails，开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗？有哪些用例。您如何为Rails应用程序使用应用程序Controller？我不想在那里放太多代码，因为据我了解，每个请求都会调用此Controller。这是真的？ 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度，尽管在某些情况下ApplicationContr

  2. ruby-on-rails - ruby 新手，有人可以帮我从控制台破译这个错误吗？ - 2

    我真的只是不确定这意味着什么或我应该做什么才能让网页在我的本地主机上运行。现在它只是显示一个错误，上面写着“我们很抱歉，但出了点问题。”当我运行railsserver并在chrome中打开localhost:3000时。这是控制台输出:StartedGET"/users/sign_in"for127.0.0.1at2013-07-0512:07:07-0400ProcessingbyDevise::SessionsController#newasHTMLCompleted500InternalServerErrorin55msNoMethodError(undefinedmethod`

  3. ruby-on-rails - Textmate 'Go to symbol' 相当于 Vim - 2

    在Railcasts上，我注意到一个非常有趣的功能“转到符号”窗口。它像Command-T一样工作，但显示当前文件中可用的类和方法。如何在vim中获取它？ 最佳答案 尝试:helptags有各种程序和脚本可以生成标记文件。此外，标记文件格式非常简单，因此很容易将sed(1)或类似的脚本组合在一起，无论您使用何种语言，它们都可以生成标记文件。轻松获取标记文件(除了下载生成器之外)的关键在于格式化样式而不是实际解析语法。 关于ruby-on-rails-Textmate'Gotosymbol

  4. ruby-on-rails - Rails 新手 : Recommendations for error handling in controller - 2

    抱歉，如果问题很明显，我才刚刚开始使用Rails。我现在在几个Controller方法中有以下代码:respond_todo|format|if@project.saveformat.html{redirect_to(edit_project_url(@project),:notice=>'#{user.name}addedto#{role}.')}format.jselseformat.html{render:action=>"edit"}format.js#...endend那么问题来了，对于所有方法中的错误，最好的方法是什么？是否建议我使用save!并在rescue_action

  5. ruby-on-rails - (Rails 新手)rails 服务器错误 : cannot load such file -- bootsnap/setup (LoadError) - 2

    我已经将我的JS运行时安装为Node，并且我已经更新了bundle并安装了bundle，但我仍然收到此错误:/Users/macbook/Documents/Studies/Coding/the_back_end/the_odin_project/odin_on_rails/hello_app/config/boot.rb:4:in`require':cannotloadsuchfile--bootsnap/setup(LoadError)from/Users/macbook/Documents/Studies/Coding/the_back_end/the_odin_project/

  6. ruby-on-rails - 用于 Ruby 的 vim 中的全局 "Go to definition"？ - 2

    自97年以来我一直在使用vi/vim进行各种快速编辑和管理任务，但最近才考虑使用它来替换Netbeans作为我选择的ruby​​编辑器。我发现一件事在Netbeans和Eclipse中非常有用的是Ctrl+Click“转到定义”功能，您可以在其中按住Ctrl键并单击一个类或方法，然后它将带您了解定义。现在，我玩过丰富的ctags和rails.vim，而且很接近，但没有雪茄。这就是我想要的:默认情况下在Netbeans和Eclipse中，您可以在本地rails中按住ctrl并单击本地方法或类项目，但你也可以ctrl+click定义在gems或用Ruby编写的系统库。以Netbeans为例

  7. ruby - 在 ruby​​ 中如何使用类级局部变量？ ( ruby 新手的问题) - 2

    所以假设我有这个(不工作):classUserdescription="IamUserclassvariable"defprintputsdescriptionendend那么，我应该如何使用var描述，如何将它作为默认参数传递到方法中，或者直接在方法中使用？谢谢.. 最佳答案 在您的情况下，description只是局部变量。您可以使用特殊字符@、@@、$更改此范围:a=5defined?a=>"local-variable"@a=5defined?@a=>"instance-variable"@@a=5defined?@@a=>

  8. ruby 新手 : undefined method `with_indifferent_access' - 2

    我是一名新的Ruby程序员，我的一位同事帮助我开始编写了以下代码，该代码在他的环境中运行良好。但是，当我尝试在自己的环境中运行它时，出现以下错误:undefinedmethod'with_indifferent_access'for#(没有方法错误)有问题的方法在代码中出现了两次:require'rubygems'gem'activerecord'gem'activesupport'gem'sailthru-client'require'active_support'require'active_record'require'sailthru'#SetupourSailthruobje

  9. ruby-on-rails - 在 Rails 中为新手创建登录的最佳方式是什么？ - 2

    我看到有几个关于它的引擎和教程，但我想不出哪一个可以在短期内帮助我。我刚刚开始学习Rails和Ruby，我的目标是了解它们的工作原理，同时在现实生活中发挥作用。任何关于此的链接或解释将不胜感激! 最佳答案 其他答案推荐Devise.Devise自己的文档说:IfyouarebuildingyourfirstRailsapplication,werecommendyoutonotuseDevise.DeviserequiresagoodunderstandingoftheRailsFramework.Insuchcases,weadv

  10. ruby-on-rails - Rails 上的 ruby : How to have multiple submit buttons going to different methods (maybe with with_action? ) - 2

    这个问题在这里已经有了答案:HowdoIcreatemultiplesubmitbuttonsforthesameforminRails?(7个答案)关闭9年前。所以..'save'%>'library'%>然后在我的Controller中:with_actiondo|a|a.savedoenda.librarydoendend问题是只有一个操作被调用...两个submit_tags调用相同的操作...知道为什么吗？或者我如何获得两个按钮以将表单提交给两种不同的方法？

随机推荐