草庐IT

go - 在 Go 中作为客户端从服务器获取 EOF

coder 2024-07-08 原文

我有一些用于自定义协议(protocol)的 Go 客户端。该协议(protocol)是 lz4 压缩的 JSON-RPC,带有给出压缩 JSON 长度的四字节 header 。

func ReceiveMessage(conn net.Conn) ([]byte, error) {
    start := time.Now()
    bodyLen := 0
    body := make([]byte, 0, 4096)
    buf := make([]byte, 0, 256)

    for bodyLen == 0 || len(body) < bodyLen {
        if len(body) > 4 {
            header := body[:4]
            body = body[:4]
            bodyLen = int(unpack(header))
        }

        n, err := conn.Read(buf[:])
        if err != nil {
            if err != io.EOF {
                return body, err
            }
        }
        body = append(body, buf[0:n]...)

        now := time.Now()
        if now.Sub(start) > time.Duration(readTimeout) * time.Millisecond     {
            return body, fmt.Errorf("Timed-out while reading from socket.")
        }
        time.Sleep(time.Duration(1) * time.Millisecond)
    }

    return lz4.Decode(nil, body)
}

客户端:

func main() {
    address := os.Args[1]
    msg := []byte(os.Args[2])

    fmt.Printf("Sending %s to %s\n", msg, address)

    conn, err := net.Dial(address)
    if err != nil {
        fmt.Printf("%v\n", err)
        return
    }

    // Another library call
    _, err = SendMessage(conn, []byte(msg))
    if err != nil {
        fmt.Printf("%v\n", err)
        return
    }

    response, err := ReceiveMessage(conn)
    conn.Close()

    if err != nil {
        fmt.Printf("%v\n", err)
        return
    }

    fmt.Printf("Response: %s\n", response)
}

当我调用它时,我没有得到任何响应,它只是超时了。 (如果我没有明确忽略 EOF,它会返回 io.EOF 错误。)我有另一个用 Python 编写的库,它也适用于具有相同负载的相同端点。你立即看到什么了吗?

最佳答案

[JimB 抢在我之前给出了答案,但不管怎样,还是来了。]

根本问题是你做了 body = body[:4] 当你想要 body = body[4:] 时。 前者只保留头四个字节 而后者抛 刚刚解码的四个 header 字节。

这是一个带有一些调试日志的自包含版本 这样可行。 它具有我提到的其他一些变化。 (我猜了各种你没有包括的东西,比如使用的 lz4 包,超时,unpack 等等)

package main

import (
        "encoding/binary"
        "errors"
        "fmt"
        "io"
        "log"
        "net"
        "time"

        "github.com/bkaradzic/go-lz4"
)

const readTimeout = 30 * time.Second // XXX guess

func ReceiveMessage(conn net.Conn) ([]byte, error) {
        bodyLen := 0
        body := make([]byte, 0, 4096)
        var buf [256]byte

        conn.SetDeadline(time.Now().Add(readTimeout))
        defer conn.SetDeadline(time.Time{}) // disable deadline
        for bodyLen == 0 || len(body) < bodyLen {
                if bodyLen == 0 && len(body) >= 4 {
                        bodyLen = int(unpack(body[:4]))
                        body = body[4:]
                        if bodyLen <= 0 {
                                return nil, errors.New("invalid body length")
                        }
                        log.Println("read bodyLen:", bodyLen)
                        continue
                }

                n, err := conn.Read(buf[:])
                body = append(body, buf[:n]...)
                log.Printf("appended %d bytes, len(body) now %d", n, len(body))
                // Note, this is checked *after* handing any n bytes.
                // An io.Reader is allowed to return data with an error.
                if err != nil {
                        if err != io.EOF {
                                return nil, err
                        }
                        break
                }
        }
        if len(body) != bodyLen {
                return nil, fmt.Errorf("got %d bytes, expected %d",
                        len(body), bodyLen)
        }

        return lz4.Decode(nil, body)
}

const address = ":5678"

var msg = []byte(`{"foo":"bar"}`)

func main() {
        //address := os.Args[1]
        //msg := []byte(os.Args[2])

        fmt.Printf("Sending %s to %s\n", msg, address)

        conn, err := net.Dial("tcp", address)
        if err != nil {
                fmt.Printf("%v\n", err)
                return
        }

        // Another library call
        _, err = SendMessage(conn, msg)
        if err != nil {
                fmt.Printf("%v\n", err)
                return
        }

        response, err := ReceiveMessage(conn)
        conn.Close()

        if err != nil {
                fmt.Printf("%v\n", err)
                return
        }

        fmt.Printf("Response: %s\n", response)
}

// a guess at what your `unpack` does
func unpack(b []byte) uint32 {
        return binary.LittleEndian.Uint32(b)
}

func SendMessage(net.Conn, []byte) (int, error) {
        // stub
        return 0, nil
}

func init() {
        // start a simple test server in the same process as a go-routine.
        ln, err := net.Listen("tcp", address)
        if err != nil {
                log.Fatal(err)
        }
        go func() {
                defer ln.Close()
                for {
                        conn, err := ln.Accept()
                        if err != nil {
                                log.Fatalln("accept:", err)
                        }
                        go Serve(conn)
                }
        }()
}

func Serve(c net.Conn) {
        defer c.Close()
        // skip readding the initial request/message and just respond
        const response = `{"somefield": "someval"}`
        // normally (de)compression in Go is done streaming via
        // an io.Reader or io.Writer but we need the final length.
        data, err := lz4.Encode(nil, []byte(response))
        if err != nil {
                log.Println("lz4 encode:", err)
                return
        }
        log.Println("sending len:", len(data))
        if err = binary.Write(c, binary.LittleEndian, uint32(len(data))); err != nil {
                log.Println("writing len:", err)
                return
        }
        log.Println("sending data")
        if _, err = c.Write(data); err != nil {
                log.Println("writing compressed response:", err)
                return
        }
        log.Println("Serve done, closing connection")
}

Playground (但不能在那里运行)。

关于go - 在 Go 中作为客户端从服务器获取 EOF,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29928033/

有关go - 在 Go 中作为客户端从服务器获取 EOF的更多相关文章

  1. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

  2. ruby - 具有身份验证的私有(private) Ruby Gem 服务器 - 2

    我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时,它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器?这是不可能的吗?谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..

  3. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码,如下所示:Something.createdo|x|x.foo=barend我想编写一个测试,它使用double代替block参数x,这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗? 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  4. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近,当我启动我的Rails服务器时,我收到了一长串警告。虽然它不影响我的应用程序,但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次?当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗?/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

  5. ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2

    在Rails4.0.2中,我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常,但在生产环境中它会抛出如下错误,ActionView::Template::Error(noimplicitconversionofnilintoString)在View中,create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo

  6. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

  7. ruby-on-rails - 在 Rails 中调试生产服务器 - 2

    您如何在Rails中的实时服务器上进行有效调试,无论是在测试版/生产服务器上?我试过直接在服务器上修改文件,然后重启应用,但是修改好像没有生效,或者需要很长时间(缓存?)我也试过在本地做“脚本/服务器生产”,但是那很慢另一种选择是编码和部署,但效率很低。有人对他们如何有效地做到这一点有任何见解吗? 最佳答案 我会回答你的问题,即使我不同意这种热修补服务器代码的方式:)首先,你真的确定你已经重启了服务器吗?您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除

  8. ruby - 字符串文字中的转义状态作为 `String#tr` 的参数 - 2

    对于作为String#tr参数的单引号字符串文字中反斜杠的转义状态,我觉得有些神秘。你能解释一下下面三个例子之间的对比吗?我特别不明白第二个。为了避免复杂化,我在这里使用了'd',在双引号中转义时不会改变含义("\d"="d")。'\\'.tr('\\','x')#=>"x"'\\'.tr('\\d','x')#=>"\\"'\\'.tr('\\\d','x')#=>"x" 最佳答案 在tr中转义tr的第一个参数非常类似于正则表达式中的括号字符分组。您可以在表达式的开头使用^来否定匹配(替换任何不匹配的内容)并使用例如a-f来匹配一

  9. ruby-on-rails - 应用程序的名称是否可以作为变量使用? - 2

    当我创建一个Rails应用程序时,控制台:railsnewfoo我的代码可以使用字符串“foo”吗?puts"Yourapp'snameis"+app_name_bar 最佳答案 Rails.application.class将为您提供应用程序的全名(例如YourAppName::Application)。从那里您可以使用Rails.application.class.parent获取模块名称。 关于ruby-on-rails-应用程序的名称是否可以作为变量使用?,我们在StackOve

  10. ruby-on-rails - 使用作为方法的值在 ruby​​ 中搜索哈希 - 2

    我在搜索我的值是方法的散列时遇到问题。我只是不想运行plan_type与键匹配的方法。defmethod(plan_type,plan,user){foo:plan_is_foo(plan,user),bar:plan_is_bar(plan,user),waa:plan_is_waa(plan,user),har:plan_is_har(user)}[plan_type]end目前如果我传入“bar”作为plan_type,所有方法都会运行,我怎么能只运行plan_is_bar方法呢? 最佳答案 这个变体怎么样?defmethod

随机推荐