我有一个应用程序使用 TCPClient 及其底层 NetworkStream 通过 TCP 套接字发送以换行符终止的消息。

数据从实时数据流以每 100 毫秒大约 28k 的速度流入以进行监控。

我已经删除了不相关的代码，这基本上就是我们读取数据的方式:

TcpClient socket; // initialized elsewhere
byte[] bigbuffer = new byte[0x1000000];
socket.ReceiveBufferSize = 0x1000000;
NetworkStream ns = socket.GetStream();
int end = 0;
int sizeToRead = 0x1000000;
while (true)
{
  bytesRead = ns.Read(bigbuffer, end, sizeToRead);
  sizeToRead -= bytesRead;
  end += bytesRead;

  // check for newline in read buffer, and if found, slice it up, and return
  // data for deserialization in another thread

  // circular buffer
  if (sizeToRead == 0)
  {
    sizeToRead = 0x1000000;
    end = 0;
  }
}

我们看到的症状是，根据我们发回的数据量，有些间歇性地出现了记录“滞后”，我们从流中读取的数据变得越来越旧我们正在交付的内容(经过几分钟的流式传输后，延迟大约为 10 秒)，直到最终全部 catch 一个大镜头，然后循环重复。

我们通过最大化 sizeToRead 来修复它，并且(这是否是必需的，我不确定，但我们还是这样做了)，删除了 TcpClient 上设置的 ReceiveBufferSize 并将其保留为默认值 8192(仅更改 ReceiveBufferSize没有更正它)。

int sizeForThisRead = sizeToRead > 8192 ? 8192 : sizeToRead;
bytesRead = ns.Read(bigBuffer, end, sizeForThisRead);

我认为可能是与 nagle 和延迟 ack 的交互，但 wireshark 显示根据时间戳和查看数据(有时间戳，服务器和客户端时钟在第二)。

我们在 ns.Read 之后输出日志，可以肯定问题出在 Read 调用而不是反序列化代码。

因此，这让我相信，如果您将 TcpClient 的 ReceiveBufferSize 设置得非常大，并且在您对其底层 NetworkStream 的 Read 调用中，将 bytesToRead 传递的字节数比预期到达的字节数多得多，则 Read 会发生超时调用等待那些字节到达，但它仍然没有返回流中的所有内容？此循环中的每个连续调用都会超时，直到 1 兆缓冲区已满，之后当“结束”重置为 0 时，它会吸入流中剩余的所有内容，导致所有内容都 catch - 但它不应该这样做是因为在我看来，逻辑看起来应该在下一次迭代时完全清空流(因为下一个 sizeToRead 仍将 > 数据在缓冲区中可用)。

或者可能是我没有考虑但无法综合的东西 - 但也许这里那些聪明的灵魂可能会想到一些东西。

或者这可能是预期的行为 - 如果是，为什么？

最佳答案

这种行为太有趣了，我只能亲眼看看，但……我做不到。

这个反答案提出了一个替代理论，可以解释问题中描述的滞后。我不得不从问题和评论中推断出一些细节。

目标应用程序是一个交互式 UI 应用程序，具有三个操作线程:

1. A TcpClient网络数据消费者。
2. 将结果传送到 UI 的数据队列消费者线程。
3. UI 线程。

为了讨论的目的，假设 TheDataQueue是 BlockingCollection<string>实例(任何线程安全队列都可以):

BlockingCollection<string> TheDataQueue = new BlockingCollection<string>(1000);

应用程序有两个同步操作，它们在等待数据时阻塞。第一个是 NetworkStream.Read call 这是问题的主要主题:

bytesRead = ns.Read(bigbuffer, end, sizeToRead);

第二个阻塞操作发生在工作队列中的数据被编码到 UI 以供显示时。假设代码如下所示:

// A member method on the derived class of `System.Windows.Forms.Form` for the UI.
public void MarshallDataToUI()
{
    // Current thread: data queue consumer thread.
    // This call blocks if the data queue is empty.
    string text = TheDataQueue.Take();

    // Marshall the text to the UI thread.
    Invoke(new Action<string>(ReceiveText), text);
}

private void ReceiveText(string text)
{
    // Display the text.
    textBoxDataFeed.Text = text;

    // Explicitly process all Windows messages currently in the message queue to force
    // immediate UI refresh.  We want the UI to display the very latest data, right?
    // Note that this can be relatively slow...
    Application.DoEvents();
}

在此应用程序设计中，观察到的滞后发生在网络将数据传送到 TheWorkQueue 时比 UI 显示速度更快。

为什么@paquetp 的日志显示 NetworkStream.Read 有问题？ ？

NetworkStream.Read block ，直到数据可用。如果日志在等待更多数据时报告耗时，则会出现明显的延迟。但是 TcpClient网络缓冲区实际上是空的，因为应用程序已经读取并排队了数据。如果实时数据流是突发的，那么这种情况会经常发生。

您如何解释最终一切都集中在一个大事件中？

这是数据队列消费者线程处理 TheDataQueue 中的积压工作的自然结果.

但是数据包捕获和数据时间戳呢？

如果项目积压在 TheDataQueue ，数据时间戳是正确的。但是您还不能在 UI 中看到它们。抓包时间戳是及时的，因为网络数据被网络线程快速接收和排队。

这不都是猜测吗？

没有。有一对自定义应用程序(生产者和消费者)展示了这种行为。

截图显示数据队列积压了383条。数据时间戳滞后当前时间戳大约 41 秒。我暂停了生产者几次以模拟突发网络数据。

但是，我从来没能做到NetworkStream.Read按照问题假设的方式行事。

关于c# - 为什么NetworkStream Read会这样？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23365486/