草庐IT

python - 为什么此代码在 Windows 和 Linux 之间打印出不同的结果?

coder 2023-11-10 原文

此代码在 Windows 和 Linux 之间打印不同的字符串。

测试.py:

print(";".join([str(i) for i in range(10000)]))

平台:x86_64 Linux 4.4 .0-17763 - 微软
Python版本:3.7.2
终端:bash、fish

缩略输出:

$ python --version
Python 3.7.2
$ python test.py
0;1;2;3;4;5;6....9997;9998;9999
$ python -u test.py
0;1;2;3;4;5;6....9997;9998;9999

平台:Windows 10 1809
Python版本:3.6.8、3.7.0、3.7.2
终端:cmd、powershell

缩略输出:

./python --version
Python 3.6.8
./python test.py
0;1;2;3;4;5;6....9997;9998;9999
./python -u test.py
0;1;2;3;4;5;6....2663;2664;2665;26
./python --version
Python 3.7.0
./python test.py
0;1;2;3;4;5;6....9997;9998;9999
./python -u test.py
0;1;2;3;4;5;6....2663;2664;2665;26
./python --version
Python 3.7.2
./python test.py
0;1;2;3;4;5;6....9997;9998;9999
./python -u test.py
0;1;2;3;4;5;6....2663;2664;2665;26

那么,为什么在 Windows 中,-u 参数会导致输出被截断(只是从 02666)?
(当使用 python -u test.py > a.txt 将输出重定向到文件时,它工作正常。)

也许与缓冲有关?

最佳答案

通过 WINAPI 写入控制台的大小 WriteFile WriteConsoleW 被记录为具有模糊定义的限制,如下所示:

nNumberOfCharsToWrite [in]
The number of characters to be written. If the total size of the specified number of characters exceeds the available heap, the function fails with ERROR_NOT_ENOUGH_MEMORY.

没有记录这是指哪个“堆”。一个进程可以有多个不同大小的堆(固定的或动态的)。 NT 运行时库中的 native 堆实现(例如 RtlCreateHeap )可以在指定地址创建堆,这样可以方便地访问与其他进程共享的内存。使用共享堆通常与 Local Inter-Process Communication 结合使用(LPC) 端口——或 NT 6.0+ 中的异步 LPC。 LPC端口用于在应用程序和系统服务之间传递消息,例如 session 管理器(smss.exe)、服务控制管理器(services.exe)、本地安全授权(lsass.exe)、桌面 session 服务器(csrss.exe)和控制台主机 (conhost.exe) 的实例。直接排队到 LPC 端口的消息限制为 256 字节。较大的消息通过将消息排队到引用共享内存的端口来传递。

事实证明,控制台的旧实现(NT 6.3 之前)使用 LPC 作为 I/O channel ,而上述堆只有 64 KiB。这是一个特殊的设计选择。我认为有人喝了太多用户模式子系统,消息传递 Kool-Aid。正确的 NT I/O 使用具有 I/O 系统服务的设备,包括 NtCreateFile , NtReadFile , NtWriteFile , 和 NtDeviceIoControlFile .

控制台应用程序不知道有多少堆可用于写入。 Python 可以从 64 KiB 开始并逐渐下降,但它的 raw file I/O要求每次调用一个系统调用。相反,它的写入上限为 32 KiB,这应该会成功。此限制允许编写具有最多 16K UTF-16 代码点的宽字符字符串。一个复杂的问题是控制台 I/O 堆栈在 3.6+ 中使用 UTF-8,必须通过 MultiByteToWideChar 进行解码。 .目前它只是重复将 UTF-8 缓冲区分成两半,直到结果长度小于 16K。因此,在问题的示例中,写 48,889 个字符减半为 24,444 个字符,然后再减半为 12,222 个字符。 (IMO,最好尝试写入最多 16K 个代码点;获取实际写入的数字,并在子字符串上调用 WideCharToMultiByte 以确定写入的 UTF-8 字节数。当前的设计实际上有一个错误,如果UTF-8 2-4字节序列重叠一个切点。)

在 NT 6.3+ (Windows 8.1+) 中,控制台 I/O 没有这个大小限制,因为它使用 ConDrv 设备和 I/O 系统调用而不是 LPC。然而,仅仅为了支持一个未缓冲的文本 I/O 堆栈,不值得对代码进行特殊封装,正如 -u 所配置的那样。命令行选项。我们期望交互式控制台 I/O 被缓冲。正常的 open 实际上不允许无缓冲的文本 I/O称呼。例如:

>>> open('conout$', 'w', buffering=0)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: can't have unbuffered text I/O

对 Windows 7 的扩展支持将于 2020 年 1 月 14 日结束,因此 Python 3.8 将是支持它的最后一个版本。控制台写入限制应在 Python 3.9 中删除。

关于python - 为什么此代码在 Windows 和 Linux 之间打印出不同的结果?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54266222/

有关python - 为什么此代码在 Windows 和 Linux 之间打印出不同的结果?的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep,它会中断应用程序。否则,计算机将持续运行数周,直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗?欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数,使应用程序能够通知系统它正在使用中,从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  3. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  4. ruby-on-rails - Rails - 子类化模型的设计模式是什么? - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co

  5. ruby - 如何在 buildr 项目中使用 Ruby 代码? - 2

    如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  6. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  7. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  8. ruby-on-rails - Rails 源代码 : initialize hash in a weird way? - 2

    在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中,它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案 查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has

  9. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996?但是 4.2%2==0.2 - 2

    为什么4.1%2返回0.0999999999999996?但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意,这不是与Ruby相关的问题,而是与所有编程语言相关的问题,因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

  10. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如,一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情,所以我什至不知道从哪里开始。任何帮助,将不胜感激。谢谢! 最佳答案 无论Rails是什么,几乎所有Web应用程序都有您的要求,大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去,网站不应直接访问彼此

随机推荐