草庐IT

关于 c:向内存映射文件添加新字节

codeneng 2023-03-28 原文

Adding new bytes to memory mapped file

如何向内存映射文件添加新信息？
使用指针我可以处理现有数据，但仅限于它们当前的大小。是这样吗 ？例如：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
void  DemoFileMapping()
{
    HANDLE hFile = CreateFile("1.txt", GENERIC_READ | GENERIC_WRITE,
        FILE_SHARE_READ | FILE_SHARE_WRITE,
        NULL, CREATE_ALWAYS, FILE_ATTRIBUTE_NORMAL, 0);

    DWORD d;
    char * str ="ABCDEFG";
    WriteFile(hFile, str, strlen(str), &d, 0);

    HANDLE mapping = CreateFileMapping(hFile, 0, PAGE_READWRITE, 0, 0, 0);
    if (mapping)
    {
        unsigned char * buf = (unsigned char *)MapViewOfFile(mapping, FILE_MAP_ALL_ACCESS, 0, 0, 0);
        if (buf)
        {
            buf[2] = 'Z'; // it works!
            UnmapViewOfFile(buf);
        }
        CloseHandle(mapping);
    }
    CloseHandle(hFile);
}

但是我怎样才能在当前信息中添加新信息呢？例如，将字符串扩展为"ABCDEFGHIJK"？
我想有一个解决方案，没有比文件大小更大的区域的平庸备份。

  • 再次使用 WriteFile
  • 如何动态扩展内存映射文件的可能重复项
  • @zett42 - 很高兴有错误的答案。如果我们使用 SECTION_EXTEND_SIZE 访问权限创建它，我们可以扩展部分(或文件映射 - 这是别名)。存在特殊的 api - ZwExtendSection - 所以真正的任务是可能和简单的。但需要使用未记录的 ntdll api
  • 您不需要在 C 中转换返回 void* 的函数的结果

如果我正确理解您的问题 - 您问 - 在创建后可能会扩展部分(内存映射文件)。是的。但为此需要使用 ntdll api。

CreateFileMapping 这是 ZwCreateSection 上的受限 shell。如果你寻找它的第二个参数 - DesiredAccess [in] - 你可以注意到下一个访问标志：

SECTION_EXTEND_SIZE - Dynamically extend the size of the section.

不言自明。但是 MSDN 没有解释如何扩展部分的大小。为此存在下一个 api - ZwExtendSection 但在当前时间它根本没有记录(但它存在并工作了从 win2000 到最新的 win 10 的最小值)。没有文档 ZwExtendSection 的文档标志 SECTION_EXTEND_SIZE 有什么意义我不明白。也在 ZwCreateSection 的文档中 - MaximumSize [in, optional] - 参数名称不正确。这是更快的初始部分大小，但不是最大值 - 因为我们可以扩展部分。

也关于 ZwExtendSection - 它将部分扩展到 NewSectionSize (如果它大于当前部分大小 - 否则调用将无效)将此值四舍五入到最接近的 PAGE_SIZE 倍数，如果部分基于文件 - 它扩展文件，并且 NewSectionSize 将是新的文件大小 - 精确到字节。文件大小不会四舍五入到 PAGE_SIZE

但是如果部分已经映射到某个 BaseAddress - 部分的视图是否也会自动扩展？这取决于部分的地图视图。如果通过调用 MapViewOfFile(mapping, FILE_MAP_ALL_ACCESS, 0, 0, 0); 没有。所以你需要取消映射，然后在扩展后再次映射部分。

但是您是否将在此使用带有 AllocationType [in] == MEM_RESERVE 的 ZwMapViewOfSection 并且仅在这种情况下 ViewSize 可以大于当前部分大小(如果 ViewSize 大于当前部分，则没有 MEM_RESERVE 标志会出错size) - 在这种情况下，系统保留进程的虚拟地址空间的 ViewSize，但仅提交当前节大小(可能是更多页面)。并且当您调用 NtExtendSection - 提交的视图大小将扩展到 NewSectionSize。当我们第一次使用大 ViewSize 和 MEM_RESERVE 调用 VirtualAlloc 来保留进程的虚拟地址空间而不在内存中分配任何实际物理存储，然后再次使用 NewSectionSize 和 MEM_COMMIT 标志调用 VirtualAlloc 时，这类似。甚至不相似，但完全一样，只是间接的。

在 win8.1 之前，如果我们想使用 MEM_RESERVE 标志，则无法调用 ZwMapViewOfSection，但从 8.1 开始，我们也可以使用标志 FILE_MAP_RESERVE 来调用此 MapViewOfFile。它在 SDK 的 memoryapi.h 中声明为

1
#define FILE_MAP_RESERVE    0x80000000

但由于未知原因未在 MSDN 中记录。我检查了这个标志 - 它有效(我只从 win 8.1 说)

demo/test 程序可以是下一个：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
void DemoFileMapping()
{
    HANDLE hFile = CreateFile(L"1.txt", GENERIC_READ | GENERIC_WRITE,
        FILE_SHARE_READ | FILE_SHARE_WRITE,
        NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, 0);

    if (hFile != INVALID_HANDLE_VALUE)
    {
        HANDLE hSection;

        // set for demo intial size of section to 2 byte
        // NtCreateSection rounds this value up to the nearest multiple of PAGE_SIZE.
        // however this will be have effect for file size exactly, if current file size less than this value
        LARGE_INTEGER InitialSize = { 2 };
        NTSTATUS status = NtCreateSection(&hSection,
            SECTION_MAP_WRITE|SECTION_MAP_READ|SECTION_EXTEND_SIZE, 0, &InitialSize,
            PAGE_READWRITE, SEC_COMMIT, hFile);

        //we can close file handle now
        CloseHandle(hFile);

        if (0 <= status)
        {
            PVOID BaseAddress = 0;
            SIZE_T ViewSize = 0x1000000;//reserve 16 Mb memory for example

            // BaseAddress = MapViewOfFile(hSection, FILE_MAP_RESERVE|FILE_MAP_READ|FILE_MAP_WRITE, 0, 0, ViewSize);
            // note MEM_RESERVE
            if (0 <= ZwMapViewOfSection(hSection, NtCurrentProcess(), &BaseAddress, 0, 0, 0,
                &ViewSize, ViewUnmap, MEM_RESERVE, PAGE_READWRITE))
            {
                LARGE_INTEGER NewSize = { 0x20001 };// some random new size (128k+1 byte)

                // this call extend file, section and view size
                if (0 <= ZwExtendSection(hSection, &NewSize))
                {
                    memset(BaseAddress, '*', NewSize.LowPart);
                }

                UnmapViewOfFile(BaseAddress);
            }

            CloseHandle(hSection);
        }
    }
}

  • 但是文件的大小仍然有限 ViewSize ？如果我扩展的区域超过 ViewSize 的大小，那么我就无法写入它。例如：NewSize = { 0x20001 }，ViewSize = 0x20000。 ==> 文件收到的大小为 0x20001 但最后一个字节不包含"*"。如果您需要将文件扩展为大于 ViewSize 的大小，那么我们需要使用新的 ViewSize 重新创建 View 吗？
  • @Evgen8 - 你不明白 - ViewSize 与文件大小完全无关。这只是保留内存的大小。我写这个。如果您在调用 ZwExtendSection 中设置 NewSize > ViewSizw - 文件和节将被扩展，但节号的视图。我是怎么写的——在这种情况下你需要重新映射——取消映射当前视图并再次映射它。所以最好 - 为初始 ViewSize 选择非常大的内存范围。这不会使文件变大 - 对文件没有影响。这不会导致大内存分配，仅保留或区域
  • 比较方式。通过写入文件或 SetEndOfFile 您将需要 - 1)调用 SetEndOfFile 扩展文件。 2) UnmapViewOfFile 3)CloseHandle 用于部分。 4) CreateFileMapping 再次 5.) MapViewOfFile - 再次。并且您可以获得新的截面视图。在同样的情况下——如果你在这个视图中持有指向数据的指针——你需要重建这个指针。以未记录的方式 - 如果您保留足够大的内存空间 - 您需要一次调用 ZwExtendSection - 而不是 5 次调用内核。并且视图的基地址没有改变。如果您在开始时没有为部分保留内存 - 需要 3 次调用 - 取消映射和映射视图
  • 行。那么，我可以在 64 位程序中使用它吗？在 32 位程序中工作，对于 64 位，我从函数 ZwMapViewOfSection 中得到一个错误：
  • 无效参数作为第三个参数传递给服务或函数。因为是64位指针……在64位应用中需要用到映射。
  • @Evgen8 - 当然是 I use this in a 64 bit program? 。此代码完全独立于 32 位或 64 位。
  • @Evgen8 - STATUS_INVALID_PARAMETER_3 当你没有将 BaseAddress 初始化为 0 或太大(负) ViewSize
  • 恕我冒昧)使用什么策略来减小文件大小？ ZwExtendSection() - 没有缩小区域的功能吗？ NtCreateSection() - 从解决方案中重新创建一个具有较小 InitialSize 和重新映射文??件的区域？难道没有别的办法了吗？
  • @Evgen8 - ZwExtendSection 只增加部分(和文件，如果文件上的部分)大小，但从不减少。要减小文件大小，您需要使用 FileEndOfFileInfo 调用 SetFileInformationByHandle 但如果您在映射部分时遇到错误 - ERROR_USER_MAPPED_FILE 所以唯一的方法 - 取消映射并关闭部分。设置新文件大小并再次在其上创建部分

新字关于spanclassnbspcpointerswinapi

有关关于 c:向内存映射文件添加新字节的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

  5. ruby - 我需要将 Bundler 本身添加到 Gemfile 中吗？ - 2

    当我使用Bundler时，是否需要在我的Gemfile中将其列为依赖项？毕竟，我的代码中有些地方需要它。例如，当我进行Bundler设置时:require"bundler/setup" 最佳答案 没有。您可以尝试，但首先您必须用鞋带将自己抬离地面。 关于ruby-我需要将Bundler本身添加到Gemfile中吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/4758609/

  6. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  7. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  8. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  9. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  10. ruby - 将 Bootstrap Less 添加到 Sinatra - 2

    我有一个ModularSinatra应用程序，我正在尝试将Bootstrap添加到应用程序中。get'/bootstrap/application.css'doless:"bootstrap/bootstrap"end我在views/bootstrap中有所有less文件，包括bootstrap.less。我收到这个错误:Less::ParseErrorat/bootstrap/application.css'reset.less'wasn'tfound.Bootstrap.less的第一行是://CSSReset@import"reset.less";我尝试了所有不同的路径格式，但它

随机推荐