我正在尝试使用 pymongo 进行简单查询并遍历结果。

这是我正在使用的代码:

data = []
tam = db.my_collection.find({'timestamp': {'$gte': start, '$lte':end}}).count()
for i,d in enumerate(table.find({'timestamp': {'$gte': start, '$lte':end}}):
    print('%s of %s' % (i,tam))
    data.append(d)

开始和结束变量是日期时间 python 对象。一切正常，直到我得到以下输出:

2987 of 12848
2988 of 12848
2989 of 12848
2990 of 12848
2991 of 12848
2992 of 12848
Traceback (most recent call last):
  File "db_extraction\extract_data.py", line 68, in <module>
    data = extract_data(yesterday,days = 1)
  File "db_extraction\extract_data.py", line 24, in extract_data
    for i,d in enumerate(table.find({'timestamp': {'$gte': start, '$lte':end}}).limit(100000)):
  File "\venv\lib\site-packages\pymongo\cursor.py", line 1169, in next
    if len(self.__data) or self._refresh():
  File "\venv\lib\site-packages\pymongo\cursor.py", line 1106, in _refresh
    self.__send_message(g)
  File "\venv\lib\site-packages\pymongo\cursor.py", line 971, in __send_message
    codec_options=self.__codec_options)
  File "\venv\lib\site-packages\pymongo\cursor.py", line 1055, in _unpack_response
    return response.unpack_response(cursor_id, codec_options)
  File "\venv\lib\site-packages\pymongo\message.py", line 945, in unpack_response
    return bson.decode_all(self.documents, codec_options)
bson.errors.InvalidBSON

我尝试的第一件事是更改查询的范围以检查它是否与数据相关，而事实并非如此。另一个范围停止在 6360 的 1615 和相同的错误。

我也试过 list(table.find({'timestamp': {'$gte': start, '$lte':end}}) 和同样的错误。

另一个可能相关的信息是第一次查询非常快。在返回错误之前，它会在最后一个数字上卡住一段时间。

所以我需要一些帮助。我在这里达到极限了吗？或者关于发生了什么的任何线索？

这可能与 this 2013 question 有关, 但作者说他没有得到错误输出。

谢谢!

编辑:

首先感谢大家的时间和建议。不幸的是，我已经测试了所有的建议，但我在同一个地方遇到了同样的错误。我已经使用 mongo shell 打印了有问题的文件，它与所有其他文件几乎相同。 我更改了查询范围并尝试选择其他日期。一直都是同样的问题，直到我发现一次随机运行给了我一个内存错误。

1737 of 8011
1738 of 8011
1739 of 8011
1740 of 8011
1741 of 8011
Traceback (most recent call last):
  File "db_extraction\pymongo_test.py", line 14, in <module>
    for post in all_posts:
  File "\python_modules\venv\lib\site-packages\pymongo\cursor.py", line 1189, in next
    if len(self.__data) or self._refresh():
  File "\python_modules\venv\lib\site-packages\pymongo\cursor.py", line 1126, in _refresh
    self.__send_message(g)
  File "\python_modules\venv\lib\site-packages\pymongo\cursor.py", line 931, in __send_message
    operation, exhaust=self.__exhaust, address=self.__address)
  File "\python_modules\venv\lib\site-packages\pymongo\mongo_client.py", line 1145, in _send_message_with_response
    exhaust)
  File "\python_modules\venv\lib\site-packages\pymongo\mongo_client.py", line 1156, in _reset_on_error
    return func(*args, **kwargs)
  File "\python_modules\venv\lib\site-packages\pymongo\server.py", line 106, in send_message_with_response
    reply = sock_info.receive_message(request_id)
  File "\python_modules\venv\lib\site-packages\pymongo\pool.py", line 612, in receive_message
    self._raise_connection_failure(error)
  File "\python_modules\venv\lib\site-packages\pymongo\pool.py", line 745, in _raise_connection_failure
    raise error
  File "\python_modules\venv\lib\site-packages\pymongo\pool.py", line 610, in receive_message
    self.max_message_size)
  File "\python_modules\venv\lib\site-packages\pymongo\network.py", line 191, in receive_message
    data = _receive_data_on_socket(sock, length - 16)
  File "\python_modules\venv\lib\site-packages\pymongo\network.py", line 227, in _receive_data_on_socket
    buf = bytearray(length)
MemoryError

这是间歇性的。我在不做任何更改的情况下再次运行并得到旧的 invalidBSON 错误，然后再次运行并得到内存错误。

我启动任务管理器并再次运行，内存确实增长很快，达到 95% 的使用率并卡在那里。查询应该在 8GB RAM 机器中检索类似 1GB 的数据，所以......我不知道这是否应该发生。无论如何，使用 pymongo 从 mongoDB 检索数据并写入文件而不将所有内容都放入内存的代码建议可能会完成这项工作。如果有人可以解释为什么在我的案例中我得到的是无效的 BSON 而不是 MemoryError(对于绝大多数运行)，那么好处就是。

谢谢

最佳答案

您的代码在我的电脑上运行良好。由于它适用于您的前 2992 条记录，我认为这些文件可能有些不一致。您集合中的每个文档都遵循相同的架构和格式吗？你的 pymongo 更新了吗？

如果你想遍历每条记录，这是我的建议:

data = []
all_posts = db.my_collection.find({'timestamp': {'$gte': start, '$lte':end}})
tam = all_posts.count()
i = 0
for post in all_posts:
    i += 1
    print('%s of %s' % (i,tam))
    data.append(post)

问候，

关于python - 循环 Pymongo 游标在一些迭代后返回 bson.errors.InvalidBSON 错误，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51734811/