Python 与 SQLite(sqlite3、atpy)和 HDF5(h5py、pyTables)接口(interface)似乎有很多选择——我想知道是否有人有将这些与 numpy 数组或数据表(结构化/记录数组)一起使用的经验,以及其中哪些与每种数据格式(SQLite 和 HDF5)的“科学”模块(numpy、scipy)最无缝地集成。
最佳答案
大部分取决于您的用例。
与传统的关系数据库相比,我在处理各种基于 HDF5 的方法方面有更多的经验,所以我不能对 python 的 SQLite 库发表过多评论...
至少就 h5py 与 pyTables 而言,它们都通过 numpy 数组提供非常无缝的访问,但它们面向的用例非常不同。
如果您有 n 维数据并希望快速访问任意基于索引 的切片,那么使用 h5py 会简单得多。如果您的数据更像表格,并且您想要查询它,那么 pyTables 是一个更好的选择。
pyTables 相比,h5py 是围绕 HDF5 库的相对“ Vanilla ”包装器。如果您要定期从另一种语言访问 HDF 文件(pyTables 添加一些额外的元数据),这是一件非常好的事情。 h5py 可以做很多,但对于某些用例(例如 pyTables 所做的),您将需要花费更多时间进行调整.
pyTables 有一些非常不错的功能。但是,如果您的数据看起来不太像表格,那么它可能不是最佳选择。
举一个更具体的例子,我经常处理相当大(数十 GB)的 3 维和 4 维数据数组。它们是 float 、整数、uint8 等的同质数组。我通常想访问整个数据集的一小部分。 h5py 使这个非常 简单,并且在自动猜测合理的 block 大小方面做得相当好。从磁盘中抓取任意 block 或切片比简单的内存映射文件要快得多。 (强调任意......显然,如果你想获取整个“X”切片,那么 C 序内存映射数组是不可能击败的,因为“X”切片中的所有数据在磁盘上都是相邻的。)
作为一个反例,我的妻子在几年内从各种传感器收集数据,这些传感器以分钟到秒的间隔进行采样。她需要在她的数据上存储和运行任意查询(以及相对简单的计算)。 pyTables 使这个用例变得非常简单和快速,并且仍然比传统的关系数据库有一些优势。 (特别是在磁盘使用和将大量(基于索引的)数据 block 读入内存的速度方面)
关于python - 以 SQLite 和 HDF5 格式从 numpy、scipy 导出/导入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7883646/
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。
我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
这个问题在这里已经有了答案:Railsformattingdate(4个答案)关闭4年前。我想格式化Time.Now函数以显示YYYY-MM-DDHH:MM:SS而不是:“2018-03-0909:47:19+0000”该函数需要放在时间中.现在功能。require‘roo’require‘roo-xls’require‘byebug’file_name=ARGV.first||“Template.xlsx”excel_file=Roo::Spreadsheet.open(“./#{file_name}“,extension::xlsx)xml=Nokogiri::XML::Build
我喜欢使用Textile或Markdown为我的项目编写自述文件,但是当我生成RDoc时,自述文件被解释为RDoc并且看起来非常糟糕。有没有办法让RDoc通过RedCloth或BlueCloth而不是它自己的格式化程序运行文件?它可以配置为自动检测文件后缀的格式吗?(例如README.textile通过RedCloth运行,但README.mdown通过BlueCloth运行) 最佳答案 使用YARD直接代替RDoc将允许您包含Textile或Markdown文件,只要它们的文件后缀是合理的。我经常使用类似于以下Rake任务的东西:
给定一个复杂的对象层次结构,幸运的是它不包含循环引用,我如何实现支持各种格式的序列化?我不是来讨论实际实现的。相反,我正在寻找可能会派上用场的设计模式提示。更准确地说:我正在使用Ruby,我想解析XML和JSON数据以构建复杂的对象层次结构。此外,应该可以将该层次结构序列化为JSON、XML和可能的HTML。我可以为此使用Builder模式吗?在任何提到的情况下,我都有某种结构化数据-无论是在内存中还是文本中-我想用它来构建其他东西。我认为将序列化逻辑与实际业务逻辑分开会很好,这样我以后就可以轻松支持多种XML格式。 最佳答案 我最
这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意,但是谷歌搜索||=并不是很有帮助;)Python中是否有与Ruby和Perl中的||=语句等效的语句?例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外,类似这样的东西的通用术语是什么?条件分配是我的第一个猜测,但Wikipediapage跟我想的不太一样。
如何检查Ruby文件是否是通过“require”或“load”导入的,而不是简单地从命令行执行的?例如:foo.rb的内容:puts"Hello"bar.rb的内容require'foo'输出:$./foo.rbHello$./bar.rbHello基本上,我想调用bar.rb以不执行puts调用。 最佳答案 将foo.rb改为:if__FILE__==$0puts"Hello"end检查__FILE__-当前ruby文件的名称-与$0-正在运行的脚本的名称。 关于ruby-检查是否
什么是ruby的rack或python的Java的wsgi?还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht
是否有简单的方法来更改默认ISO格式(yyyy-mm-dd)的ActiveAdmin日期过滤器显示格式? 最佳答案 您可以像这样为日期选择器提供额外的选项,而不是覆盖js:=f.input:my_date,as::datepicker,datepicker_options:{dateFormat:"mm/dd/yy"} 关于ruby-on-rails-事件管理员日期过滤器日期格式自定义,我们在StackOverflow上找到一个类似的问题: https://s
华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o