草庐IT

python - 在数据库中存储多个 excel 文件的有效方法？

coder 2023-10-12 原文

我们正在开展一个大型内部项目，该项目使用户能够上传 excel 文件，并最终对从这些 excel 中收集的所有数据进行搜索。在我们开始设计之前，我正在尝试做功课，并提出最佳解决方案。

要求是-

  1. 用户可以上传包含任意多列的 excel 文件，因此 excel 没有预定义的结构。

  2. 与第一点相反，我们假设用户拥有一些字段。例如 - 名字，姓氏。这些列不必存在。

  3. 搜索选项的工作方式如下 - 当用户搜索时，他可以按特定列 进行搜索 - 这些列是预定义的，我们希望他的 excel 文件具有这些列。 (在我们的示例中 - 名字和姓氏)。 他还可以在“其他”字段下搜索所有其他列。

关于Other 搜索字段的另一种说法 - 该字段将遍历所有 excel 文件中不符合预定义列的所有列。 I.E - 一个文件有一个年龄列，另一个文件有一个出生地列，“其他”字段将搜索所有这些列。


执行此操作的最佳方法是什么？

  1. 为每个上传的 excel 动态创建一个新的 django 模型，包含 excel 具有的所有列？

  2. 为每个文件动态创建一个新的 django 模型，包含所有预定义的列(如果它们存在!)和一个“其他”文本字段，它将连接所有不相关的字段？

  3. 有一个大的 django 模型(意味着我的数据库中只有 1 个表)，它有我所有的预定义字段(同样，可以为空)，还有一个名为“其他”的字段，它将连接所有不相关的列?

  4. 我可以让我的主表包含所有预定义的列，另一个表带有指向主表的外键，其中每一行代表一个“其他”字段。

第四种解决方案的示例 -

+----+--------+--------+--------+
| id | field1 | field2 | field3 |
+----+--------+--------+--------+
|  1 | val1   | val1   | val1   |
|  2 | val2   | val2   | val2   |
|  3 | val3   | val3   | val3   |
+----+--------+--------+--------+

和维表——

+----+------+------+
| fk | key  | val  |
+----+------+------+
|  1 | key1 | val1 |
|  1 | key2 | val2 |
|  1 | key3 | val3 |
|  2 | key4 | val4 |
+----+------+------+



至于缩放 - 我们预计最终不会超过 1500 个 excel 文件，每个文件包含 100 到大约 100 个。 100,000 行(我们可能会将每个 excel 文件的行数限制为 100k)。我们从检查过的 excel 中获得的统计数据表明，我们不会超过 30~ 百万行。

我们将使用 Django 与 MySQL 或 PostgreSQL。

我希望我的问题很清楚，不要太晦涩。

谢谢!

最佳答案

编辑:在您更改问题之后。我在您的模型 4 上添加了一个简短的部分。

我强烈建议不要动态创建表。这很乱，我怀疑它会表现良好。您的数据库将为您要查询的每个数据库表创建一个访问路径，因此如果您创建多个数据库文件，您将需要搜索所有这些文件。

您可能需要模型 3 的变体。

这意味着您使用一个表，而不是为每个字段使用列，而是创建两列，一列用于 Excel 列名称，一列用于它的值。您还需要一些额外的条目来识别哪个 Excel 列和值属于哪个 Excel 电子表格。

所以在概念上，而不是建模:

field1 field2 field3 field4 other
------------------------------------
x       y     z       a     etc=xyz

你这样建模:

sheet fieldname value
------------------------------------
key   field1    x
key   field2    y
key   field3    z
key   field4    a
key   etc       xyz

此模型的优点是可以更轻松地对搜索进行编程。您可以简单地将任何搜索建模为 select * from data where fieldname='%s' and value='%s'。如果您在 fieldname 上创建一个数据库索引(并且可能在您用来识别 excel 工作表的 key 上创建一个索引)，那么对于您最初的想法应该没有性能损失模型 3。

您的模型 4 也可以。它的优点是，对于预定义的字段，用户的查询语句可以轻松映射到 SQL 选择语句。它的缺点是您需要以不同于用户搜索条件的其余部分的方式处理您的“其他”列。您还指出用户有时不会输入您希望出现的列。这意味着您必须使这些列可为空，这会增加存储要求。

总的来说，我认为我建议的方法比您的选项 4 更好，因为它在概念上更简单。您表示您认为它会创建太多行。事实上，这会创建更多的行，但 MySQL 和 PostgresSQL 可以轻松地创建那么多的行。 PostgresSQL 可以存储无限数量的行。 MySQL 可以存储 4000~ 百万行(如果需要更多，可以使用 --big-tables 编译 MySQL)。

就性能而言，只要您在该字段上有索引，您的表有多大并没有真正的区别。

关于python - 在数据库中存储多个 excel 文件的有效方法？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23714864/

pythonexcelstrongcodemysqldjangopostgresql

有关python - 在数据库中存储多个 excel 文件的有效方法？的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  4. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  5. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  6. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  7. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

    我正在尝试设置一个puppet节点，但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter，它工作正常，但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件，它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

  8. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  9. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  10. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

随机推荐