草庐IT

Python SQL 炼金术 : Efficient Query and For Loop

coder 2023-10-26 原文

我正在尝试使用 SQLalchemy 从 SQL 数据库中查询大量数据。

some_data = db.session.query(some_info1, some_info2).all()

for key in some_data:
  # do something

SQL 查询大约需要 10 秒，for 循环大约需要 0.2 秒。

我也尝试了生成器方式。

some_data = db.session.query(some_info1, some_info2)

generator = (x for x in attendee_profile)

for key in generator:
  # do something

SQL 查询大约需要 0.04 秒，for 循环大约需要 10 秒。

有没有办法更有效地做到这一点？我特别怀疑使用生成器的 for 循环的 10 秒，我的意思是，使用生成器这么慢吗？

需要说明的是，我的目标是减少所花费的总时间(不是查询时间或 for 循环时间)。

最佳答案

不幸的是，在这两种情况下，您的 SQL 查询都需要 10 秒。在第一个示例中，query(someinfo1, someinfo2).all() 实际上是在执行查询。 .all() 强制执行查询。

在第二个示例中，query(someinfo1, someinfo2) 实际上并未运行查询。它只构造查询。当您开始迭代时，就是查询实际运行的时候。

长话短说，专注于优化正在运行的实际 SQL。使用 EXPLAIN ANALYZE 并研究添加索引。问题不在于此处的代码。它与 SQL 相关。

关于Python SQL 炼金术 : Efficient Query and For Loop，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37129136/

炼金Efficientcodesectionsomepythonmysqlsqlalchemy

有关Python SQL 炼金术 : Efficient Query and For Loop的更多相关文章

  1. Python SQL 炼金术 : Efficient Query and For Loop - 2

    我正在尝试使用SQLalchemy从SQL数据库中查询大量数据。some_data=db.session.query(some_info1,some_info2).all()forkeyinsome_data:#dosomethingSQL查询大约需要10秒，for循环大约需要0.2秒。我也尝试了生成器方式。some_data=db.session.query(some_info1,some_info2)generator=(xforxinattendee_profile)forkeyingenerator:#dosomethingSQL查询大约需要0.04秒，for循环大约需要10秒

  2. python - SQL炼金术ORM : modify the columns returned from a query - 2

    如果我有一个SQLAlchemyORM查询:admin_users=Session.query(User).filter_by(is_admin=True)是否可以修改该查询返回的列？例如，我只能选择User.id列，并在子查询中使用它:admin_email_addresses=Session.query(EmailAddress)\.filter(EmailAddress.user_id.in_(admin_users.select_columns(User.id))注意:.values()方法将不起作用，因为它执行查询并返回可迭代的结果(例如，EmailAddress.user_

  3. python - 一对多 Flask | SQL炼金术 - 2

    我正在尝试使用Flask和SQLAlchemy创建一对多关系。我希望一对多关系是这样的:“对于任何一部电影，都可以有多个角色”这就是我目前所拥有的，但它现在正以一对一的形式保存在我的数据库中。(一部电影对应一个角色，多个角色在DB中保存多次)classMovie(db.Model):__tablename__="movies"id=db.Column('movies_id',db.Integer,primary_key=True)movie_type=db.Column('movie_type',db.Text())def__init__(self,movie_type):self.m

  4. python - SQL炼金术 : How to make an integer column auto_increment (and unique) without making it a primary key? - 2

    我正在使用SQLAlchemy的Flask扩展来定义我的数据库模型。我希望id列是int类型并具有auto_increment属性，但不使其成为主键。如何实现？我试过了:fromflaskimportFlask,jsonifyfromflask.ext.sqlalchemyimportSQLAlchemyapp=Flask(__name__)app.config['SQLALCHEMY_DATABASE_URI']='mysql://root:ajay@localhost/pydb'app.config['SQLALCHEMY_ECHO']=Truedb=SQLAlchemy(app)

  5. python - SQL炼金术 : How to make an integer column auto_increment (and unique) without making it a primary key? - 2

    我正在使用SQLAlchemy的Flask扩展来定义我的数据库模型。我希望id列是int类型并具有auto_increment属性，但不使其成为主键。如何实现？我试过了:fromflaskimportFlask,jsonifyfromflask.ext.sqlalchemyimportSQLAlchemyapp=Flask(__name__)app.config['SQLALCHEMY_DATABASE_URI']='mysql://root:ajay@localhost/pydb'app.config['SQLALCHEMY_ECHO']=Truedb=SQLAlchemy(app)

  6. 鸡尾酒炼金术？用Transofrmer模型创新鸡尾酒配方！ - 2

    译者|崔皓审校​| 孙淑娟开篇[[525149]]Transformer模型通过在语言翻译、文本分类和序列建模中提供卓越的性能，彻底改变了自然语言处理（NLP）任务。​Transformer的架构是基于一种自我关注机制，它允许序列中的每个元素关注其他元素并处理输入序列的堆叠编码器。​本文将演示如何建立一个Transformer模型来生成新的鸡尾酒配方。文中将使用CocktailDB数据集，该数据集包含了成千上万种鸡尾酒的信息，包括它们的成分以及配方。​下载CocktailDB数据集​首先，我们需要下载并预处理CocktailDB数据集。我们将使用Pandas库来完成这一工作。​importpa

  7. 鸡尾酒炼金术？用Transofrmer模型创新鸡尾酒配方！ - 2

    译者|崔皓审校​| 孙淑娟开篇[[525149]]Transformer模型通过在语言翻译、文本分类和序列建模中提供卓越的性能，彻底改变了自然语言处理（NLP）任务。​Transformer的架构是基于一种自我关注机制，它允许序列中的每个元素关注其他元素并处理输入序列的堆叠编码器。​本文将演示如何建立一个Transformer模型来生成新的鸡尾酒配方。文中将使用CocktailDB数据集，该数据集包含了成千上万种鸡尾酒的信息，包括它们的成分以及配方。​下载CocktailDB数据集​首先，我们需要下载并预处理CocktailDB数据集。我们将使用Pandas库来完成这一工作。​importpa

随机推荐