我在处理 Python 中缓慢的 MySQL 查询时遇到了麻烦。在我的应用程序的一个区域中，“加载数据文件”速度很快。在另一个区域，选择查询非常慢。

在 PhpMyAdmin 和 Navicat 中执行相同的查询(作为第二个测试)产生的响应比在 Python 中快约 5 倍。

一些注意事项...

• 我切换到 MySQLdb 作为连接器，并且还在使用 SSCursor。没有性能提升。
• 数据库经过优化、索引等。我正在将此应用程序从运行良好的 PHP/Codeigniter 移植到 Python(我愚蠢地认为摆脱 PHP 会有助于加快速度)
• PHP/Codeigniter 可以快速执行选择查询。例如，在完成任何数据分析之前，应用程序的一个关键方面在 PHP/Codeigniter 中需要大约 2 秒，但在 Python 中需要 10 秒。

我的数据库链接是相当标准的...

dbconn=MySQLdb.connect(host="127.0.0.1",user="*",passwd="*",db="*", cursorclass = MySQLdb.cursors.SSCursor)

任何见解/帮助/建议将不胜感激!

更新

在获取/处理结果方面，我已经尝试了几种方法。初始查询相当标准...

# Run Query
cursor.execute(query)

我删除了这个循环中的所有代码，只是为了确保它不是瓶颈，事实并非如此。我把虚拟代码放在它的位置。整个过程一点速度都没有。

db_results = "test"

# Loop Results
for row in cursor:

    a = 0 (this was the dummy code I put in to test)

return db_results

查询结果本身只有 501 行(大量的列)...在 Python 之外用了 0.029 秒。比在 Python 中花费的时间要长得多。

该项目与赛马有关。查询是在这个函数中完成的。查询本身很长，但是它在 Python 之外运行良好。我特意注释掉了循环中的代码以进行测试...还有打印(查询)，希望能解决这个问题。

# Get PPs
def get_pps(race_ids):

# Comma Race List
race_list = ','.join(map(str, race_ids))

# PPs Query
query = ("SELECT raceindex.race_id, entries.entry_id, entries.prognum, runlines.line_id, runlines.track_code, runlines.race_date, runlines.race_number, runlines.horse_name, runlines.line_date, runlines.line_track, runlines.line_race, runlines.surface, runlines.distance, runlines.starters, runlines.race_grade, runlines.post_position, runlines.c1pos, runlines.c1posn, runlines.c1len, runlines.c2pos, runlines.c2posn, runlines.c2len, runlines.c3pos, runlines.c3posn, runlines.c3len, runlines.c4pos, runlines.c4posn, runlines.c4len, runlines.c5pos, runlines.c5posn, runlines.c5len, runlines.finpos, runlines.finposn, runlines.finlen, runlines.dq, runlines.dh, runlines.dqplace, runlines.beyer, runlines.weight, runlines.comment, runlines.long_comment, runlines.odds, runlines.odds_position, runlines.entries, runlines.track_variant, runlines.speed_rating, runlines.sealed_track, runlines.frac1, runlines.frac2, runlines.frac3, runlines.frac4, runlines.frac5, runlines.frac6, runlines.final_time, charts.raceshape "
         "FROM hrdb_raceindex raceindex "
         "INNER JOIN hrdb_runlines runlines ON runlines.race_date = raceindex.race_date AND runlines.track_code = raceindex.track_code AND runlines.race_number = raceindex.race_number "
         "INNER JOIN hrdb_entries entries ON entries.race_date=runlines.race_date AND entries.track_code=runlines.track_code AND  entries.race_number=runlines.race_number AND entries.horse_name=runlines.horse_name "
         "LEFT JOIN hrdb_charts charts ON runlines.line_date = charts.race_date AND runlines.line_track = charts.track_code AND runlines.line_race = charts.race_number "
         "WHERE raceindex.race_id IN (" + race_list  + ") "
         "ORDER BY runlines.line_date DESC;")

print(query)

# Run Query
cursor.execute(query)

# Query Fields
fields = [i[0] for i in cursor.description]

# PPs List
pps = []

# Loop Results
for row in cursor:

    a = 0
    #this_pp = {}

    #for i, value in enumerate(row):
    #    this_pp[fields[i]] = value            

    #pps.append(this_pp)

return pps

最后一点……我还没有考虑过处理结果的理想方式。我相信一个光标允许结果作为一组字典返回。我什至还没有做到这一点，因为查询和返回本身太慢了。

最佳答案

尽管您只有 501 行，但看起来您有超过 50 列。有多少数据从 MySQL 传递到 Python？

返回 501 行 x 55 列 = 27,555 个单元格。

如果每个单元格平均“仅”1K，则返回的数据将接近 27MB。

要了解 mysql 正在推送多少数据，您可以将其添加到您的查询中:

SHOW SESSION STATUS LIKE "bytes_sent"

您的服务器资源充足吗？内存分配是否配置好？

我的猜测是，当您使用 PHPMyAdmin 时，您会得到分页结果。这掩盖了 MySQL 返回的数据多于您的服务器可以处理的问题(我不使用 Navicat，不确定如何返回结果)。

也许 Python 进程是内存受限的，当面对这个大的结果集时，它必须将页面输出到磁盘以处理结果集。

如果您减少调用的列数和/或限制为LIMIT 10，您的查询速度会提高吗？

调用此查询时，您能看到运行 Python 的服务器是否正在分页到磁盘吗？您能看到分配给 Python 的内存是多少，在此过程中使用了多少内存，以及该分配和使用情况与 PHP 版本中的相同值相比如何？

你能为你的受限资源分配更多的内存吗？

能否减少通过分页或异步加载调用的列数或行数？

关于python - Python 中的 MySQL 查询速度较慢，但​​其他地方速度较快，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17700462/