我正在上一些 AI 类(class)，并了解了一些我想试验的基本算法。我已经通过 Kaggle 访问了包含大量真实世界数据的多个数据集。 ，举办数据分析比赛。

我曾尝试参加多项比赛以提高我的机器学习技能，但一直无法找到一种在我的代码中访问数据的好方法。 Kaggle 以 csv 格式为每个比赛提供一个大数据文件，50-200mb。

在我的代码中加载和使用这些表的最佳方式是什么？我的第一直觉是使用数据库，所以我尝试将 csv 加载到单个数据库的 sqlite 中，但这给我的计算机带来了巨大的负载，并且在提交期间，我的计算机经常崩溃。接下来，我尝试在共享主机上使用 mysql 服务器，但是在它上面进行查询需要很长时间，这让我的分析代码非常慢。另外，恐怕我会超出我的带宽。

到目前为止，在我的类(class)中，我的讲师通常会清理数据并为我们提供可以完全加载到 RAM 中的可管理数据集。显然这对于​​我目前的兴趣是不可能的。请建议我应该如何进行。我目前使用的是 4 年前的 macbook，配备 4gb 内存和双核 2.1Ghz cpu。

顺便说一下，我希望用 Python 进行大部分分析，因为我最了解这种语言。我想要一个允许我用这种语言完成所有或几乎所有编码的解决方案。

最佳答案

原型(prototype)——这是处理大数据时最重要的事情。明智地将其拆分，以便您可以将其加载到内存中以使用解释器(例如 Python、R)访问它。这是大规模创建和优化分析流程的最佳方式。

换句话说，修剪您的数 GB 大小的数据文件，使它们足够小以执行命令行分析。

这是我用来执行此操作的工作流程——当然不是最好的方法，但它是一种方法，并且有效:

I. 使用延迟加载 方法(希望)在您的语言中可用 选择读取大数据文件，尤其是超过 1 GB 的文件。我 然后会建议根据 我在下面讨论的技术，然后最终将其完全存储 数据集市或中间暂存容器中的预处理数据。

一个使用 Python 延迟加载大型数据文件的示例:

# 'filename' is the full path name for a data file whose size 
# exceeds the memory on the box it resides. #

import tokenize

data_reader = open(some_filename, 'r')
tokens = tokenize.generate_tokens(reader)
tokens.next()           # returns a single line from the large data file.

II. 美白和重铸:

• 重铸你的列存储分类 变量(例如，男性/女性)作为整数(例如，-1、1)。维持 一个 查找表(与您用于此转换的散列相同 除了 键和值被换出)以转换这些整数 背部 将人类可读的字符串标签作为分析的最后一步 工作流程；

• 白化您的数据——即“标准化”列 保持连续数据。这两个步骤将大大 减少 数据集的大小——不引入任何噪音。一个 美白带来的好处是防止分析 错误 过重引起的。
  
  

III. 采样:纵向修剪数据。

IV。 降维:正交模拟采样。识别对因变量(又名“结果”或响应变量)没有影响或影响微乎其微的变量(列/字段/特征)，并将它们从工作数据立方体中消除。

主成分分析 (PCA) 是一种简单而可靠的技术:

import numpy as NP
from scipy import linalg as LA

D = NP.random.randn(8, 5)       # a simulated data set
# calculate the covariance matrix: #
R = NP.corrcoef(D, rowvar=1)
# calculate the eigenvalues of the covariance matrix: #
eigval, eigvec = NP.eig(R)
# sort them in descending order: #
egval = NP.sort(egval)[::-1]
# make a value-proportion table #
cs = NP.cumsum(egval)/NP.sum(egval)
print("{0}\t{1}".format('eigenvalue', 'var proportion'))
for i in range(len(egval)) :
    print("{0:.2f}\t\t{1:.2f}".format(egval[i], cs[i]))

  eigenvalue    var proportion
    2.22        0.44
    1.81        0.81
    0.67        0.94
    0.23        0.99
    0.06        1.00

如您所见，前三个特征值占原始数据中观察到的方差的 94%。根据您的目的，您通常可以通过删除最后两列来修剪原始数据矩阵 D:

D = D[:,:-2]

V. 数据集市存储:在永久存储(数据仓库)和分析流程之间插入一层。换句话说，严重依赖数据集市/数据立方体——位于数据仓库和分析应用程序层之间的“暂存区”。这个数据集市是您的分析应用程序更好的 IO 层。 R 的“数据框”或“数据表”(来自同名的 CRAN 包)是不错的选择。我还强烈推荐 Redis——超快的读取速度、简洁的语义和零配置，使其成为此用例的绝佳选择。 redis 将轻松处理您在问题中提到的大小的数据集。例如使用redis中的哈希数据结构，你可以拥有与MySQL或SQLite相同的结构和相同的关系灵 active ，而无需繁琐的配置。另一个优势:与 SQLite 不同，redis 实际上是一个数据库服务器。我实际上是 SQLite 的忠实粉丝，但我相信由于我刚才给出的原因，redis 在这里工作得更好。

from redis import Redis
r0 = Redis(db=0)
r0.hmset(user_id : "100143321, {sex : 'M', status : 'registered_user', 
       traffic_source : 'affiliate', page_views_per_session : 17, 
       total_purchases : 28.15})

关于python - 在非 super 计算机上处​​理大量数据的一般技术，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7114849/