我正在使用 MongoDB 来存储我的股票报价数据。我每分钟每个股票代码有一个文档:

{
"_id" : ObjectId("535fb330f6a03d59077db43c"),
"symbol" : "AAPL",
"ts_minute" : ISODate("2014-04-29T14:12:00Z"),
"ticks" : [
    {
        "mu" : 115864,
        "ae" : true,
        "t" : 2,
        "v" : 571.93
    },
    {
        "mu" : 803378,
        "ae" : true,
        "t" : 2,
        "v" : 571.91
    },
    {
        "mu" : 903378,
        "ae" : false,
        "t" : null,
        "v" : 9000
    }
}

其中 mu 是自 ts_minute 以来的微秒距离，t 是报价类型(出价、要价、开盘价、收盘价、交易量等.), v 是值。

为了将其聚合成 OHLC 的详细柱状图(开盘价、最高价、最低价、收盘价)，我使用以下方法(使用 PyMongo):

query = {'$match': {'symbol': 'AAPL'}}
projection = {
    '$project': {
        'symbol':       1,
        'year':         {'$year':   '$ts_minute'},
        'month':        {'$month':  '$ts_minute'},
        'day':          {'$dayOfMonth': '$ts_minute'},
        'hour':         {'$hour':   '$ts_minute'},
        'minute':       {'$minute': '$ts_minute'},
        'ts_minute':    1,
        'ticks':        1
    }
}
unwind = {'$unwind': '$ticks'}
sort = {'$sort': {'ts_minute': 1}}
group = {
    '$group': {
        '_id': {
            'symbol':   '$symbol',
            'year':     '$year',
            'month':    '$month',
            'day':      '$day',
            'hour':     '$hour',
            'minute':   '$minute'
        },
        'open':     {'$first':  '$ticks.v'},
        'high':     {'$max':    '$ticks.v'},
        'low':      {'$min':    '$ticks.v'},
        'close':    {'$last':   '$ticks.v'},
    }
}
bars = tick_collection.aggregate([query, projection, unwind, sort, group])

问题是我将交易量报价和价格报价存储在同一个数组中。通过使 t 等于 null 来标识成交量刻度。所以你看，当我分组时，我的价格变动和成交量变动混合在一起。我想聚合到 OHLCV，这样 OHLC 基于 t 不等于 null，并且 V 应该是数组的最后一个元素，其中 t 等于 null。

有意义吗？或者只是糟糕的模式设计？ ;-)

最佳答案

为了提高性能，您确实需要将 $sort 移动到展开之前 - 它将与 $match 组合并使用适当的索引(这将是{symbol:1,ts_minute:1} 所以我希望你有可用的索引)。该项目应该在 unwind 之后创建聚合所需的价格和数量字段。看来你应该直接按 ts_minute 分组。要进行的更改是:

query = {'$match': {'symbol': 'AAPL'}}
sort = {'$sort': {'ts_minute': 1}}
unwind = {'$unwind': '$ticks'}
projection = {
    '$project': {
        'symbol':       1,
        'ts_minute':    1,
        'volume' : { '$cond' : [
        {"$eq" : ["$ticks.t",null]},
        "$ticks.v",
        0
    ] },
    "price" : { "$cond" : [
        {"$eq" : ["$ticks.t",null] },
        null,
        "$ticks.v"
    ] }
    }
}

group = {
    '$group': {
        '_id': {
            'symbol':   '$symbol',
            'minute':   '$ts_minute'
        },
        'open':     {'$first':  '$price'},
        'high':     {'$max':    '$price'},
        'low':      {'$min':    '$price'},
        'close':    {'$last':   '$price'},
        'volume':   {'$sum':    '$volume'}
    }
}
bars = tick_collection.aggregate([query, sort, unwind, projection, group])

关于python - MongoDB:股票报价数据的聚合，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23430378/