我在 List<Person> 中有一个 1M 的商品商店我正在序列化以插入到 Redis。 (2.8)

我分工10 Tasks<>其中每个都有自己的部分( List<> 对于只读是线程安全的( It is safe to perform multiple read operations on a List )

简化:

例子:

对于 ITEMS=100 , THREADS=10 , 每个 Task将捕获自己的 PAGE 并处理相关范围。

例如:

void Main()
{
    var ITEMS=100;
    var THREADS=10;
    var PAGE=4;

    List<int> lst = Enumerable.Range(0,ITEMS).ToList();

    for (int i=0;i< ITEMS/THREADS ;i++)
    {
      lst[PAGE*(ITEMS/THREADS)+i].Dump();
    }
}

• PAGE=0将处理:0,1,2,3,4,5,6,7,8,9
• PAGE=4将处理:40,41,42,43,44,45,46,47,48,49

一切正常。

现在回到 SE.redis。

我想实现这个模式，所以 I did : (与 ITEMS=1,000,000 )

我的测试:

(这里是 dbsize 每秒检查一次):

如您所见，通过 10 个线程添加了 100 万条记录。

现在，我不知道它是否快，但是，当我从 1M 更改 ITEMS 时至 10M -- 事情变得真的很慢，我得到异常:

异常在 for 上循环。

Unhandled Exception: System.AggregateException: One or more errors occurred. ---

System.TimeoutException: Timeout performing SET urn:user>288257, inst: 1, queu e: 11, qu=0, qs=11, qc=0, wr=0/0, in=0/0 at StackExchange.Redis.ConnectionMultiplexer.ExecuteSyncImpl[T](Message messa ge, ResultProcessor1 processor, ServerEndPoint server) in c:\TeamCity\buildAgen t\work\58bc9a6df18a3782\StackExchange.Redis\StackExchange\Redis\ConnectionMultip lexer.cs:line 1722 at StackExchange.Redis.RedisBase.ExecuteSync[T](Message message, ResultProces sor1 processor, ServerEndPoint server) in c:\TeamCity\buildAgent\work\58bc9a6df 18a3782\StackExchange.Redis\StackExchange\Redis\RedisBase.cs:line 79 ... ... Press any key to continue . . .

问题:

• 我的分工方式是否正确(最快)
• 我怎样才能更快地得到东西(一个示例代码将不胜感激)
• 如何解决此异常？

相关信息:

<gcAllowVeryLargeObjects enabled="true" />出现在 App.config 中(否则我会得到 outOfmemoryException)，还有 - 为 x64 位构建，我有 16GB，，ssd 驱动器，i7 cpu)。

最佳答案

目前，您的代码正在使用同步 API (StringSet)，并由 10 个线程同时加载。这不会对 SE.Redis 提出明显的挑战 - 它在这里工作得很好。我怀疑这确实是一个超时，服务器处理某些数据的时间比您希望的要长，很可能也与服务器的分配器有关。那么，一种选择是简单地稍微增加超时。不是很多...尝试 5 秒而不是默认的 1 秒。很可能，大多数操作都运行得非常快。

关于加速:这里的一个选择是不等待 - 即保持流水线数据。如果您满足于不检查每条消息的错误状态，那么一种简单的方法是将 , flags: CommandFlags.FireAndForget 添加到 StringSet 的末尾> 打电话。在我的本地测试中，这将 1M 示例的速度提高了 25%(而且我怀疑大部分剩余时间实际上花在了字符串序列化上)。

我在 10M 示例中遇到的最大问题只是使用 10M 示例的开销 - 特别是因为这为 redis-server 占用了大量内存> 和应用程序，它们(模拟您的设置)在同一台机器上。这会在托管代码中产生竞争内存压力，GC 暂停等。但也许更重要的是:开始做任何事情都需要很长时间。因此，我重构了代码以使用并行 yield return 生成器而不是单个列表。例如:

    static IEnumerable<Person> InventPeople(int seed, int count)
    {
        for(int i = 0; i < count; i++)
        {
            int f = 1 + seed + i;
            var item = new Person
            {
                Id = f,
                Name = Path.GetRandomFileName().Replace(".", "").Substring(0, appRandom.Value.Next(3, 6)) + " " + Path.GetRandomFileName().Replace(".", "").Substring(0, new Random(Guid.NewGuid().GetHashCode()).Next(3, 6)),
                Age = f % 90,
                Friends = ParallelEnumerable.Range(0, 100).Select(n => appRandom.Value.Next(1, f)).ToArray()
            };
            yield return item;
        }
    }

    static IEnumerable<T> Batchify<T>(this IEnumerable<T> source, int count)
    {
        var list = new List<T>(count);
        foreach(var item in source)
        {
            list.Add(item);
            if(list.Count == count)
            {
                foreach (var x in list) yield return x;
                list.Clear();
            }
        }
        foreach (var item in list) yield return item;
    }

与:

foreach (var element in InventPeople(PER_THREAD * counter1, PER_THREAD).Batchify(1000))

在这里，Batchify 的目的是确保我们不会通过在每次操作之间花费可观的时间来帮助服务器太多 - 数据以 1000 个为一组进行创建，并且每个批处理都被制作很快可用。

我也担心 JSON 的性能，所以我切换到 JIL:

    public static string ToJSON<T>(this T obj)
    {
        return Jil.JSON.Serialize<T>(obj);
    }

然后为了好玩，我将 JSON 工作移到了批处理中(以便实际处理循环:

 foreach (var element in InventPeople(PER_THREAD * counter1, PER_THREAD)
     .Select(x => new { x.Id, Json = x.ToJSON() }).Batchify(1000))

这让时间缩短了一点，所以我可以在 3 分 57 秒内加载 10M，速率为 42,194 次。大部分时间实际上是应用程序内部的本地处理。如果我更改它以便每个线程加载相同项 ITEMS/THREADS 次，那么这将更改为 1 分 48 秒 - 92,592 次 rops。

我不确定我是否真的回答了任何问题，但简短的版本可能只是“尝试更长的超时时间；考虑使用即发即弃”。

关于c# - 使用 StackExchange.Redis 并行执行？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23605060/