我正在尝试使用 StackExchange Redis 库追踪间歇性的“突发”超时。以下是关于我们的设置的一些信息:我们的 API 是用 C# 编写的，在 Windows 2008 和 IIS 上运行。我们在生产中有 4 个 API 服务器，我们有 4 个 Redis 机器(运行 Linux 最新的 LTS)，每个都有 2 个 Redis 实例(一个主服务器在端口 7000 上，一个从服务器在端口 7001 上)。我几乎查看了 Redis 服务器的各个方面，它们看起来棒极了。日志中没有错误，CPU 和网络都很好，服务器端的一切看起来都很棒。我可以在发生这种情况时 tail -f Redis 日志，并且看不到任何异常情况(例如重写 AOF 文件或任何内容)。我认为问题不在于 Redis。

这是我目前所知道的:

• 我们每小时会多次看到这些超时异常。通常一分钟内有 40-50 次超时，有时高达 80-90 次。然后，他们会离开几分钟。过去 24 小时内大约有 5,000 起此类事件，并且它们是从单个 API 客户端突发发生的。
• 这些超时仅发生在 Redis master 节点上，从不发生在 slave 节点上。但是，它们会发生在各种 Redis 命令中，例如 GET 和 SET。
• 当这些超时突发时，调用来自单个 API 服务器，但恰好与各种 Redis 节点通信。例如，API3 可能会在尝试调用 Cache1、Cache2 和 Cache3 时出现一系列超时。这有力地证明了问题与 API 服务器有关，而不是与 Redis 服务器有关。
• Redis 主节点有 108 个连接的客户端。我记录当前连接，这个数字保持稳定。连接没有大的峰值，看起来没有任何错误代码创建过多连接或不共享 ConnectionMultiplexer 实例(我有一个，它是静态的)
• Redis 从节点有 58 个连接的客户端，这看起来也完全稳定。
• 我们使用的是 StackExchange.Redis 版本 1.2.6
• Redis采用AOF模式，磁盘大小约为195MB

这是一个超时异常示例。大多数看起来与此几乎相同:

Type=StackExchange.Redis.RedisTimeoutException,Message=Timeout performing GET limeade:allActivities, inst: 1, mgr: ExecuteSelect, err: never, queue: 0, qu: 0, qs: 0, qc: 0, wr: 0, wq: 0, in: 0, ar: 0, clientName: LIMEADEAPI4, serverEndpoint: 10.xx.xx.11:7000, keyHashSlot: 1295, IOCP: (Busy=0,Free=1000,Min=2,Max=1000), WORKER: (Busy=9,Free=32758,Min=2,Max=32767) (Please take a look at this article for some common client-side issues that can cause timeouts: http://stackexchange.github.io/StackExchange.Redis/Timeouts),StackTrace= at StackExchange.Redis.ConnectionMultiplexer.ExecuteSyncImpl[T](Message message, ResultProcessor1 processor, ServerEndPoint server) at StackExchange.Redis.ConnectionMultiplexer.ExecuteSyncImpl[T](Message message, ResultProcessor1 processor, ServerEndPoint server) at StackExchange.Redis.RedisBase.ExecuteSync[T](Message message, ResultProcessor1 processor, ServerEndPoint server) at StackExchange.Redis.RedisDatabase.StringGet(RedisKey key, CommandFlags flags) at Limeade.Caching.Providers.RedisCacheProvider1.Get[T](K cacheKey, CacheItemVersion& cacheItemVersion) in ...

我对追踪这些超时异常做了一些研究，但令人惊讶的是所有数字都是零。队列中没有任何东西，没有等待处理的东西，我有大量线程空闲并且没有做任何事情。一切看起来都很棒。

有人知道如何解决这个问题吗？问题是这些突发的缓存超时导致我们的数据库受到更多的攻击，在某些情况下这是一件坏事。我很乐意添加任何对任何人都有帮助的信息。

更新:连接代码

连接到 Redis 的代码是一个相当复杂的系统的一部分，该系统支持各种缓存环境和配置，但我可能可以将其归结为基础。首先，有一个 CacheFactory 类:

public class CacheFactory : ICacheFactory
{
    private static readonly ILogger log = LoggerManager.GetLogger(typeof(CacheFactory));
    private static readonly ICacheProvider<CacheKey> cache;

    static CacheFactory()
    {
        ICacheFactory<CacheKey> configuredFactory = CacheFactorySection.Current?.CreateConfiguredFactory<CacheKey>();
        if (configuredFactory == null)
        {
           // Some error handling, not important
        }

        cache = configuredFactory.GetDefaultCache();
    }

    // ...
}

ICacheProvider 实现了一种与特定缓存系统对话的方式，可以配置。在这种情况下，configuredFactory 是一个 RedisCacheFactory，如下所示:

public class RedisCacheFactory<T> : ICacheFactory<T> where T : CacheKey, ICacheKeyRepository
{
    private RedisCacheProvider<T> provider;
    private readonly RedisConfiguration configuration;

    public RedisCacheFactory(RedisConfiguration config)
    {
        this.configuration = config;
    }

    public ICacheProvider<T> GetDefaultCache()
    {
        return provider ?? (provider = new RedisCacheProvider<T>(configuration));
    }
}

GetDefaultCache 方法在静态构造函数中被调用一次，并返回一个 RedisCacheProvider。这个类是实际连接到 Redis 的类:

public class RedisCacheProvider<K> : ICacheProvider<K> where K : CacheKey, ICacheKeyRepository
{
    private readonly ConnectionMultiplexer redisConnection;
    private readonly IDatabase db;
    private readonly RedisCacheSerializer serializer;
    private static readonly ILog log = Logging.RedisCacheProviderLog<K>();
    private readonly CacheMonitor<K> cacheMonitor;
    private readonly TimeSpan defaultTTL;
    private int connectionErrors;

    public RedisCacheProvider(RedisConfiguration options)
    {
        redisConnection = ConnectionMultiplexer.Connect(options.EnvironmentOverride ?? options.Connection);
        db = redisConnection.GetDatabase();
        serializer = new RedisCacheSerializer(options.SerializationBinding);
        cacheMonitor = new CacheMonitor<K>();
        defaultTTL = options.DefaultTTL;

        IEnumerable<string> hosts = options.Connection.EndPoints.Select(e => (e as DnsEndPoint)?.Host);
        log.InfoFormat("Created Redis ConnectionMultiplexer connection.  Hosts=({0})", String.Join(",", hosts));
    }

    // ...
 }

构造函数基于已配置的 Redis 端点(位于某些配置文件中)创建一个 ConnectionMultiplexer。每次创建连接时我也会记录。我们没有看到任何过多的这些日志语句，并且与 Redis 的连接保持稳定。

最佳答案

在 global.asax 中，尝试添加:

protected void Application_Start(object sender, EventArgs e)
{
    ThreadPool.SetMinThreads(200, 200);
}

对我们来说，这将错误从每天约 50-100 个减少到零。我认为对于要设置的数字没有一般规则，因为它取决于系统(200 对我们有效)，因此您可能需要进行一些试验。

我也相信这提高了网站的性能。

关于redis - 使用 StackExchange.Redis 的 RedisTimeoutException 突发，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51936394/