公司目前主要聚焦于视频这个领域，利用视频为媒体、文旅、会议等行业进行赋能。
既然聚焦于视频领域，那么视频转码则是绕不开的话题。
为了降低成本，以及保证产品的核心能力，公司自建了一套转码系统。
转码服务除了尽可能多的兼容业界的视频格式外，转码的速度是另一个非常重要的指标。
因为视频转码对用户来说，感知最强的就是视频转码速度。
假如用户上传了一个1分钟的视频，转码花了10分钟甚至更久的话，用户肯定就不愿意使用我们的产品了。
对于用户来说等待的时间越短越好，对于转码服务来说转码速度越快越好。
我们先从转码流程说起，在聊一聊目前系统存在的问题，以及为serverless改造所做的努力。
众所周知，转码是CPU密集型任务，一个长视频在单机上可能要转很久。但如果能用尽可能利用多的CPU去进行转码，那么转码速度将会大大加快。而现在丰富的云产品能够在短时间内提供大量的计算能力，以阿里云为例，阿里云提供了函数计算、Serverless应用引擎等serverless产品能够支撑起我们所需要的计算能力。
于是为了提高转码倍速，我们将
流程如下：
切片 转码 合并
输入视频 ------> （n个）转码任务 ------> （n个）转码结果 -----> 输出视频
再来看看我们的系统架构。
之前转码服务是一个应用，同时肩负着调度和转码的职责，其中：
上面有提到为了提高转码速度，我们会有多个转码服务实例进行转码，但是上面的系统架构会限制转码集群的实例数。
上面的系统架构中，转码服务既承担了转码职责，也承担了调度的职责（获取任务、以及更新任务状态）。不符合存储（Redis、MySQL等数据层）与计算分离，无法大规模快速获取计算能力。
因为承担了调度的职责就不可避免的要与Redis、MySQL打交道，启动服务时就要与Redis、MySQL建立连接，且不说建立大量的连接Redis、MySQL能不能承受的住，光是建立连接所需要花费的时间就是一笔很大的浪费。
为了提供大规模的转码计算能力，我们决定对转码服务进行改造。
改造的方案主要思路是将存储与计算分离，说大白话就是讲调度职责与转码职责进行分离，这样就可以只对转码计算能力进行扩容。
这里主要聊转码（计算）节点的改造点，主要有2个：
将转码（计算）节点的数据层访问操作全部都移除后，如何与调度服务进行通信呢？比如获取任务、提交转码结果需要通过调度服务访问Redis和MySQL。
一般有2种选择：dubbo或者http。我最终选择使用http进行通信。
这里先说一下为什么没有选择dubbo：还是上面所提到的、需要建立连接的问题，如果使用dubbo，那么就需要与zk等注册中心建立连接。而且如果发生大规模上下线（如发布）操作，那么势必给注册中心带来巨大的推送压力。
选择http进行通信，摆在眼前的第一个问题是：转码（计算）节点怎么知道调度节点的访问地址？
因为我们的服务部署在k8s集群中，借助k8s内部域名天然的解决了获取调度节点访问地址的问题。我们只需要访问调度节点在k8s中内部域名地址就可以访问到调度节点接口，而无需关系发布所带来的ip变化等情况。
使用http进行通信，调度节点除了需要做好优雅下线，避免http请求被意外终止；还需要做好数据幂等的措施。
作为云原生应用，不会常备很多计算资源，但是需要的时候希望马上就有，这就要求应用启动越快越好。
影响应用启动速度的主要有下面2点：
我们选择了阿里云 sae job作为serverless载体，sae job刚好有一个镜像加速的能力：拉镜像到启动镜像可以做到15s，还可以接受，这块就不展开了。
这块主要是尽可能的将非必须的代码移除，减少springboot扫描的bean，目前启动时间在6s左右。
另外也在尝试使用graalvm编译成本地可执行文件，测试的启动时间约1s左右。因为涉及到SpringBoot大版本变更以及JDK版本变更，这个方案还在测试，没有发布到生产环境。
serverless改造后的转码服务，带来的效果有2个：
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我
我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时，它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器？这是不可能的吗？谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..
最近，当我启动我的Rails服务器时，我收到了一长串警告。虽然它不影响我的应用程序，但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次？当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗？/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru
在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo
我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b
您如何在Rails中的实时服务器上进行有效调试，无论是在测试版/生产服务器上？我试过直接在服务器上修改文件，然后重启应用，但是修改好像没有生效，或者需要很长时间(缓存？)我也试过在本地做“脚本/服务器生产”，但是那很慢另一种选择是编码和部署，但效率很低。有人对他们如何有效地做到这一点有任何见解吗？ 最佳答案 我会回答你的问题，即使我不同意这种热修补服务器代码的方式:)首先，你真的确定你已经重启了服务器吗？您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除
require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器，我做错了什么？ 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame
我有一个使用PDFKit呈现网页的pdf版本的Rails应用程序。我使用Thin作为开发服务器。问题是当我处于开发模式时。当我使用“bundleexecrailss”启动我的服务器并尝试呈现任何PDF时，整个过程会陷入僵局，因为当您呈现PDF时，会向服务器请求一些额外的资源，如图像和css，看起来只有一个线程.如何配置Rails开发服务器以运行多个工作线程？非常感谢。 最佳答案 我找到的最简单的解决方案是unicorn.geminstallunicorn创建一个unicorn.conf:worker_processes3然后使用它:
关于如何使用git设置类似Dropbox的服务，您有什么建议吗？您认为git是解决此问题的合适工具吗？我在考虑使用git+rush解决方案，你觉得怎么样？ 最佳答案 检查这个开源项目:https://github.com/hbons/SparkleShare来自项目的自述文件:Howdoesitwork?SparkleSharecreatesaspecialfolderonyourcomputer.Youcanaddremotelyhostedfolders(or"projects")tothisfolder.Theseprojec
我将以下代码放在一起用于一个简单的RubyTFTP服务器。它工作正常，因为它监听端口69并且我的TFTP客户端连接到它，我能够将数据包写入test.txt，但我不只是写入数据包，我希望能够从我的客户端通过TFTP传输文件到/temp目录。预先感谢您的帮助!require'socket.so'classTFTPServerdefinitialize(port)@port=portenddefstart@socket=UDPSocket.new@socket.bind('',@port)whiletruepacket=@socket.recvfrom(1024)putspacketFile