最近在写毕业设计,我的毕业设计就是用Rust语言实现一个Bittorrent客户端协议及其拓展协议,顺便写个Web让这个玩意能跑起来用。
总之就是要实现一个类似迅雷的下载器。下载器嘛,肯定要有限速功能的,不然吃满带宽导致其他应用饿死(BT下载尤其如此,因为是多连接多线程多任务下载,网络好的情况下真的很容易完全吃满网速导致其需要网络的应用根本不能用,不仅下载带宽会被吃满,上传带宽也会被吃满)。
通常实现下载限速的方式就是固定时间内传输固定字节数量。对于单任务单连接单线程来说,很好实现,直接传输完了就开始sleep就完事了。但是对于多任务多连接多线程来说,如何做到让所有正在传输的线程的总和加起来的速度不超过设定值是一个让我头疼的问题。
所以我需要设计一个限速的方法或者说架构,来实现多线程多任务多连接下载。思考之前也在往上搜索了相关的资料,没有找到适合这个场景的方法。只能自己想一个喽。

低耦合高内聚。不同的模块之间虽然是包含关系,大部分操作通过信息的传递来进行控制。
主进程可以设置全局限速,TASK可以设置TASK限速及TASK本身优先级,connect也可以单独设置限速及优先级。(优先级本质上是资源分配权重)
在BT下载中,速度通常来说分别有下载速度以及上传速度,这都是速度,只是方向不同,因此统一用速度来代替下载和上传两种速度,下载和上传除了方向不作区分。
物理中的定义,速度分为平均速度和瞬时速度。瞬时速度就是时间无限小之内的位移除以时间。那么在下载中的速度一般指瞬时速度,但是一般来说,如果要得到瞬时速度,那么基本上程序都用来算速度而不是逻辑执行以及网络传输了。所以这里的速度一般指的就是固定时间内,字节传输的平均速度。假设1s传输了100字节,那就是100Byte Per Second (100bps)。因此软件实现测速就是固定间隔时间,计算在这段时间内传输的总字节数。很简单的事情。
再深入一些,什么是限制速度?限制速度本质上就是限制一段时间内传输的字节数量。也就是限制流量。想到这一刻的时候,我豁然开朗!对啊,速度也是一种资源,和内存一样,是一种可以消耗的资源。
因此在多线程多模型多连接的传输场景下,实现限速,就可以使用“速度是资源”这一思想。要做的就是资源的分配,而且这种资源的分配不会像内存分配那样产生内部碎片和外部碎片。因为流量本身就是连续的,是一种流。根本不用实现类似buddy系统+slab系统这种较为复杂的资源分配器。也不存在资源的返还,用了就是用了,不用还的。
在我的设想中,资源(速度)的分配主要就分为两种方式。
实现思路
在第一种方式中,主进程每隔一段时间扫描所有task,然后根据限速及优先级综合分配资源。TASK线程每隔一段时间扫一遍connect,将自己有的资源分配给connect。
在这种方式中,我们首先要保证公平性,也就是如果两个task优先级一样,并且连接性能理想化(也就是假设不给限速,带宽就是无限大)。需要分配的资源是相同的,也就是在实际下载中,速度相同。如果优先级不同,则根据优先级分配资源。
同样的我们还需要保证高效率低浪费,对于同一个task下的所有connect,假设connect连接优先级均等同,那么这时候哪个连接的性能越好,其速度应该越高。因为如果均使用平均分配的方式,那么连接性能好的connect会饥饿,但是连接差的connect会过饱。多劳多得,本质上也是一种公平。
同时,还需要防止资源的“垄断”。因为如果连接性能越好,获得的资源越多,那么资源越多的情况下有时候会反应更好的连接性能,这时候就造成了垄断。
因此,还需要一个方案来测算真实连接性能。
在一段时间内,有传输时间,有等待资源获取时间。那么有效的时间就是传输时间,而不是资源获取时间。因此实际连接性能应该根据 (流量/有效传输时间) 来测算,这样可以保持公平性。
资源的浪费会导致达不到设置的速度。
架构优点
架构缺点及问题
参考内存分配的方式,内存分配一般都是程序向操作系统提出申请,然后操作系统作出反应来分配内存。
实现思路
固定每次分配的流量大小,每次申请均返回固定大小的资源。当connect用完资源后才去申请。task响应connect的申请,主进程响应task的申请。
要保证一段时间内保证可以分配匹配限速的资源数量,不然会导致task的流量堆积。
架构优点
架构缺点
todo
todo
如果错误之处,一定要指出来!
感谢你的阅读。
我试图在一个项目中使用rake,如果我把所有东西都放到Rakefile中,它会很大并且很难读取/找到东西,所以我试着将每个命名空间放在lib/rake中它自己的文件中,我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题,但没有任务。我现在只有一个.rake文件作为测试,名为“servers.rake”,它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
如何使用RSpec::Core::RakeTask初始化RSpecRake任务?require'rspec/core/rake_task'RSpec::Core::RakeTask.newdo|t|#whatdoIputinhere?endInitialize函数记录在http://rubydoc.info/github/rspec/rspec-core/RSpec/Core/RakeTask#initialize-instance_method没有很好的记录;它只是说:-(RakeTask)initialize(*args,&task_block)AnewinstanceofRake
我正在使用Sequel构建一个愿望list系统。我有一个wishlists和itemstable和一个items_wishlists连接表(该名称是续集选择的名称)。items_wishlists表还有一个用于facebookid的额外列(因此我可以存储opengraph操作),这是一个NOTNULL列。我还有Wishlist和Item具有续集many_to_many关联的模型已建立。Wishlist类也有:selectmany_to_many关联的选项设置为select:[:items.*,:items_wishlists__facebook_action_id].有没有一种方法可以
我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样?我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用,需要1秒才能返回,我有100,000多个页面要访问,所以我试图运行多个线程来解决这个问题。有更好的方法吗?classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("
我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden
我使用的是Firefox版本36.0.1和Selenium-Webdrivergem版本2.45.0。我能够创建Firefox实例,但无法使用脚本继续进行进一步的操作无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055)错误。有人能帮帮我吗? 最佳答案 我遇到了同样的问题。降级到firefoxv33后一切正常。您可以找到旧版本here 关于ruby-无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055),我们在StackOverflow上找到一个类
华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o
C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.
MIMO技术的优缺点优点通过下面三个增益来总体概括:阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下,MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中,可以获得复用增益,即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中,可以获得分集增益,即可靠性性能的改善。分集增益用独立衰落支路数来描述,即分集指数。在使用了空时编码的MIMO系统中,由于接收天线或发射天线之间的间距较远,可认为它们各自的大尺度衰落是相互独立的,因此分布式MIMO
遍历文件夹我们通常是使用递归进行操作,这种方式比较简单,也比较容易理解。本文为大家介绍另一种不使用递归的方式,由于没有使用递归,只用到了循环和集合,所以效率更高一些!一、使用递归遍历文件夹整体思路1、使用File封装初始目录,2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组,取出每个File对象4-1、如果File是否是一个文件,打印4-2、否则就是一个目录,递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg