草庐IT

用k-mer分析进行基因组调查:(二)用jellyfish进行k-mer频数统计

生信技工 2023-03-28 原文

(全文约1520字)

【推荐】用Smudgeplot评估物种倍性后,用组合jellyfish+GenomeScope1.0做二倍体物种的基因组调查,用组合KMC+GenomeScope2.0做多倍体物种的基因组调查。

1. k-mer进行基因组调查的软件

k-mer进行基因组调查分为k-mer频数统计基因组特征评估两步。

  • jellyfish可以实现第一步k-mer频数统计。
  • jellyfish的结果sample.histo可以用在GenomeScope上,实现第二步基因组特征评估。

2. jellyfish 简介

jellyfish是Center for Bioinformatics and Computational Biology在2011年研发的一款对DNA的k-mers计数的软件,用Hash表储存数据,能多线程运行。

3. jellyfish 安装

  1. conda安装
  • conda install -c bioconda jellyfish #安装的是v2.2.10
  1. github安装

4. jellyfish 运行

一般先用jellyfish count进行k-mer计数,然后用jellyfish histo对结果进行统计,获得k-mer的频数分布直方表sample.histo。

4.1. count —— k-mer计数

  1. 命令

jellyfish count -m 17 -s 10G -t 12 -C -o sample.jf <(zcat sample_1.fq.gz) <(zcat sample_2.fq.gz)

  1. 参数
  • sample_1.clean.fq sample_2.clean.fq

    使用的PE reads,不支持压缩格式*.fq.gz输入文件,如果不解压缩,也可以用<(zcat sample_1.fq.gz) <(zcat sample_2.fq.gz)代替sample_1.fq sample_2.fq; 或者使用这种形式zcat *fq.gz | jellyfish count /dev/fd/0,其中/dev/fd/0是进程输入标志,代表管道前结果传递。

  • -m 17

    k-mer长度设置为17bp。如果基因组大小为G(单位是bp),k-mer长度推荐设置成log(200*G)/log(4)。500Mbp的基因组对应约为17,1Gbp的19,10Gbp的21。

  • -s 1000M

    存储用的hash表大小为1000M,这个参数识别单位M(Mbp)和G(Gbp)。若该值不够大,则会生成多个hash文件,以数字区分文件名。最好设置的值大于总的独特的(distinct)k-mer数,这样生成的文件只有一个。如果基因组大小为G,每个reads有一个错误,总共有n条reads,则该值可以设置为[(G + n)/0.8]。

  • -t 12

    线程12

  • -C

    对DNA正负链都进行统计,表示考虑DNA正义与反义链,遇到反义kmer时,计入正义kmer频数中。如果是双端测序reads,需要这个参数。

  • -o sample.jf

    结果文件名为sample.jf,会生成k-mer计数文件sample.jf,是hash的二进制文件。

  • c 7

    k-mer的计数结果所占的最大比特数,默认支持的最大数字是2^7=128。该值最大,消耗内存越大。

  • -out-counter-len=4

    输出的二进制hash文件中的计数结果所占的字节数,一个字节是8比特,则默认支持的最大数字是2^32=4.3G。

  • 不推荐用-Q,会将低质量的碱基替换成N。

  • -L

    不输出低于此值的k-mer

  • -U

    不输出高于此值的k-mer

  1. 输出
  • sample.jf

    hash格式储存的k-mer频数文件

4.2. histo —— 统计k-mer频率

  1. 命令

jellyfish histo -t 12 sample.jf > sample.histo

统计k-mer计数(sample.jf)得到k-mer频数分布直方表(sample.histo)。

  1. 参数
  • -t 12

    线程12。

  • -l 1

    x的最小值,默认是1。结果会将小于此值的所有的k-mer的数目作为(x‐1)的值总结到一行。

  • -h 10000

    x的最大值,默认是10000。结果会将大于此值的所有的k-mer的数目作为(x+1)的值总结到一行。

  • -i 1

    x轴取值间隔,每隔该数值取值,默认为1。

  1. 结果
  • k-mer频数分布直方表(sample.histo)包含空格分隔的两列数据。
  • 第一列代表k值出现的次数x(x=1,2,3...),第二列是出现了x次的kmer的种类的数量y。
  • sample.histo的两列即是kmer分布频率直方图的x和y轴的值。

4.3. merge 合并【按需选择】

如果jellyfish count模块输出结果的二进制hash文件有多个,需要将多个hash文件合并,合并到merge.jf。

jellyfish merge sample_hash1.jf sample_hash2.jf sample_hash3.jf -o merge.jf

4.4. stats 统计【可选】

jellyfish stats sample.jf -o counts_stats.txt

可以用stats模块来统计出k-mer总数(Total),特异的k-mer数目(Distinct),只出现过一次的k-mer数量(Unique),频数最高的k-mer数量(Max_count)等信息。

5. 基因组特征评估

获得k-mer频数分布表sample.histo后,推荐用GenomeScope1.0或者GenomeScope2.0或者GenomeScope的R脚本来做基因组特征评估和画图。也可直接用R绘制sample.histo的频率分布直方图/频率分布曲线。

5.1. GenomeScope 网页版

5.1.1. GenomeScope1.0 网页版 —— 适用于二倍体物种

  1. GenomeScope1.0 网页版上传前一步获得的k-mer频数分布表sample.histo文件。
  2. 设置参数k-mer length为第一步选择的k-mer长度值,这里是17;参数Read length为序列读长,一般为150;最后一个参数Max kmer coverage建议修改成更大的10000,以统计更多的k-mers。
  3. 结果显示预估的基因组大小,杂合度,重复率等信息。

5.1.2. GenomeScope2.0 网页版 —— 适用于多倍体物种

GenomeScope2.0 网页版也是类似的步骤。

5.2. R绘制

R绘制k-mer频数分布曲线初步查看基因组特征。
获得kmer_plot.png为频数分布曲线,可根据曲线峰值对基因组大小进行计算和预估。

#R 脚本示例
kmer <- read.table('sample.histo')
kmer <- subset(kmer, V1 >=5 & V1 <=500) #对频数范围5-500的数据进行绘制 
Frequency <- kmer$V1
Number <- kmer$V2
png('kmer_plot.png')
plot(Frequency, Number, type = 'l', col = 'blue')
dev.off()

6. references

  1. jellyfish paper:https://academic.oup.com/bioinformatics/article/27/6/764/234905?login=true
  2. jellyfish github:https://github.com/gmarcais/Jellyfish
  3. jellyfish参数推荐:https://www.bilibili.com/read/cv16360242
  4. chenlianfu blog: jellyfish参数推荐:http://www.chenlianfu.com/?p=806

有关用k-mer分析进行基因组调查:(二)用jellyfish进行k-mer频数统计的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  2. ruby-on-rails - 按天对 Mongoid 对象进行分组 - 2

    在控制台中反复尝试之后,我想到了这种方法,可以按发生日期对类似activerecord的(Mongoid)对象进行分组。我不确定这是完成此任务的最佳方法,但它确实有效。有没有人有更好的建议,或者这是一个很好的方法?#eventsisanarrayofactiverecord-likeobjectsthatincludeatimeattributeevents.map{|event|#converteventsarrayintoanarrayofhasheswiththedayofthemonthandtheevent{:number=>event.time.day,:event=>ev

  3. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  4. ruby - 如何进行排列以有效地定制输出 - 2

    这是一道面试题,我没有答对,但还是很好奇怎么解。你有N个人的大家庭,分别是1,2,3,...,N岁。你想给你的大家庭拍张照片。所有的家庭成员都排成一排。“我是家里的friend,建议家庭成员安排如下:”1岁的家庭成员坐在这一排的最左边。每两个坐在一起的家庭成员的年龄相差不得超过2岁。输入:整数N,1≤N≤55。输出:摄影师可以拍摄的照片数量。示例->输入:4,输出:4符合条件的数组:[1,2,3,4][1,2,4,3][1,3,2,4][1,3,4,2]另一个例子:输入:5输出:6符合条件的数组:[1,2,3,4,5][1,2,3,5,4][1,2,4,3,5][1,2,4,5,3][

  5. ruby - 即使失败也继续进行多主机测试 - 2

    我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时,测试会在当前主机停止。即使测试失败,我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r

  6. ruby - 是否可以覆盖 gemfile 进行本地开发? - 2

    我们的git存储库中目前有一个Gemfile。但是,有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它,我必须将它添加到我们的Gemfile中,但每次我checkout到我们的master/dev主分支时,由于与跟踪的gemfile冲突,我必须删除它。我想要的是类似Gemfile.local的东西,它将继承从Gemfile导入的gems,但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗? 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI

  7. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反? - 2

    这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub

  8. ruby - 捕获 Ruby Logger 输出以进行测试 - 2

    我有一个像这样的ruby​​类:require'logger'classTdefdo_somethinglog=Logger.new(STDERR)log.info("Hereisaninfomessage")endend测试脚本行如下:#!/usr/bin/envrubygem"minitest"require'minitest/autorun'require_relative't'classTestMailProcessorClasses当我运行这个测试时,out和err都是空字符串。我看到消息打印在stderr上(在终端上)。有没有办法让Logger和capture_io一起玩得

  9. ruby - 按数字(从大到大)然后按字母(字母顺序)对对象集合进行排序 - 2

    我正在构建一个小部件来显示奥运会的奖牌数。我有一个“国家”对象的集合,其中每个对象都有一个“名称”属性,以及奖牌计数的“金”、“银”、“铜”。列表应该排序:1.首先是奖牌总数2.如果奖牌相同,按类型分割(金>银>铜,即2金>1金+1银)3.如果奖牌和类型相同,则按字母顺序子排序我正在用ruby​​做这件事,但我想语言并不重要。我确实找到了一个解决方案,但如果感觉必须有更优雅的方法来实现它。这是我做的:使用加权奖牌总数创建一个虚拟属性。因此,如果他们有2个金牌和1个银牌,加权总数将为“3.020100”。1金1银1铜为“3.010101”由于我们希望将奖牌数排序为最高的,因此列表按降序排

  10. ruby-on-rails - Sunspot:如何对具有不同值的多个字段进行全文查询? - 2

    我想用sunspot重现以下原始solr查询q=exact_term_text:fooORterm_textv:foo*ORalternate_text:bar*但我无法通过标准的太阳黑子界面理解这是否可能以及如何实现,因为看起来:fulltext方法似乎不接受多个文本/搜索字段参数我不知道将什么参数作为第一个参数传递给fulltext,就好像我通过了"foo"或"bar"结果不匹配如果我传递一个空参数,我得到一个q=*:*范围过滤器(例如with(:term).starting_with('foo*')(顾名思义)作为过滤器查询应用,因此不参与评分。似乎可以手动编写字符串(或者可能使

随机推荐