要实战之前,要有数据和软件两样。
从网上下载数据,最好的办法是本节最后的方法直接用sratoolkit里的fastq-dump命令。
下面的是学习过程,但是走弯路了,——按照day18更新版本操作更简便,而且直接能转换成样本名称
和视频里不一样。
可以详见手把手教你如何从GEO下载数据。
方法一:从网页下,需要在NCBI的GEO数据库中进入相应的GEO Series (GSE) study ID,如GSE42466。再选择要下载的样本GEO Sample (GSM) 样本ID,如GSM1041372 Ring1B_ChIPSeq。再点击RSA格式的文件编号,如| SRP017311。在右上角sent里面选择File,format选择run info。就会下载一个scv文件,里面有 download_path选项。copy到浏览器里就会自动下载啦。看下载进程600多M的文件大约0.5-4小时。
SRA为了节省空间,一般上传的数据都是.sra的压缩文件,那我们如何将sra文件转化成常用的双端数据呢?这里就要用到SRA提供的一个工具:fastq-dump,
这个软件需要在Linux系统下进行操作,命令行如下:
fastq-dump *.sra --split-3
这里的--split-3会把原来双端拆分成两个文件,但是原来单端并不会保存成两个文件。运行完成后就能获得原始数据了。
方法二:从Linux系统直接下载,也需要提前在网页的GEO数据库中找到GSE42466,再点击SRA对应的ID:SRP017311 ,会出现6个文件。全部选中之后,点击sent to,选择File 和runinfo,会把这六个数据的信息全都保存在csv文件中。

发现这个地址和jimmy大神写指南时不一样了哦。
for ((i=204;i<=209;i++)) ;do wget https://sra-pub-run-odp.s3.amazonaws.com/sra/SRR620$i/SRR620$i;done
找到下载地址为:https://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/3.0.0/sratoolkit.3.0.0-ubuntu64.tar.gz
可以在linux里面下载直接安装哦。
$ wget -c --no-check-certificate https://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/3.0.0/sratoolkit.3.0.0-ubuntu64.tar.gz # --no-check-certificates 使用“不检查证书”,这样就能下载成功。且option要放到地址的前面哦。
$ tar -xzvf sratoolkit.3.0.0-ubuntu64.tar.gz #解压缩
$ echo 'export PATH=$PATH:~/software/sratoolkit/sratoolkit.3.0.0-ubuntu64/bin' >> ~/.bashrc
$ source ~/.bashrc
试图运行程序,提示"libc.so.6: version `GLIBC_2.14’ not found",原因是系统的glibc版本太低,软件编译时使用了较高版本的glibc引起的:
查看系统glibc支持的版本:
$strings /lib64/libc.so.6 | grep GLIBC

http://ftp.gnu.org/gnu/glibc/找2.14
$wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz #从ftp下载加了-n这个参数怎么就不行了呢?删掉就可以了。
$wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.14.tar.gz
$tar -xvf glibc-2.14.tar.gz
$tar -xvf glibc-ports-2.14.tar.gz
$mv glibc-ports-2.14 glibc-2.14/ports
$mkdir glibc-2.14/build
$cd glibc-2.14/build
#下面运行configure配置,make && make install
$~/glibc-2.14/configure --prefix=/data/zds209/usr/local/glibc-2.14/lib--disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
#configure 一定要指定路径。上面这一步在运行了glibc-2.14文件夹里面的configure文件。该条命令会在工作目录~/glibc-2.14/build生成Makefile和其他文件。没有root权限,要把prefix设定成自己指定的。
$make #在工作目录~/glibc-2.14/build下进行编译。要挺长时间约2小时,看着一行行跳动的字符,由衷佩服这些代码的创作者。。有人用参数-j4,让make最多允许4个编译命令同时执行,这样可以更有效的利用CPU资源。
$make install #安装,就是把编译出来的二进制文件,库,配置文件等等放到相应目录下-就是configuration里面指定的prefix吧。
没有root权限,需要添加路径到.bashrc,在bashrc里面填下面一行。
export LD_LIBRARY_PATH=/home/username/usr/local/glibc-2.14/lib:$LD_LIBRARY_PATH#这里PATH后面的路径应该就是configuration时候的prefix啦。
结局:
在我折腾第二次make的时候等待中,实在忍不住了,给网管大神发了求助信息。他只回了一句:执行一下这个 export LD_LIBRARY_PATH=/data/software/glibc-2.141/lib:$LD_LIBRARY_PATH原来大神在公共文件夹下已经放了2.14在里面,我只要做网上教程里最后一个操作——添加环境变量就行了,简直不要太爽。要不要请大神吃个饭?
在前面make的长时间等待中加餐点儿知识。代码变成可执行文件,叫做编译(compile);先编译这个,还是先编译那个(即编译的安排),叫做构建(build)。
Make可以从一个名为makefile的文件中获得如何构建你所写程序的依赖关系,Makefile中列出了每个目标文件以及如何由其他文件来生成它。 当你编写一个程序时,你可以为它编写一个makefile文件,这样你就可以使用Make来编译和安装这个程序。
参数解释
--prefix:指定生成的lib库运行时保存的路径(要写绝对路径)。最终一直glibc交付件时存放位置必须要和prefix指定路径保持一致。
使用前在sratoolkit的安装目录下,先输入这个命令vdb-config --interactive,按入字母x。即可。
单个文件下载+格式转换
#定义存放输出数据的文件夹,需要先创建这个文件夹‘fastq’
mkdir fastq
$fqdir=~/ChIP-seqtest/data/fastq
$fastq-dump --gzip --split-3 -X 25000 -O ${fqdir} SRR1039510 #转换单个文件,而且不用下载sra数据,直接输入SRR号码就可以啦。完美。25000这是测试用的,只转换前25000条数据。实际操作中不用这个参数。
批量下载+格式转换
建立样本名文件sample.ID
建立sh文件,vim。
fqdir=~/ChIP-seqtest/data/fastq
cat ~/ChIP-seqtest/data/sample.ID | while read id
do
fastq-dump --gzip --split-3 -O ${fqdir} ${id}
done
#保存为sh脚本 提交后台运行命令,脚本文件后缀为.sh
sra2fq.sh 文件放到software/sratoolkit下面,以后就可以调用啦。第一次独立写脚本,开心。
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
我正在编写一个小脚本来定位aws存储桶中的特定文件,并创建一个临时验证的url以发送给同事。(理想情况下,这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针,它似乎不符合这个标准,但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A
当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub
有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD
?博客主页:https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创,首发于CSDN??学习专栏推荐:Unity系统学习专栏?游戏制作专栏推荐:游戏制作?Unity实战100例专栏推荐:Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正!?未来很长,值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------
本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01 客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02 数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co
我正在尝试在Rails上安装ruby,到目前为止一切都已安装,但是当我尝试使用rakedb:create创建数据库时,我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf