最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

超強(qiáng)高速下載利器:Aspera

2023-08-25 09:30 作者:爾云間  | 我要投稿


最近小云在下載測序原始數(shù)據(jù)時(shí),因?yàn)闇y序數(shù)據(jù)量多,而且服務(wù)器大多都在國外,所以下載速度特別慢,于是想要尋求高效下載的方法。經(jīng)過一番搜尋,終于發(fā)現(xiàn)一款超強(qiáng)高速下載利器,它就是Aspera!

一、為什么選用Aspera

在我們下載測序數(shù)據(jù)的時(shí)候,通常使用 sra-tools 中的 prefetch 功能來下載測序數(shù)據(jù)。該工具可以通過 SRR 號從 NCBI 的 SRA 數(shù)據(jù)庫中下載 SRA 文件。但是,使用這種方法下載速度會有所限制,并且需要額外的步驟將 SRA 文件轉(zhuǎn)化為 FASTQ 文件。此外,該過程中還會消耗大量時(shí)間和計(jì)算資源。因此,我們選用Aspera軟件,從EBI(European Bioinformatics Institute)的ENA(European Nucleotide Archive)數(shù)據(jù)庫直接下載FASTQ格式文件。這樣做的好處是使得下載速度有了很大程度上的提升。

二、Aspera的下載和安裝

在這里,小果推薦使用conda安裝,因?yàn)檫@是最為簡單方便的方法,具體的步驟如下:

#激活conda環(huán)境
conda activate rna

#安裝apsera
conda install -c hcc aspera-cli

按照上述的步驟,首先我們要先激活conda的環(huán)境,然后使用conda命令進(jìn)行安裝,如圖所示,在出現(xiàn)了Proceed([y]/n)?,即是否繼續(xù)安裝時(shí)候,輸入"y"字符,即可繼續(xù)安裝。

在這里需要注意的是安裝完成后需打開提供的鏈接點(diǎn)擊“submit”,同意軟件條款。

之后,我們可以檢查看看是否安裝成功,通過輸入ascp -h,有輸出幫助文檔的話,則代表安裝成功

?

二、通過EBI搜索Aspera下載鏈接

在這里我們先打開ENA網(wǎng)站(https://www.ebi.ac.uk/ena/browser/home),它是一個(gè)歐洲核苷酸存儲庫,是世界上最大的公共核酸序列數(shù)據(jù)庫之一。該數(shù)據(jù)庫收集、存儲和分發(fā)來自全球各地的核酸序列和相關(guān)的實(shí)驗(yàn)數(shù)據(jù),包括DNA、RNA和原核生物的基因組數(shù)據(jù)、轉(zhuǎn)錄組數(shù)據(jù)等。

在如圖的步驟一中搜索BioProject或SRR編號(如:PRJNA812958或SRR18231894),找到所需的項(xiàng)目或SRA數(shù)據(jù),點(diǎn)擊“Show Column Selection”勾選sra_aspera信息,然后直接點(diǎn)擊復(fù)制SRA Aspera下載地址,或者在步驟二中下載TSV文件獲取SRA Aspera下載地址,其中最后一列的紅色箭頭即為Aspera下載地址信息。

如圖所示,我們可以看到下載好PRJNA812958的tsv文件

三、利用SRR號批量下載FASTQ數(shù)據(jù)或SRA數(shù)據(jù)

當(dāng)然,如果已經(jīng)獲取到 SRR 號,我們還可以通過腳本直接下載對應(yīng)的數(shù)據(jù),無需訪問 EBI 網(wǎng)站以獲取鏈接。

首先我們先來看看如何下載單個(gè)數(shù)據(jù):

ascp ?-vQT -l 50m -P33001 -k 1 -i ~/miniconda3/envs/rna/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/srr/SRR182/094/SRR18231894 ?./

·?ascp:Aspera Connect 工具的命令名稱。

·?-v:啟用詳細(xì)模式,顯示實(shí)時(shí)狀態(tài)和統(tǒng)計(jì)信息。

·?-QT:禁用傳輸窗口,以提高文件傳輸速度。

·?-l 50m:設(shè)置每個(gè)數(shù)據(jù)塊的大小為 50 MB。

·?-P33001:指定服務(wù)器的端口號為 33001。

·?-k 1:開啟加密傳輸模式,并使用默認(rèn)的安全密鑰。

·?-i ~/miniconda3/envs/rna/etc/asperaweb_id_dsa.openssh:指定 Aspera Connect 工具所使用的私鑰。

·?era-fasp@fasp.sra.ebi.ac.uk:/vol1/srr/SRR182/094/SRR18231894:指定要下載的 SRA 文件所在的服務(wù)器地址和路徑。

·?./:指定下載文件的保存路徑,即當(dāng)前目錄。

在執(zhí)行了以上命令之后,該命令就會使用 Aspera Connect 工具下載指定的 SRA 文件到當(dāng)前目錄中。在執(zhí)行該命令前,需要確保已經(jīng)在本地計(jì)算機(jī)上安裝了 Aspera Connect 工具,并且具備訪問遠(yuǎn)程服務(wù)器的權(quán)限。

接下來看看批量下載數(shù)據(jù):

我們將搜索得到的Aspera下載地址(如上圖中的tsv文件的高亮部分)存入“aspera_links.txt”文件。運(yùn)行以下命令進(jìn)行批量下載:

cat aspera_links.txt | while read x; do ascp -vQT -l 50m -P33001 -k 1 -i ~/miniconda3/envs/rna/etc/asperaweb_id_dsa.openssh era-fasp@$x ?./; done

因此,在執(zhí)行完該命令之后,將會循環(huán)讀取 aspera_links.txt 文件中的每個(gè)鏈接,將鏈接作為服務(wù)器地址,然后使用 Aspera Connect 工具下載對應(yīng)的 SRA 數(shù)據(jù)文件到當(dāng)前目錄中。

需要注意的地方是,我們在這里下載的SRA文件沒有.sra后綴,格式轉(zhuǎn)換前需要先改名:

cat SRR_Acc_List.txt | while read x; do mv $x $x.sra; done

在執(zhí)行完該命令之后,將會循環(huán)讀取 SRR_Acc_List.txt 文件中的每個(gè)文件名,將文件名添加 .sra 擴(kuò)展名,并將原來的文件名改為新名稱。

好啦,以上就是對Aspera的一個(gè)基礎(chǔ)介紹啦!大家可以在自己的虛擬機(jī)或者服務(wù)器上面使用conda下載好Aspera,然后使用對應(yīng)的指令對測序原始數(shù)據(jù)進(jìn)行下載吧!相信效率和之前相比也會大幅度提升呢!


超強(qiáng)高速下載利器:Aspera的評論 (共 條)

分享到微博請遵守國家法律
西城区| 大港区| 莱阳市| 襄樊市| 潼关县| 昌吉市| 陕西省| 茶陵县| 齐河县| 平潭县| 十堰市| 赤水市| 丰台区| 类乌齐县| 东乡| 横山县| 临夏县| 乐业县| 平果县| 永仁县| 芮城县| 陇西县| 北流市| 南华县| 白山市| 固原市| 陇南市| 合作市| 五常市| 泰兴市| 城固县| 洛川县| 榕江县| 平凉市| 涿鹿县| 孝昌县| 林口县| 黄梅县| 元江| 化隆| 大同市|