Anaconda & Jupyter
面向深度學(xué)習(xí)環(huán)境用
Anaconda和Jupyter(筆記向)一、Anaconda軟件安裝二、Jupyter Notebook更改工作路徑切換內(nèi)核保存為Markdown三、安裝PyTorchGPU版本CPU版本四、Conda命令環(huán)境相關(guān)查看conda版本查看虛擬環(huán)境創(chuàng)建虛擬環(huán)境刪除虛擬環(huán)境激活環(huán)境關(guān)閉環(huán)境導(dǎo)入/導(dǎo)出環(huán)境(requirements.txt)1. 使用Conda2. 使用Pip導(dǎo)出/導(dǎo)入環(huán)境(yml)導(dǎo)出為yml文件導(dǎo)入yml文件包相關(guān)更改虛擬環(huán)境中Python解釋器的版本
一、Anaconda軟件安裝
下載
下載安裝包
,或者復(fù)制下面的網(wǎng)址到瀏覽器地址欄搜索下載https://www.anaconda.com/download/
后面會使用虛擬環(huán)境,所以conda的base環(huán)境中python的版本并不重要,創(chuàng)建虛擬環(huán)境時會設(shè)置新環(huán)境中的python解釋器的版本。
安裝
安裝時 just me 和 all users,選擇 just me
可以安裝到D盤,D:\Program Files\Anaconda
注意最后Advanced Options不建議選擇的方框(不建議在這里添加環(huán)境變量)
配置anaconda的環(huán)境變量
右鍵此電腦→屬性→高級系統(tǒng)設(shè)置→(系統(tǒng)屬性\高級)環(huán)境變量→系統(tǒng)變量中選中Path →編輯→新建→添加下面的三個路徑→確定
D:\Program Files\Anaconda
D:\Program Files\Anaconda\Scripts
D:\Program Files\Anaconda\Library\bin
若此前用戶為其他多余Python解釋器添加過環(huán)境變量,請刪除,否則anaconda的環(huán)境變量會被擠掉。
更改默認(rèn)啟動環(huán)境
找到安裝位置下的
Anaconda\Scripts
中的activate.bat
修改其中的為自己的環(huán)境名。
@CALL "%~dp0..\condabin\conda.bat" activate %*
修改為:(其中normal為自己的環(huán)境名)
@CALL "%~dp0..\condabin\conda.bat" activate normal
二、Jupyter Notebook
更改工作路徑
選擇一個目錄新建文件夾作為工作路徑,比如我這里設(shè)置為
D:\myProject\Jupyter
打開anaconda附帶安裝的Prompt,輸入下面的命令
?jupyter notebook --generate-config打開
C:\User\用戶名\.jupyter
(用戶名替換為自己的)文件夾,用記事本打開jupyter_notebook_config.py文件修改其中的
?# c.NotebookApp.notebook_dir = ''為下面的內(nèi)容,并去掉前面的#號
?c.NotebookApp.notebook_dir = 'D:\myProject\Jupyter'找到Jupyter Notebook的快捷方式
右鍵→屬性→(快捷方式)目標(biāo)→刪除jupyter-notebook-script.py后面的內(nèi)容(即 "%USERPROFILE%/")包括空格→應(yīng)用→確定
切換內(nèi)核
Jupyter的默認(rèn)內(nèi)核為Python 3(ipykernel),我們把kernel切換為自己的虛擬環(huán)境,在自己創(chuàng)建的虛擬環(huán)境中運行。
列出Jjupyter的內(nèi)核列表
?jupyter kernelspec list
安裝ipykernel
?conda install ipykernel
將虛擬環(huán)境envName
導(dǎo)入jupyter的kernel中
?python -m ipykernel install --user --name=envName
刪除虛擬環(huán)境中名字為envName
的kernel內(nèi)核
?jupyter kernelspec remove envName
出現(xiàn)下面內(nèi)容為成功
Installed kernelspec normal in C:\Users\你的用戶名\AppData\Roaming\jupyter\kernels\normal
保存為Markdown
安裝基本依賴
?conda install pandoc
安裝nbconvert
庫
conda install nbconvert
使用方法,在命令行里輸入
jupyter nbconvert --to markdown notebook.ipynb
或者直接在Jupyter中File → Download as → markdown
三、安裝PyTorch
pytorch雖然是一個庫,但安裝時的核心組件叫做torch,另外還有兩個額外的小組件叫做torchvision和torchaudio。
GPU版本
由于PyTorch庫的下載組件內(nèi)部含有cudatoolkit,它是CUDA的子集,里面的東西足夠PyTorch使用,因此不用單獨安裝CUDA和CUDNN,也不用考慮PyTorch內(nèi)置cuda與計算機顯卡CUDA版本之間的關(guān)系。
查看本機顯卡CUDA版本,在CMD中輸入下面的內(nèi)容,可以在右上角看到CUDA版本號
nvidia-smi
可以在這個網(wǎng)站
下載安裝需要的版本https://pytorch.org/get-started/previous-versions/
網(wǎng)站里有對應(yīng)版本的命令。
使用下面的命令查看conda可以安裝的torch版本
conda search pytorch
推薦使用pip指令安裝指定版本的pytorch
CPU版本
CPU版本的安裝和GPU版本安裝步驟是一樣的,可在網(wǎng)站中選擇CPU版本
檢查:如果torch.cuda.is_available()
返回False
那么使用的是CPU版本的torch
四、Conda命令
環(huán)境相關(guān)
查看conda版本
conda -V
查看虛擬環(huán)境
有三種方法,我最常用的是第一種
第一種
conda env list第二種
conda info -e第三種
conda info --envs
創(chuàng)建虛擬環(huán)境
創(chuàng)建一個python3.9的空環(huán)境,其中的envName
為要創(chuàng)建的虛擬環(huán)境的名字
conda create -n envName python=3.9
克隆一個虛擬環(huán)境(從一個舊的環(huán)境創(chuàng)建新環(huán)境)
conda create -n newName --clone oldName
刪除虛擬環(huán)境
其中--all
是指刪除整個環(huán)境
conda remove -n envName --all
激活環(huán)境
conda activate envName
關(guān)閉環(huán)境
有兩種辦法
第一種,此時的缺省值為當(dāng)前環(huán)境
conda deactivate第二種,此時缺省值為
conda activatebase
環(huán)境
導(dǎo)入/導(dǎo)出環(huán)境(requirements.txt)
1. 使用Conda
導(dǎo)出,導(dǎo)出的文件所在目錄為:控制臺所在目錄 ,如果需要指定目錄可以D:\requirements.txt
conda list -e > requirements.txt
導(dǎo)入requirements.txt
中的庫(使用這種執(zhí)行方式,遇到安裝不上就整體停止,不繼續(xù)安裝接下來的包 )
conda install --yes --file requirements.txt
上述命令如果requirements.txt
中的包不可用,則會拋出“無包錯誤”,使用下面的方法可以解決上述問題
while read requirement; do conda install --yes $requirement; done < requirements.txt
或者執(zhí)行這個解決上面出現(xiàn)的不執(zhí)行后續(xù)包的問題
FOR /F "delims=~" %f in (requirements.txt) DO conda install --yes "%f"
如果想要在conda命令無效時使用pip命令來代替,則可以使用下面的命令
while read requirement; do conda install --yes $requirement || pip install $requirement; done < requirements.txt
2. 使用Pip
pip批量導(dǎo)出環(huán)境中包含的所有包,包括沒有用到的包,導(dǎo)出的文件所在目錄為:控制臺所在目錄
pip freeze > requirement.txt
如果需要導(dǎo)出到指定位置
pip freeze > D:\...\requirement.txt
導(dǎo)入
pip install -r requirement.txt
或者從國內(nèi)源導(dǎo)入(臨時換源)
pip install -i 國內(nèi)源 -r requirement.txt
一些國內(nèi)源
清華源https://pypi.tuna.tsinghua.edu.cn/simple
中科大https://mirrors.bfsu.edu.cn/pypi/web/simple/
阿里云http://mirrors.aliyun.com/pypi/simple/
豆瓣源http://pypi.douban.com/simple/
華科源http://pypi.hustunique.com/
導(dǎo)出/導(dǎo)入環(huán)境(yml)
導(dǎo)出為yml文件
先激活需要導(dǎo)出的環(huán)境(如envName),然后輸入以下內(nèi)容
conda env export > envName.yml
或者在導(dǎo)出的時候添加環(huán)境名字-n envName
conda env export -n envName > envName.yml
導(dǎo)入yml文件
用yml文件創(chuàng)建環(huán)境
conda env create -f envName.yml
用yml文件更新環(huán)境
conda env update -f envName.yml
包相關(guān)
更改虛擬環(huán)境中Python解釋器的版本
注意:不管是升級版本還是降版本,都是用下面的命令,修改版本后,原來的pip安裝的包會被刪掉,無法使用
查看當(dāng)前虛擬環(huán)境的python版本
python -V
更改python版本為3.9
conda install python=3.9
如果遇到問題可以先卸載python,然后再安裝
conda uninstall python
一些國內(nèi)源
清華源https://pypi.tuna.tsinghua.edu.cn/simple
中科大https://mirrors.bfsu.edu.cn/pypi/web/simple/
阿里云http://mirrors.aliyun.com/pypi/simple/
豆瓣源http://pypi.douban.com/simple/
華科源