最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

重慶思莊Linux技術(shù)分享-Linux跟蹤系統(tǒng)調(diào)用和信號strace命令

2023-03-01 14:48 作者:D-Cycle  | 我要投稿

strace命令 是一個集診斷、調(diào)試、統(tǒng)計與一體的工具,我們可以使用strace對應(yīng)用的系統(tǒng)調(diào)用和信號傳遞的跟蹤結(jié)果來對應(yīng)用進行分析,以達到解決問題或者是了解應(yīng)用工作過程的目的。當然strace與專業(yè)的調(diào)試工具比如說gdb之類的是沒法相比的,因為它不是一個專業(yè)的調(diào)試器。

strace的最簡單的用法就是執(zhí)行一個指定的命令,在指定的命令結(jié)束之后它也就退出了。在命令執(zhí)行的過程中,strace會記錄和解析命令進程的所有系統(tǒng)調(diào)用以及這個進程所接收到的所有的信號值。

語法
strace??[??-dffhiqrtttTvxx??] [ -acolumn ] [ -eexpr ] ...
? ? [ -ofile ] [-ppid ] ...??[ -sstrsize ] [ -uusername ]
? ? [ -Evar=val ] ...??[ -Evar??]...
? ???[command [ arg ...??] ]

strace??-c??[ -eexpr ] ...??[ -Ooverhead ] [ -Ssortby ]
? ? [ command [ arg...??] ]
選項
-c 統(tǒng)計每一系統(tǒng)調(diào)用的所執(zhí)行的時間,次數(shù)和出錯的次數(shù)等.
-d 輸出strace關(guān)于標準錯誤的調(diào)試信息.
-f 跟蹤由fork調(diào)用所產(chǎn)生的子進程.
-ff 如果提供-o filename,則所有進程的跟蹤結(jié)果輸出到相應(yīng)的filename.pid中,pid是各進程的進程號.
-F 嘗試跟蹤vfork調(diào)用.在-f時,vfork不被跟蹤.
-h 輸出簡要的幫助信息.
-i 輸出系統(tǒng)調(diào)用的入口指針.
-q 禁止輸出關(guān)于脫離的消息.
-r 打印出相對時間關(guān)于,,每一個系統(tǒng)調(diào)用.
-t 在輸出中的每一行前加上時間信息.
-tt 在輸出中的每一行前加上時間信息,微秒級.
-ttt 微秒級輸出,以秒了表示時間.
-T 顯示每一調(diào)用所耗的時間.
-v 輸出所有的系統(tǒng)調(diào)用.一些調(diào)用關(guān)于環(huán)境變量,狀態(tài),輸入輸出等調(diào)用由于使用頻繁,默認不輸出.
-V 輸出strace的版本信息.
-x 以十六進制形式輸出非標準字符串
-xx 所有字符串以十六進制形式輸出.
-a column 設(shè)置返回值的輸出位置.默認 為40.
-e expr 指定一個表達式,用來控制如何跟蹤.格式:[qualifier=][!]value1[,value2]...
qualifier只能是 trace,abbrev,verbose,raw,signal,read,write其中之一.value是用來限定的符號或數(shù)字.默認的 qualifier是 trace.感嘆號是否定符號.例如:-eopen等價于 -e trace=open,表示只跟蹤open調(diào)用.而-etrace!=open 表示跟蹤除了open以外的其他調(diào)用.有兩個特殊的符號 all 和 none. 注意有些shell使用!來執(zhí)行歷史記錄里的命令,所以要使用\\.
-e trace=set 只跟蹤指定的系統(tǒng) 調(diào)用.例如:-e trace=open,close,rean,write表示只跟蹤這四個系統(tǒng)調(diào)用.默認的為set=all.
-e trace=file 只跟蹤有關(guān)文件操作的系統(tǒng)調(diào)用.
-e trace=process 只跟蹤有關(guān)進程控制的系統(tǒng)調(diào)用.
-e trace=network 跟蹤與網(wǎng)絡(luò)有關(guān)的所有系統(tǒng)調(diào)用.
-e strace=signal 跟蹤所有與系統(tǒng)信號有關(guān)的 系統(tǒng)調(diào)用
-e trace=ipc 跟蹤所有與進程通訊有關(guān)的系統(tǒng)調(diào)用
-e abbrev=set 設(shè)定strace輸出的系統(tǒng)調(diào)用的結(jié)果集.-v 等與 abbrev=none.默認為abbrev=all.
-e raw=set 將指定的系統(tǒng)調(diào)用的參數(shù)以十六進制顯示.
-e signal=set 指定跟蹤的系統(tǒng)信號.默認為all.如 signal=!SIGIO(或者signal=!io),表示不跟蹤SIGIO信號.
-e read=set 輸出從指定文件中讀出 的數(shù)據(jù).例如: -e read=3,5
-e write=set 輸出寫入到指定文件中的數(shù)據(jù).
-o filename 將strace的輸出寫入文件filename
-p pid 跟蹤指定的進程pid.
-s strsize 指定輸出的字符串的最大長度.默認為32.文件名一直全部輸出.
-u username 以username的UID和GID執(zhí)行被跟蹤的命令
實例
追蹤系統(tǒng)調(diào)用

現(xiàn)在我們做一個很簡單的程序來演示strace的基本用法。這個程序的C語言代碼如下:

# filename test.c
#include <stdio.h>

int main()
{
? ? int a;
? ? scanf("%d", &a);
? ? printf("%09d\n", a);
? ? return 0;
}
然后我們用gcc -o test test.c編譯一下,得到一個可執(zhí)行的文件test。然后用strace調(diào)用執(zhí)行:

strace ./test
執(zhí)行期間會要求你輸入一個整數(shù),我們輸入99,最后得到如下的結(jié)果:

// 直接執(zhí)行test的結(jié)果
oracle@orainst[orcl]:~ $./test

// 執(zhí)行的結(jié)果
99
000000099

// 通過strace執(zhí)行test的結(jié)果
oracle@orainst[orcl]:~ $strace ./test

// strace的trace結(jié)果
execve("./test", ["./test"], [/* 41 vars */]) = 0
uname({sys="Linux", node="orainst.desktop.mycompany.com", ...}) = 0
brk(0)? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? = 0x8078000
fstat64(3, {st_mode=S_IFREG|0644, st_size=65900, ...}) = 0
old_mmap(NULL, 65900, PROT_READ, MAP_PRIVATE, 3, 0) = 0xbf5ef000
close(3)? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???= 0
open("/lib/tls/libc.so.6", O_RDONLY)? ? = 3
read(3, "\177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\200X\1"..., 512) = 512
fstat64(3, {st_mode=S_IFREG|0755, st_size=1571692, ...}) = 0
old_mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xbf5ee000
old_mmap(NULL, 1275340, PROT_READ|PROT_EXEC, MAP_PRIVATE, 3, 0) = 0xa02000
old_mmap(0xb34000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED, 3, 0x132000) = 0xb34000
old_mmap(0xb37000, 9676, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0xb37000
close(3)? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???= 0
set_thread_area({entry_number:-1 -> 6, base_addr:0xbf5ee740, limit:1048575, seg_32bit:1, contents:0, read_exec_only:0, limit_in_pages:1, seg_not_present:0, useable:1}) = 0
munmap(0xbf5ef000, 65900)? ?? ?? ?? ?? ?= 0
fstat64(0, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 0), ...}) = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xbf5ff000
read(0, 99
"99\n", 1024)? ?? ?? ?? ?? ?? ? = 3
fstat64(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 0), ...}) = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xbf5fe000
write(1, "000000099\n", 10000000099
)? ?? ?? ?? ? = 10
munmap(0xbf5fe000, 4096)? ?? ?? ?? ?? ? = 0
exit_group(0)? ?? ?? ?? ?? ?? ?? ?? ?? ?= ?
從trace結(jié)構(gòu)可以看到,系統(tǒng)首先調(diào)用execve開始一個新的進行,接著進行些環(huán)境的初始化操作,最后停頓在”read(0,”上面,這也就是執(zhí)行到了我們的scanf函數(shù),等待我們輸入數(shù)字呢,在輸入完99之后,在調(diào)用write函數(shù)將格式化后的數(shù)值”000000099″輸出到屏幕,最后調(diào)用exit_group退出進行,完成整個程序的執(zhí)行過程。

跟蹤信號傳遞

我們還是使用上面的那個test程序,來觀察進程接收信號的情況。還是先strace ./test,等到等待輸入的畫面的時候不要輸入任何東西,然后打開另外一個窗口,輸入如下的命令

killall test
這時候就能看到我們的程序推出了,最后的trace結(jié)果如下:

oracle@orainst[orcl]:~
$strace ./test

execve("./test", ["./test"], [/* 41 vars */]) = 0
uname({sys="Linux", node="orainst.desktop.mycompany.com", ...}) = 0
brk(0)? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? = 0x9ae2000
old_mmap(NULL, 65900, PROT_READ, MAP_PRIVATE, 3, 0) = 0xbf5ef000
close(3)? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???= 0
open("/lib/tls/libc.so.6", O_RDONLY)? ? = 3
read(3, "\177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\200X\1"..., 512) = 512
fstat64(3, {st_mode=S_IFREG|0755, st_size=1571692, ...}) = 0
old_mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xbf5ee000
old_mmap(NULL, 1275340, PROT_READ|PROT_EXEC, MAP_PRIVATE, 3, 0) = 0x2e9000
old_mmap(0x41b000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED, 3, 0x132000) = 0x41b000
old_mmap(0x41e000, 9676, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x41e000
close(3)? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???= 0
set_thread_area({entry_number:-1 -> 6, base_addr:0xbf5ee740, limit:1048575, seg_32bit:1, contents:0, read_exec_only:0, limit_in_pages:1, seg_not_present:0, useable:1}) = 0
munmap(0xbf5ef000, 65900)? ?? ?? ?? ?? ?= 0
fstat64(0, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 0), ...}) = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xbf5ff000
read(0, 0xbf5ff000, 1024)? ?? ?? ?? ?? ?= ? ERESTARTSYS (To be restarted)
--- SIGTERM (Terminated) @ 0 (0) ---
+++ killed by SIGTERM +++
trace中很清楚的告訴你test進程”+++ killed by SIGTERM +++”。

系統(tǒng)調(diào)用統(tǒng)計

strace不光能追蹤系統(tǒng)調(diào)用,通過使用參數(shù)-c,它還能將進程所有的系統(tǒng)調(diào)用做一個統(tǒng)計分析給你,下面就來看看strace的統(tǒng)計,這次我們執(zhí)行帶-c參數(shù)的strace:

strace -c ./test

最后能得到這樣的trace結(jié)果:

oracle@orainst[orcl]:~
$strace -c ./test
execve("./test", ["./test"], [/* 41 vars */]) = 0
% time? ???seconds??usecs/call? ???calls? ? errors syscall
------ ----------- ----------- --------- --------- ----------------
45.90? ? 0.000140? ?? ?? ???5? ?? ???27? ?? ???25 open
34.43? ? 0.000105? ?? ?? ???4? ?? ???24? ?? ???21 stat64
??7.54? ? 0.000023? ?? ?? ???5? ?? ?? ?5? ?? ?? ???old_mmap
??2.62? ? 0.000008? ?? ?? ???8? ?? ?? ?1? ?? ?? ???munmap
??1.97? ? 0.000006? ?? ?? ???6? ?? ?? ?1? ?? ?? ???uname
??1.97? ? 0.000006? ?? ?? ???2? ?? ?? ?3? ?? ?? ???fstat64
??1.64? ? 0.000005? ?? ?? ???3? ?? ?? ?2? ?? ?? ?1 read
??1.31? ? 0.000004? ?? ?? ???2? ?? ?? ?2? ?? ?? ???close
??0.98? ? 0.000003? ?? ?? ???3? ?? ?? ?1? ?? ?? ???brk
??0.98? ? 0.000003? ?? ?? ???3? ?? ?? ?1? ?? ?? ???mmap2
??0.66? ? 0.000002? ?? ?? ???2? ?? ?? ?1? ?? ?? ???set_thread_area
------ ----------- ----------- --------- --------- ----------------
100.00? ? 0.000305? ?? ?? ?? ?? ?? ???68? ?? ???47 total
這里很清楚的告訴你調(diào)用了那些系統(tǒng)函數(shù),調(diào)用次數(shù)多少,消耗了多少時間等等這些信息,這個對我們分析一個程序來說是非常有用的。

常用參數(shù)說明
除了-c參數(shù)之外,strace還提供了其他有用的參數(shù)給我們,讓我們能很方便的得到自己想要的信息,下面就對那些常用的參數(shù)一一做個介紹。

重定向輸出

參數(shù)-o用在將strace的結(jié)果輸出到文件中,如果不指定-o參數(shù)的話,默認的輸出設(shè)備是STDERR,也就是說使用”-o filename”和” 2>filename”的結(jié)果是一樣的。

# 這兩個命令都是將strace結(jié)果輸出到文件test.txt中
strace -c -o test.txt ./test
strace -c ./test??2>test.txt
對系統(tǒng)調(diào)用進行計時

strace可以使用參數(shù)-T將每個系統(tǒng)調(diào)用所花費的時間打印出來,每個調(diào)用的時間花銷現(xiàn)在在調(diào)用行最右邊的尖括號里面。

oracle@orainst[orcl]:~
$strace -T ./test

// 這里只摘錄部分結(jié)果
read(0, 1
"1\n", 1024)? ?? ?? ?? ?? ?? ???= 2 <2.673455>
fstat64(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 0), ...}) = 0 <0.000014>
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xbf5fe000 <0.000017>
write(1, "000000001\n", 10000000001
)? ?? ?? ?? ? = 10 <0.000016>
munmap(0xbf5fe000, 4096)? ?? ?? ?? ?? ? = 0 <0.000020>
exit_group(0)? ?? ?? ?? ?? ?? ?? ?? ?? ?= ?
系統(tǒng)調(diào)用的時間

這是一個很有用的功能,strace會將每次系統(tǒng)調(diào)用的發(fā)生時間記錄下來,只要使用-t/tt/ttt三個參數(shù)就可以看到效果了,具體的例子可以自己去嘗試。

參數(shù)名? ? ? ? 輸出樣式? ? ? ? 說明
-t? ? ? ? 10:33:04 exit_group(0)? ? ? ? 輸出結(jié)果精確到秒
-tt? ? ? ? 10:33:48.159682 exit_group(0)? ? ? ? 輸出結(jié)果精確到微妙
-ttt? ? ? ? 1262169244.788478 exit_group(0)? ? ? ? 精確到微妙,而且時間表示為unix時間戳
截斷輸出

-s參數(shù)用于指定trace結(jié)果的每一行輸出的字符串的長度,下面看看test程序中-s參數(shù)對結(jié)果有什么影響,現(xiàn)指定-s為20,然后在read的是是很我們輸入一個超過20個字符的數(shù)字串

strace -s 20 ./test

read(0, 2222222222222222222222222? ?? ?// 我們輸入的2一共有25個
"22222222222222222222"..., 1024) = 26??// 而我們看到的結(jié)果中2只有20個
trace一個現(xiàn)有的進程

strace不光能自己初始化一個進程進行trace,還能追蹤現(xiàn)有的進程,參數(shù)-p就是取這個作用的,用法也很簡單,具體如下。

strace -p pid
綜合例子
說了那么多的功能和參數(shù),現(xiàn)在我們來一個實用點的,就是研究下Oracle的lgwr進程,看看這個進程是不是像文檔所說的那樣沒3s鐘寫一次log文件,考慮到lgwr寫日志的觸發(fā)條件比較多,我們需要找一個空閑的Oracle實例做這個實驗。

我們先要得到lgwr進程的pid,運行下面的命令

ps -ef|grep lgwr

oracle? ? 5912? ???1??0 Nov12 ?? ?? ???00:14:56 ora_lgwr_orcl
得到lgwr的pid是5912,現(xiàn)在啟動strace,然后將trace的幾個輸出到lgwr.txt文件中,執(zhí)行下面的命令

strace -tt -s 10 -o lgwr.txt -p 5912
過一會之后停止strace,然后查看結(jié)果。由于輸出的結(jié)果比較多,為了方便我們只看Oracle寫入log文件時用的pwrite函數(shù)的調(diào)用

grep pwrite\(20 lgwr.txt
等等,為什么grep的時候用的是”pwrite(2″呢?,因為我知道我這個機器打開的當前的log文件的句柄編號都是2開始的。具體查找方法是先使用下面的語句找出當前活動的日志文件都有哪些:

select member, v$log.status from v$log, v$logfile
where v$log.group#=v$logfile.group#;
得到

MEMBER? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?STATUS
-------------------------------------------------- ----------------
/db/databases/orcl/redo-01-a/redo-t01-g03-m1.log? ? INACTIVE
/db/databases/orcl/redo-03-a/redo-t01-g03-m2.log? ? INACTIVE
/db/databases/orcl/redo-02-a/redo-t01-g02-m1.log? ? CURRENT
/db/databases/orcl/redo-04-a/redo-t01-g02-m2.log? ? CURRENT
/db/databases/orcl/redo-01-a/redo-t01-g01-m1.log? ? INACTIVE
/db/databases/orcl/redo-03-a/redo-t01-g01-m2.log? ? INACTIVE
/db/databases/orcl/redo-02-a/redo-t01-g04-m1.log? ? INACTIVE
/db/databases/orcl/redo-04-a/redo-t01-g04-m2.log? ? INACTIVE
然后到/proc中去找打開文件的句柄:

ll /proc/.5912/fd/
得到

lrwx------? ? 1 oracle? ?dba? ?? ?? ?? ?64 Dec 30 10:55 18 -> /db/databases/orcl/redo-01-a/redo-t01-g01-m1.log
lrwx------? ? 1 oracle? ?dba? ?? ?? ?? ?64 Dec 30 10:55 19 -> /db/databases/orcl/redo-03-a/redo-t01-g01-m2.log
lrwx------? ? 1 oracle? ?dba? ?? ?? ?? ?64 Dec 30 10:55 20 -> /db/databases/orcl/redo-02-a/redo-t01-g02-m1.log
lrwx------? ? 1 oracle? ?dba? ?? ?? ?? ?64 Dec 30 10:55 21 -> /db/databases/orcl/redo-04-a/redo-t01-g02-m2.log
lrwx------? ? 1 oracle? ?dba? ?? ?? ?? ?64 Dec 30 10:55 22 -> /db/databases/orcl/redo-01-a/redo-t01-g03-m1.log
lrwx------? ? 1 oracle? ?dba? ?? ?? ?? ?64 Dec 30 10:55 23 -> /db/databases/orcl/redo-03-a/redo-t01-g03-m2.log
lrwx------? ? 1 oracle? ?dba? ?? ?? ?? ?64 Dec 30 10:55 24 -> /db/databases/orcl/redo-02-a/redo-t01-g04-m1.log
lrwx------? ? 1 oracle? ?dba? ?? ?? ?? ?64 Dec 30 10:55 25 -> /db/databases/orcl/redo-04-a/redo-t01-g04-m2.log
現(xiàn)在能看到我機器當前日志文件的句柄分別是20和21。

現(xiàn)在我們得到如下結(jié)果

11:13:55.603245 pwrite(20, "\1\"\0\0J!"..., 1536, 4363264) = 1536
11:13:55.603569 pwrite(21, "\1\"\0\0J!"..., 1536, 4363264) = 1536
11:13:55.606888 pwrite(20, "\1\"\0\0M!"..., 1536, 4364800) = 1536
11:13:55.607172 pwrite(21, "\1\"\0\0M!"..., 1536, 4364800) = 1536
11:13:55.607934 pwrite(20, "\1\"\0\0P!"..., 1536, 4366336) = 1536
11:13:55.608199 pwrite(21, "\1\"\0\0P!"..., 1536, 4366336) = 1536
11:13:55.610260 pwrite(20, "\1\"\0\0S!"..., 1536, 4367872) = 1536
11:13:55.610530 pwrite(21, "\1\"\0\0S!"..., 1536, 4367872) = 1536
11:14:00.602446 pwrite(20, "\1\"\0\0V!"..., 1536, 4369408) = 1536
11:14:00.602750 pwrite(21, "\1\"\0\0V!"..., 1536, 4369408) = 1536
11:14:00.606386 pwrite(20, "\1\"\0\0Y!"..., 1536, 4370944) = 1536
11:14:00.606676 pwrite(21, "\1\"\0\0Y!"..., 1536, 4370944) = 1536
11:14:00.607900 pwrite(20, "\1\"\0\0\\"..., 1024, 4372480) = 1024
11:14:00.608161 pwrite(21, "\1\"\0\0\\"..., 1024, 4372480) = 1024
11:14:00.608816 pwrite(20, "\1\"\0\0^!"..., 1024, 4373504) = 1024
11:14:00.609071 pwrite(21, "\1\"\0\0^!"..., 1024, 4373504) = 1024
11:14:00.611142 pwrite(20, "\1\"\0\0`!"..., 1536, 4374528) = 1536
11:14:00.611454 pwrite(21, "\1\"\0\0`!"..., 1536, 4374528) = 1536
11:14:05.602804 pwrite(20, "\1\"\0\0c!"..., 1024, 4376064) = 1024
11:14:05.603119 pwrite(21, "\1\"\0\0c!"..., 1024, 4376064) = 1024
11:14:05.607731 pwrite(20, "\1\"\0\0e!"..., 1024, 4377088) = 1024
11:14:05.608020 pwrite(21, "\1\"\0\0e!"..., 1024, 4377088) = 1024
11:14:05.608690 pwrite(20, "\1\"\0\0g!"..., 1024, 4378112) = 1024
11:14:05.608962 pwrite(21, "\1\"\0\0g!"..., 1024, 4378112) = 1024
11:14:05.611022 pwrite(20, "\1\"\0\0i!"..., 1536, 4379136) = 1536
11:14:05.611283 pwrite(21, "\1\"\0\0i!"..., 1536, 4379136) = 1536

重慶思莊Linux技術(shù)分享-Linux跟蹤系統(tǒng)調(diào)用和信號strace命令的評論 (共 條)

分享到微博請遵守國家法律
平和县| 泰兴市| 那曲县| 柳河县| 广元市| 扶绥县| 崇仁县| 怀集县| 黄骅市| 菏泽市| 长治县| 武宣县| 新河县| 清镇市| 彭阳县| 商城县| 永吉县| 岳阳市| 普安县| 鄄城县| 无棣县| 班戈县| 富阳市| 福建省| 察隅县| 武隆县| 西和县| 江安县| 宣汉县| 定边县| 策勒县| 民丰县| 田林县| 楚雄市| 沙坪坝区| 海门市| 沛县| 景泰县| 涞源县| 海口市| 安龙县|