blog備份https://blog.hylstudio.cn/archives/1241

0.背景

做實(shí)驗(yàn)需要反復(fù)創(chuàng)建虛機(jī)裝系統(tǒng)，略麻煩。打算給家里云做個(gè)低配版的虛機(jī)自動(dòng)化管理

1.方案調(diào)研

esxi本身有接口和SDK可以給各種語(yǔ)言做自動(dòng)化對(duì)接，從官方github就能找到不少資料

ubuntu自動(dòng)安裝也比較成熟，常見(jiàn)的方案都是使用cloud-init來(lái)提供user-data，可以參考官方文檔試試

2.虛機(jī)自動(dòng)創(chuàng)建

使用govc命令行即可，腳本參考https://github.com/vmware/govmomi/blob/main/scripts/vcsa/create-esxi-vm.sh? 去掉了對(duì)我沒(méi)用的部分并增加了幾個(gè)參數(shù)方便自己使用，完整文檔請(qǐng)參考https://github.com/vmware/govmomi/tree/main/govc#usage

3.ubuntu自動(dòng)安裝

官方的cloud-image.ova我測(cè)了好幾次都都沒(méi)法用govc正常傳遞-options參數(shù)，json里指定的user-data并沒(méi)有生效，不知道為什么，因此先嘗試半自動(dòng)手動(dòng)修改引導(dǎo)參數(shù)測(cè)試

3.1.user-data準(zhǔn)備

首先按官方文檔準(zhǔn)備一個(gè)目錄，放入user-data和user-meta后啟動(dòng)http服務(wù)器

user-data內(nèi)容如下，有這么幾點(diǎn)需要注意

• 開(kāi)頭的第一行注釋不要?jiǎng)h

• 在22.04.1這個(gè)版本的ubuntu下，如果不加refresh-installer會(huì)導(dǎo)致lvm的sizing-policy失效，40G系統(tǒng)盤(pán)默認(rèn)只會(huì)用20G。

• disable_suites如果不加security會(huì)導(dǎo)致本地實(shí)驗(yàn)老去聯(lián)網(wǎng)升級(jí)安全補(bǔ)丁，為了加快速度我就關(guān)了，實(shí)際生產(chǎn)環(huán)境不要關(guān)

• packages如果指定了內(nèi)容，package_update無(wú)論是什么都會(huì)更新一次源

  
  

3.2.遠(yuǎn)程加載user-data

20.04.5的圖形界面按F6和esc后可以編輯啟動(dòng)菜單的指令，改成這樣就能從遠(yuǎn)程加載user-data了。

話說(shuō)不知道為啥vmware粘貼多了會(huì)導(dǎo)致有概率內(nèi)容丟失

22.04.1的那個(gè)圖形界面沒(méi)了，可以按c進(jìn)入grub命令行，手動(dòng)執(zhí)行啟動(dòng)參數(shù)如下，注意nocloud-net后面的分號(hào)之前必須有反斜杠轉(zhuǎn)義

vmware在這個(gè)命令行下的粘貼完全沒(méi)問(wèn)題

3.3.從網(wǎng)絡(luò)啟動(dòng)并自定義內(nèi)核啟動(dòng)參數(shù)

1.設(shè)置openwrt當(dāng)DHCP server指定 tftp服務(wù)

https://openwrt.org/docs/guide-user/services/tftp.pxe-server

https://forum.openwrt.org/t/solved-dhcp-config-pxe-boot-from-external-tftp-server/5880

配置如下圖

2.tftp由op、jumpbox、群暉負(fù)責(zé)（群暉的tftp測(cè)試失敗，疑似是因?yàn)槲业娜簳煵辉跍y(cè)試網(wǎng)段，暫時(shí)使用op自帶的tftp）

tftp內(nèi)容制作如下，參考o(jì)penwrt的文檔修改而成。我使用的是BIOS legency引導(dǎo)，示例如下。

注意，根據(jù)https://askubuntu.com/questions/1235723/automated-20-04-server-installation-using-pxe-and-live-server-image中描述

使用cloud-config-url=/dev/null可以降低內(nèi)存的使用要求

3.autoinstall的user-data和iso文件由jumpbox或omv負(fù)責(zé)提供

如上面參數(shù)所示臨時(shí)用python啟動(dòng)了一個(gè)http服務(wù)器放在了http://192.168.2.159/iso/ubuntu-22.04.1-live-server-amd64.iso，后面考慮換成omv或群暉提供。理論上這里過(guò)了DHCP過(guò)程因此不受測(cè)試網(wǎng)段的限制才對(duì)

嘗試使用cdrom掛載iso但使用pxe修改內(nèi)核參數(shù)從光驅(qū)執(zhí)行自動(dòng)安裝

https://www.cnblogs.com/xyshun/p/9427472.html

https://www.dddns.icu/posts/pxe/

https://github.com/pypxe/PyPXE

https://github.com/netbootxyz/netboot.xyz

4.全自動(dòng)化

1.esxi自動(dòng)化由govc搞定，創(chuàng)建后可拿到網(wǎng)卡mac地址

虛機(jī)創(chuàng)建見(jiàn)前面的腳本

從cdrom安裝這種方式需要修改bios啟動(dòng)順序才行，disk>net>cd-rom，disk放第一個(gè)是防止安裝成功后還重復(fù)執(zhí)行安裝，net比cd-rom靠前是因?yàn)楸苊庾詣?dòng)進(jìn)光盤(pán)頁(yè)面無(wú)法走自動(dòng)化。

2.通過(guò)mac地址可控制openwrt的tftp按mac地址返回引導(dǎo)選項(xiàng)

自動(dòng)獲取mac如下

編寫(xiě)腳本按mac和hostname動(dòng)態(tài)生成引導(dǎo)菜單并上傳到tftp

注意文件名應(yīng)該以01-開(kāi)頭，詳見(jiàn)https://wiki.syslinux.org/wiki/index.php?title=PXELINUX

還可以用16進(jìn)制的ip地址，總規(guī)則是

After attempting the file as specified in the DHCP or hardcoded options, PXELINUX will probe the following paths, prefixed with?"pxelinux.cfg/", under the initial Working Directory.

• The client UUID, if provided by the PXE stack.

• Note that some BIOSes do not have a valid UUID, and it might end up reporting something like all 1's.

• This value is represented in the standard UUID format using lowercase hexadecimal digits,?e.g. "b8945908-d6a6-41a9-611d-74a6ab80b83d".

• The hardware type (using its ARP "htype" code) and address, all in lowercase hexadecimal with dash separators.

• For example, for an Ethernet (i.e. ARP hardware type "1") with address?"88:99:AA:BB:CC:DD", it would search for the filename?"01-88-99-aa-bb-cc-dd".

• The client's own IPv4 address in uppercase hexadecimal, followed by removing hex characters, one at a time, from the end. For example,?"192.168.2.91" → "C0A8025B".

• The included program,?"gethostip", can be used to compute the hexadecimal IP address for any host.

• Lowercase "default".

3.引導(dǎo)選項(xiàng)中的iso暫時(shí)由群暉webstaion提供

靜態(tài)站點(diǎn)，無(wú)需多言

暫時(shí)不需要了，ramdisk有問(wèn)題。使用ramdisk加載iso后安裝很慢，應(yīng)該是我給的內(nèi)存太少了。

4.引導(dǎo)選項(xiàng)中的autoinstall配置文件也由webstation提供

群暉自帶的webstation可以用PHP，打算嘗試使用PHP測(cè)試偽靜態(tài)

使/prefix/{hostname}/user-data可按我指定的模板返回，并動(dòng)態(tài)替換hostname

找到webstation的主nginxconfg文件，/var/tmp/nginx/app.d/server.webstation-vhost.conf，可以看到有include

按路徑新建一個(gè) /usr/local/etc/nginx/conf.d/blablablabla/user.conf

感謝eric提供的參考

編寫(xiě)index.php如下

?

參考

https://ubuntu.com/server/docs/install/autoinstall

https://github.com/hedzr/pxe-server-and-focal

https://hedzr.com/devops/linux/build-pxe-server-and-autoinstall-ubuntu-server

https://github.com/vmware/govmomi/blob/main/govc/README.md

https://blog.amrom.tk/2022/2022-03-03-esxi-cloud-init/

https://cloudinit.readthedocs.io/en/latest/topics/examples.html

https://nickhowell.uk/2020/05/01/Automating-Ubuntu2004-Images/

https://discourse.ubuntu.com/t/automated-server-installer-config-file-reference/16613/42

http://hmli.ustc.edu.cn/doc/linux/ubuntu-autoinstall/ubuntu-autoinstall.html

?

?