1949年3月底，山東省人民政府正式成立，以濟(jì)南市為省會，此時山東境內(nèi)除青島等地區(qū)外已經(jīng)全部解放，到同年8月長山列島戰(zhàn)役結(jié)束后山東全境解放，1949年10月1日中華人民共和國成立。到1949年底，山東省共轄三個行政區(qū)、四個省轄市、一個省直轄專區(qū)及一個省直轄工礦特區(qū)。

當(dāng)時，山東省行政區(qū)劃及政區(qū)范圍與今山東省有很大的差異，這是由于建國初期的山東省政區(qū)仍深受抗日戰(zhàn)爭、解放戰(zhàn)爭時期行政區(qū)劃的影響，最為典型的就是三大行政區(qū)?？谷諔?zhàn)爭時期，山東津浦路以東為山東抗日根據(jù)地，以西則屬冀魯豫抗日根據(jù)地，山東抗日根據(jù)地逐步形成了膠東、渤海、魯南、魯中、濱海五個區(qū)，解放戰(zhàn)爭時期魯南、魯中、濱海合并為魯中南行政區(qū)，此就為建國初山東省三大行政區(qū)之由來。

膠東行政區(qū)是建國初山東三大行政區(qū)之一，共轄東海、西海、南海、北海四個專區(qū)，膠東區(qū)及這四個專區(qū)都設(shè)立于抗日戰(zhàn)爭時期?！氨R溝橋事變”后，平津迅速淪陷，到1937年10月日軍已經(jīng)沿津浦路侵入山東境內(nèi)，山東國民黨軍隊稍作抵抗后迅速崩潰，1938年初的徐州會戰(zhàn)盡管取得了“臺兒莊大捷”等戰(zhàn)果但終以中國軍隊后撤告終，山東全境自此全部淪陷。

在這種情況下，中共山東省委在書記黎玉的帶領(lǐng)下積極組織、聯(lián)絡(luò)各種進(jìn)步力量，在短短數(shù)月間發(fā)動了十幾起抗日起義，出現(xiàn)了十幾支抗日武裝，其中膠東地區(qū)爆發(fā)了著名的天福山起義，成立了山東人民抗日救國軍第三軍，而蓬萊、黃縣、掖縣等縣也相繼成立抗日武裝，武裝抗日斗爭在膠東大地上蓬勃發(fā)展起來。

1938年9月，膠東地區(qū)各支抗日武裝統(tǒng)一整編為八路軍山東人民抗日游擊第五支隊，高錦純?nèi)嗡玖顔T，同年12月山東縱隊成立后改編為山東縱隊第五支隊，高錦純?nèi)沃ш犻L，政委為宋澄，共轄3個旅。山東縱隊成立后經(jīng)過數(shù)次整軍，完成了由散兵游勇到正規(guī)化部隊的轉(zhuǎn)變，第五支隊演變?yōu)樯綎|縱隊第五旅，成為一支以吳克華為旅長，高錦純?nèi)握木刹筷牎?/p>

膠東作為一個地域名詞由來已久，中共也曾設(shè)有膠東特委、膠東區(qū)黨委等領(lǐng)導(dǎo)膠東地區(qū)的抗日斗爭，1941年2月膠東區(qū)行政聯(lián)合辦事處的成立才是膠東作為行政區(qū)之始。在山東縱隊歷次整軍期間，1939年8月以膠東區(qū)黨委軍事部成立第三軍區(qū)，王彬任司令員。1940年8月山東縱隊第五支隊整編為第五旅后，第三軍區(qū)改為新的山東縱隊第五支隊，仍由王彬任司令員。

第五支隊（第五旅）一直活躍于膠東地區(qū)，擊敗了日偽軍的歷次掃蕩并發(fā)展壯大，而其前身更可追溯到“中國工農(nóng)紅軍膠東游擊隊”（由傳奇人物于得水領(lǐng)導(dǎo)），曾是華北地區(qū)唯一的紅軍隊伍。1941年2月，名將許世友來到膠東領(lǐng)導(dǎo)第五旅、第五支隊等膠東部隊開展抗日斗爭，沉重打擊了日偽軍，當(dāng)時國民黨正掀起反共高潮，膠東地區(qū)國民黨軍隊大量投降，許世友將軍將其列為打擊重點(diǎn)，扭轉(zhuǎn)了膠東地區(qū)的抗日形勢。

1942年7月，以第五支隊為基礎(chǔ)成立膠東軍區(qū)，以許世友將軍為司令員，另山東縱隊第五旅（1942年8月改為山東軍區(qū)第五旅）也歸膠東軍區(qū)指揮。此時，膠東區(qū)行政聯(lián)合辦事處已經(jīng)成立，膠東行政區(qū)共轄東海、西海、北海三個專區(qū)及南海行政聯(lián)合辦事處（專區(qū)級），各專區(qū)（辦事處）均設(shè)軍分區(qū)，最初都轄1獨(dú)立團(tuán)，均隸屬于膠東軍區(qū)。

1943年，八路軍115師與山東軍區(qū)合并后，山東軍區(qū)第五旅也與膠東軍區(qū)合設(shè)為新的膠東軍區(qū)，膠東軍區(qū)仍轄東海、西海、北海、南海四個軍分區(qū)，各軍分區(qū)轄2個獨(dú)立團(tuán)，軍區(qū)直轄13團(tuán)、14團(tuán)、16團(tuán)、教導(dǎo)團(tuán)、特務(wù)團(tuán)及警衛(wèi)團(tuán)及海軍支隊，許世友仍任司令員。此時，膠東行政區(qū)建制未變。

1945年5月，膠東行政區(qū)以東海、南海各一部設(shè)中海專區(qū)，中海專區(qū)也設(shè)軍分區(qū)，轄1個獨(dú)立團(tuán)。中海專區(qū)、中海專區(qū)僅僅存在了很短時間，1945年8月南海行政聯(lián)合辦事處改設(shè)為南海專區(qū)，同月為貫徹黨中央大反攻決定，山東軍區(qū)將各軍區(qū)主力及基干部隊整編為山東解放軍，到9月膠東軍區(qū)所屬主力及基干部隊整編為第五師、第六師、警備第四旅、警備第五旅，同月中海軍區(qū)、中海專區(qū)撤銷。

解放戰(zhàn)爭時期，膠東行政區(qū)建制變化不大，除了抗日戰(zhàn)爭勝利后設(shè)立煙臺、威海衛(wèi)兩市及1947年濱海專區(qū)劃入外，東海、西海、南海、北海“四?！陛爡^(qū)有所變化但建制未變，此建制也沿襲到了建國初期，直至1950年膠東行政區(qū)撤銷。

解放戰(zhàn)爭時期，膠東行政區(qū)為人民解放軍提供了大量合格兵員，在抗日戰(zhàn)爭勝利后膠東軍區(qū)第五師大部、第六師等部隊渡海挺近東北，膠東軍區(qū)仍轄四個軍分區(qū)（后濱北軍分區(qū)也歸其管轄），剩余主力部隊在補(bǔ)充部分地方部隊后重新編為第五師、第六師及警備第三旅。1947年2月第五師、第六師及警備第三旅合編為華東野戰(zhàn)軍第九縱隊后，膠東軍區(qū)于同年3月第三次組建第五師、第六師，另新設(shè)第七師。1947年8月，第五師、第六師、第七師合編為華東野戰(zhàn)軍第十三縱隊，到1948年初膠東軍區(qū)第四次組建第五師、第六師。