魯南抗日根據地主要是山東省南部和江蘇省北部的部分地區，南起隴海鐵路，北至兗（州）臨（沂）公路，東臨沂河、沭河，西瀕南陽、獨山、昭陽、微山四湖。包括山東省的濟寧、滋陽（兗州）、曲阜、泗水、鄒縣、滕縣、嶧縣、費縣、臨沂、郯城和江蘇省的沛縣、銅山縣、邳縣等地區。
該根據地屬于泰山余脈的一片山地，丘嶺起伏，地勢險要，境內有抱犢崮、天寶山、尼山等重要山區。該地區西部有貫穿南北的津浦鐵路，東部是山東沿海，它不僅是連接濟南、徐州的重要通道，還是連接華北、華東和華中的重要交通樞紐，戰略位置極為重要。魯南抗日根據地具有光榮的革命傳統。早在大革命時期，共產黨人就在該地區進行活動并建立了黨組織。魯南地區黨組織幾經破壞在艱難曲折中不斷發展，領導工人、農民、知識分子多次開展聲勢浩大的革命斗爭，影響深遠。
1937年七七事變后不久，在延安參加蘇區代表會議和白區代表會議的中共蘇魯豫皖邊區特委書記郭子化返回魯南，主持特委會議，決定建立抗日民族統一戰線，加強對群眾的抗日宣傳教育，籌備建立抗日武裝。
1938年5月徐州失陷后，中共中央決定將中共山東省委擴建為中共蘇魯豫皖邊區省委。同時，中共蘇魯豫皖邊區特委由中共河南省委劃歸邊區省委領導。之后，邊區省委制定了《發展和堅持山東游擊戰爭的戰略計劃》，內容之一就是向南發展，開創抱犢崮山區抗日根據地。這一戰略計劃得到了中央的批準。
根據中央及上級黨委的指示精神，邊區特委組織了抗日武裝起義,積極創建抗日根據地。5月21日，在墓山建立了第5戰區人民抗日義勇總隊。張光中任總隊長，何一萍任政治委員。6月，改稱蘇魯人民抗日義勇隊第1總隊，微山湖西抗日武裝組成人民抗日義勇隊第2總隊。在此之前，鄒縣已建立了魯南人民抗日游擊隊。在此之后，臨（沂）費（縣）邊區建立了八路軍山東游擊隊第12支隊，在蘭山地區還組織了臨郯獨立團。
邊區特委在滕（縣）嶧（縣）邊山區發動群眾，襲擊日軍，發展黨組織，在滕嶧邊區初步建立了抗日根據地。6月，駐滕縣東部馮卯的國民黨游擊第7縱隊司令申憲武，糾集鄒縣、嶧縣、滕縣、費縣等國民黨地方頑軍，對滕嶧邊根據地進行圍攻。特委和義勇總隊被迫向抱犢崮山區一帶轉移。
到達抱犢崮山區后，義勇總隊整編了臨郯青救團和四縣邊聯大隊大部。1938年秋至1939年秋期間，張光中率領的蘇魯人民抗日義勇總隊經過一系列的艱苦斗爭，在四縣邊聯地區開辟了抱犢崮山區抗日根據地的雛形。
1938年8月，中共蘇魯豫皖邊區特委撤銷，分別成立魯南特委、蘇皖特委和蘇魯豫特委，均屬邊區省委領導。在魯南特委正式建立之前，魯南各縣直屬邊區省委領導。
9月，經邊區省委批準，義勇總隊在保持原領導干部和獨立編制不變的情況下，暫改用張里元的國民黨山東省第三區保安司令部直轄第四團的番號，仍受邊區省委指揮。義勇總隊改編為直轄第四團后，張光中任團長、李樂平任政治委員（對外稱政治處主任）。1939年4月，直轄第四團又改稱張里元的保安第二旅第十九團。
1938年12月，中共中央決定中共蘇魯豫皖邊區省委改稱中共山東分局，郭洪濤任書記；并成立八路軍山東縱隊。義勇總隊（直轄第四團）正式列入山東縱隊編制，對外仍沿用直轄第四團的番號，繼續同張里元保持統戰關系，在抱犢崮山區開展抗日活動。
1939年1月，中共魯南特委在礦坑村（今屬蘭陵縣）正式成立，宋子成任特委書記兼社會部長。特委下轄嶧縣縣委（縣委書記為紀華）、滕縣縣委（縣委書記為王丹墀）、臨郯縣委（縣委書記為王永福）、邊聯縣委（縣委書記為孫振華）、臨費縣委（縣委書記為商向前）、費縣縣委（縣委書記為劉次恭）6個縣委。魯南特委機關對外稱八路軍第三工作團。魯南特委的成立，使魯南地區又有了統一的黨的領導機構，標志著魯南地區黨的組織建設走向了統一發展的道路。
7月底，山東分局決定把山東地區統一劃為三個地區。膠濟路南、津浦路東的魯中、魯南地區為第一區（統稱魯南區），津浦路西的魯西區為第二區，膠東為第三區。湖西、清河為特區。第一區黨委建立后，于7月至9月間將劃其領導的泰山、淄博、尼山、魯南、魯東南五個特委分別改建為第一、二、三、四、五地委，其中，將尼山特委改建為第三地委，宋子成任書記兼社會部長。第三地委下轄嶧縣縣委、滕縣縣委、邊聯縣委、費縣縣委、曲泗寧縣委、鄒縣縣委。臨郯縣委劃歸第四地委領導。第三、第四地委從1939年7月到1940年5月，僅僅存在八九個月的時間。但這段時間，是魯南局勢發生重大變化的時期，也是一個歷史轉折時期。第三、第四地委適應了這種局勢的轉變，動員群眾，發展武裝，建立抗日民主政權，鞏固了抗日根據地。
1939年秋至1940年底，是魯南抗日根據地的發展時期。八路軍第一一五師主力進入魯南，對推動抗日根據地的鞏固和發展起了至關重要的作用。
為支援魯南地區的抗日武裝，創建、擴大魯南抗日根據地， 1939年5月下旬，第一一五師司令部參謀處長王秉璋、師政治部副主任黃勵率領師部機關、直屬隊及冀魯邊第七團，首先進入魯南的費縣西北地區。8月，第一一五師第六八六團由魯西出發，過南陽湖，進入鄒（縣）滕（縣）邊界，于9月初又進入抱犢崮山區。8月上旬，由王秉璋、黃勵率領的師部機關、直屬隊由費縣南下，于9月1日到達抱犢崮山區大爐。
八路軍第一一五師進入魯南抱犢崮山區后，積極整編地方武裝，壯大人民抗日武裝力量。第一一五師在中共山東分局和山東縱隊以及魯南地方黨組織的支持下，將創建并活動于魯南各地的黨領導的人民抗日武裝和部分愛國人士創建的抗日武裝，相繼整編為蘇魯支隊、曲泗鄒滕費五縣游擊隊、運河支隊、嶧縣支隊、魯南支隊、臨郯費嶧四縣邊聯支隊和魯南鐵道大隊等。這些地方抗日武裝編入八路軍序列之后，積極配合主力部隊同日偽頑斗爭，為鞏固和擴大以抱犢崮為中心的魯南抗日根據地作出了重要貢獻。
為了鞏固、擴大魯南抗日根據地，八路軍第一一五師開展了一系列軍事行動，先是開辟郯馬平原，鞏固了抱犢崮山區東南部外圍陣地。接著開辟蒼馬地區，在蒼山至馬陵山一帶建立了游擊根據地。之后，又進行了掃清抱犢崮周圍反動勢力的戰斗。12月下旬，第六八六團和蘇魯支隊清除了滕東地區申憲武部等反共頑固勢力，解除了抱犢崮抗日根據地西北部的威脅，擴大了抗日根據地。接著陳光、羅榮桓又決定向北發展，進攻白彥。經反復爭奪，最終摧毀了白彥及周圍各據點，切斷了日偽控制的費滕公路，解放了白彥地區，打通了魯南與魯中區的聯系。
到1939年底，魯南抱犢崮山區抗日根據地已擴展到南至郯馬、東至臨沂，西至滕鄒邊、北至梁邱一帶。先后建立了嶧縣、鄒縣、郯城、費縣、臨沂等縣抗日民主政府，使抱犢崮山區抗日根據地得到進一步鞏固。
隨著軍事斗爭的節節勝利、抗日根據地的不斷擴展和抗日民族統一戰線的日益鞏固和加強，魯南地方黨的組織、抗日民主政權及地方武裝都呈現出空前未有的大發展趨勢。特別是抗日民主政權建設，從1939年底至1940年春，先后建立了鄒縣、郯城、蒼馬、費縣、邳縣、臨沂、費北、滕東等11個縣的政權，還有38個區、171個鄉政權。
1940年4月，山東軍政委員會撤銷了第一區黨委，在原轄區內分別成立魯南、魯中區黨委。原第一區黨委所第三地委（尼山地委）、第四地委（魯南地委）劃歸魯南區黨委。6月上旬，魯南區委黨委在魯南天寶山區的油簍村正式成立，趙镈任區黨委書記。
9月中旬，根據中共山東分局桃峪擴大會議的決定，建立魯南軍政委員會，羅榮桓任書記，趙镈任副書記。魯南軍政委員會是統一領導魯南地區抗日斗爭的最高領導機構。
到1940年9月，魯南抱犢崮山區抗日根據地和游擊區面積已達2762平方公里，占魯南全區總面積的21.7%；人口有75萬余人，占總人口的21.18%。
1940年10月，中共中央決定八路軍第一一五師撤離魯南轉移到魯中沂蒙山區。第一一五師撤離魯南后，魯南抗日根據地斗爭漸趨困難。1941至1942年，是中國共產黨領導的敵后抗戰最艱苦、最困難時期，也是魯南抗日根據地最艱難的時期。
為了徹底摧毀抗日根據地，從1941年3月起，日軍先后推行了五次“治安強化運動”，并對魯南抗日根據地實行頻繁、殘酷的“掃蕩”、“蠶食”和分割、封鎖。至1941年底，日偽據點達441處，較1940年增加179處，全區平均每12個村莊就有一個日偽據點；僅1942年上半年至次年下半年的一年中，敵偽對魯南根據地的“掃蕩”就有7次，兵力最多時達6000余人。
而魯南地區的國民黨頑固派則在“皖南事變”后瘋狂地制造摩擦，1941年連續制造三次流血事件，即“四·二五”、“七·二五”、“十·二七”（銀廠慘案）三大事變，魯南區黨委書記趙镈在銀廠慘案中被殺害。趙镈犧牲后，由區黨委副書記張雨帆代理書記。1943年3月，王麓水任魯南區黨委書記。
在日偽軍和頑軍的夾擊之下，魯南抗日根據地被分割成數塊互不相連的根據地，根據地人口降至12.5萬，村莊不足500個。另外，連續三年的旱災、蝗災，魯南抗日軍民遭受到空前嚴重的困難。魯南抗戰進入最艱苦的時期。
在嚴峻的形勢下，魯南軍民開展了英勇的斗爭和艱苦的工作。一是粉碎日偽軍頻繁、殘酷的“掃蕩”；二是運用“翻邊戰術”，開展反“蠶食”斗爭；三是通過建立秘密交通線、摧毀敵人封鎖線、開展群眾性的反封鎖斗爭，打破敵人的封鎖；四是堅持團結抗戰，反擊國民黨頑固派的軍事摩擦；五是實行精兵簡政和實行黨的一元化領導；六是搞好軍民生產，保障后勤供應；七是進行貨幣斗爭，加強財政經濟建設。
1942年劉少奇視察山東后，對山東抗戰四年的工作做了總結，在肯定成績的基礎上，找出了山東工作的不足，魯南根據地軍民認真貫徹執行劉少奇的指示精神，發動群眾，開展減租減息、增加工資運動，推動了根據地工作的開展，扭轉了根據地被動的局面。魯南根據地進入恢復發展階段。這一期間，魯南軍區還開辟了從華中經山東到陜甘寧邊區的地下交通線，安全護送劉少奇、陳毅等千余名黨政軍領導干部過往。
1943年下半年反擊國民黨第九十二軍入魯勝利之后，改變了整個山東敵偽頑我力量的對比，局面大好。1943年11月柱子山戰斗剿滅頑匪劉桂堂部，標志著魯南抗日根據地基本上已經沒有了什么大的敵偽頑勢力。至此，魯南腹部基本全部解放，費南、臨費邊、滕嶧邊、趙镈等縣完全連成一片，魯南抗日根據地中心區的形勢得到根本好轉，根據地進入大發展階段。
從1944年起，魯南敵、頑、我力量對比發生根本變化，八路軍由弱變強，轉入對敵攻勢階段。在這一年中，魯南區黨委和魯南軍區發起了春季、夏季和秋季攻勢作戰。春季攻勢作戰清除了魯南根據地腹地的敵偽頑據點。夏季攻勢作戰，鞏固、擴大了解放區，打通了魯南與蘇北地區的聯系，湖西與魯南解放區也連成一片，由華中經魯南、湖西通往華北的重要交通線完全為人民抗日武裝所控制。秋季攻勢作戰打通了魯南與魯中、濱海兩根據地的聯系。隨著根據地的不斷擴大，魯南區黨委繼續領導全區各級黨組織深入開展整風，進行黨內教育，提高黨的素質;建立新的黨政軍領導機關，在對敵斗爭中發展新黨員，培養新干部。到1944年底，魯南地區共有三個地委和專員公署，13個縣委和縣政府，92個區委和區公所，1460個黨支部，17600余名黨員。1945年又連續發起春、夏季攻勢作戰，使魯南根據地的面積擴大一倍多。8月 ，在對日全面反攻開始后，魯南主力部隊編入山東解放軍第8師，警備第8、第9旅。
1945年8月15日，日本宣布無條件投降，9月2日，簽署投降書，抗日戰爭以日本侵略者的徹底失敗、中國人民的完全勝利而宣告結束，第二次世界大戰也勝利結束。抗日戰爭的勝利，是近百年來中國人民反抗外國列強侵略戰爭的第一次取得完全勝利的民族解放戰爭。在浴血奮戰的8年里，魯南地區軍民作戰3000余次，殲滅日偽軍4萬余人，殲滅頑軍2萬余人。魯南八路軍從無到有，從小到大，到抗日戰爭結束時已發展到2萬余人，民兵、自衛團43萬余人。共產黨在人民群眾中的威信大大提高，共產黨員從抗戰初期的400余人發展到近2萬多人，并培養了大批德才兼備的黨政軍領導干部，團結在黨周圍的各種抗日人民群眾團體會員達50余萬人。到抗日戰爭結束時，魯南抗日根據地已擁有250萬人口，1.3萬平方公里土地。魯南抗日根據地軍民在為本地區的民族解放事業做出重大貢獻的同時，也付出了巨大犧牲。在整個抗日戰爭時期，魯南地區的抗日武裝和人民群眾傷亡總數達20余萬人，其中魯南中心縣委書記何一萍、魯南區黨委書記趙镈、嶧縣大隊支隊長劉炳才、運河支隊支隊長孫伯龍、魯南鐵道大隊大隊長洪振海、政治委員張鴻儀等一大批優秀黨政軍負責人獻出了寶貴生命。
