張玉華是天福山起義的領導人之一,起義部隊后被編為山東人民抗日救國軍第三軍第一大隊,張玉華任一中隊指導員。建國后升任118師政委,參加海南島戰役,所在師創造了第一個先鋒營和第一個加強團登島,用木船打敵軍艦的戰績。
1950年入朝作戰,118師在兩水洞打了志愿軍出國第一仗。張玉華在朝鮮升任40軍政治部副主任,獲朝鮮二級自由獨立勛章。回國后,張玉華40軍政治部副主任、主任、40軍副軍長。1960年任沈陽軍區炮兵副司令員,1963年任沈陽軍區炮兵政委。1967年任武漢軍區副政委,后擔任南京軍區副政委。張玉華是中共11屆中央委員。1970年到1976年、1982年到1983年兼任湖北省委書記。1964年晉升少將,二級獨立自由勛章、二級解放勛章、一級紅星功勛榮譽章。