當(dāng)時(shí)，譚平山雖然被國共兩黨開除黨籍，“但是他并沒有因此消沉”，仍然關(guān)心著中國革命的前途。于是，譚平山利用自己在國共兩黨中的威望和影響，將上述各方面的人士召集起來，于1928年2月在上海成立了“國民黨左派聯(lián)合辦事處”，隨后定名為“中華革命黨”，以繼承和發(fā)揚(yáng)孫中山用中華革命黨改組國民黨，努力復(fù)興中國革命的精神。

由于中華革命黨的主張既不同于國民黨，也不贊成當(dāng)時(shí)中共的一些“左”傾政策，因此被人們稱為“第三黨”。這也招致了國共兩黨的不滿和打擊。以蔣介石為首的國民黨攻擊它是“共產(chǎn)黨的工具”、“共產(chǎn)黨的附庸”，而當(dāng)時(shí)的中共“左”傾中央則“指斥他們?cè)诜吹圻\(yùn)動(dòng)和民眾運(yùn)動(dòng)中動(dòng)搖猶豫和妥協(xié)”。中華革命黨在譚平山的領(lǐng)導(dǎo)下，十分艱難地開展革命斗爭。

1930年5月，國民黨左派領(lǐng)袖鄧演達(dá)回國后，將中華革命黨改組為中國國民黨臨時(shí)行動(dòng)委員會(huì)，繼續(xù)從事反蔣斗爭。譚平山支持鄧演達(dá)的反蔣主張和行動(dòng)，但因在黨的改組問題上與其發(fā)生嚴(yán)重分歧，于是主動(dòng)解除了自己對(duì)第三黨的領(lǐng)導(dǎo)責(zé)任，離開上海到香港繼續(xù)從事革命活動(dòng)。

全面抗戰(zhàn)爆發(fā)后，譚平山從香港經(jīng)廣州回到武漢，要求參加抗日。蔣介石特別召見他，讓其參加起草《抗戰(zhàn)建國綱領(lǐng)》。1938年4月，國民黨臨時(shí)全國代表大會(huì)在武漢召開，譚平山被恢復(fù)國民黨黨籍，并被聘任為新設(shè)立的國民參政會(huì)參政員。隨后，他又被任命為三民主義青年團(tuán)臨時(shí)中央干事會(huì)常務(wù)干事兼法制委員會(huì)主任。然而，不久他對(duì)國民黨蔣介石的幻想就破滅了，決定不再參加國民黨、三青團(tuán)的會(huì)議。

當(dāng)時(shí)，中共駐重慶代表周恩來、董必武在了解到譚平山的情況后，對(duì)他給予了很大幫助和關(guān)懷，使他再次感到了黨的溫暖。1939年冬，譚平山經(jīng)過嚴(yán)肅認(rèn)真的思考，鄭重提出要求恢復(fù)中共黨籍，并離開國統(tǒng)區(qū)到延安去。對(duì)此，董必武希望他繼續(xù)留在國統(tǒng)區(qū)工作，爭取團(tuán)結(jié)各種抗日民主力量，那樣比去延安更能發(fā)揮作用。譚平山欣然接受，表示：“今后我的行動(dòng)與黨的行動(dòng)同一步調(diào)，黨的態(tài)度就是我的態(tài)度?！?/p>