“五四”运动时期，随着马克思主义在中国的传播，工人阶级作为独立的政治力量开始登上历史舞台。中国无产阶级工会也逐步随着中国工人运动的发展而产生。1920年8月，陈独秀在《劳动界》发表的《真的工人团体》中呼吁工人联合起来，组织真的工人团体。随着各地工人运动的发展，上海、广东等地的共产主义小组先后建立了一些具有的鲜明的阶级性、群众性和民主性的现代工会组织，为工人阶级建立现代工会指明了方向。1921年7月，中共一大通过的《中国共产党第一个决议》指出，“党应在工会中要灌输阶级斗争的精神”。[2]
成立初期
1921年7月23日，中国共产党第一次全国代表大会召开，决定了当前工作主要是开展工人运动。8月，为了集中力量领导中国工人运动，中共中央在上海成立中国劳动组合书记部。 全国工会台港澳工作培训班
1922年5月1日，为了交流各地开展工人运动、建立工会组织的经验，推动全国工人运动高潮，中国劳动组合书记部发起召集了第一次全国劳动大会。[3] 大会的主要任务是纪念“五一国际劳动节”，联络全国劳动界之感情，讨论改良生活问题，讨论各代表提案等。会议通过了《罢工援助案》、《八小时工作制案》、《全国总工会组织原则决议案》等10项决议案，并决定在全国总工会成立以前，由中国劳动组合书记部为各地工会总通讯机关。大会还通过了《第一次全国劳动大会宣言》。[4]
1924年5月4日，广州工人正式举行代表大会，全市200多个工会的代表300余人参加。大会通过了20个决议案，成立工人代表会执行委员会，选举20个工会为执行委员会团体单位。[3]
蓬勃发展
1924年国共合作后，国民革命高涨。为了指导和推动全国工人运动进一步发展，实现全国工人运动的统一和团结，扩展并巩固工人阶级的力量，由香港中华海员工业联合会、汉冶萍总工会、全国铁路总工会、广州工人代表会等四大工团组织发起召集，1925年5月1日，第二次全国劳动大会在广东大学礼堂正式举行开幕典礼。[3] 大会的中心任务是：讨论确定国民革命中工人运动的策略、方针和建立全国统一的工会组织。会上通过了《工人阶级与政治斗争的决议案》、《组织问题决议案》和《中华全国总工会总章》等30多个文件，正式成立了中华全国总工会并成立了全总执行委员会，选举林伟民为委员长。大会还决定中华全国总工会加入赤色职工国际，以加强与世界无产阶级之间的联系与团结。