中国共产党在创建初期，十分看重吸收工人党员的比例与作用，一大召开不久，中共中央局即致信共产国际，报告说：“为了把好的可靠的同志吸收到自己这方面来，决定接受党员要特别谨慎，严格审查。鉴于我们的党到现在为止几乎完全由知识分子组成，所以代表大会决定要特别注意组织工人，以共产主义精神教育他们。”(《中国共产党第一次代表大会档案资料》，人民出版社1982年版，第9页。))并立即决定在产业工人中发展党员，不久即有邓培、史文彬、王荷波、林祥谦、项英、刘华等加入，到二大前夕，有工人党员21人，占总数的10.7%。随着第一次工人运动的开展，工人党员大增，到1923年6月，工人党员发展到164人，时党员总数为432人，比例高达37.9%；在大革命高潮时期，工人党员数量更是激增，一度使共产党的工人成分扩大到60%（1926年11月）。在1927年四五月召开五大时，工人党员占全部党员57963人的53.8%。
中共已确定无产阶级专政及社会主义革命为其所要达到的首要目标，便要集中专力于职工运动，在得到国际代表马林同意后，张国焘便着手起草中国劳动组合书记部章程、组建组织，以作为全国工运的领导中心中国劳动组合书记部的名称来源于英文Trade Union Secretariat。Trade Union为“工会”，日语译为“劳动组合”，因马林在日本工作，故有此名称。(见《包惠僧回忆录》，人民出版社1983年版，第33~34页。))，创办一个名为《劳动周刊》的刊物，在北京、武汉、广州、长沙等地设立分部，出版地方性的工人刊物，所需活动经费由共产国际主要提供。从事工运的社会主义青年团员和共产党员，则按月领取为20~35元的津贴。
8月，《共产主义》第六号发表通告，宣称中国劳动组合书记部成立，称该部是上海的一些劳动团体所发起的，是一个要把各个劳动组织都联合起来的总机关。“他的事业是要发达劳动组合，向劳动者宣传组合之必要，要联合或改组已成的劳动团体，使劳动者有阶级的自觉，并要建立中国工人们与外国工人们的密切关系。”
到1922年5月1日劳动节前后，各地分部已大体宣告成立，基本领导干部也配备整齐，上海总部主任张国焘，干事李启汉、包惠僧、李震瀛、许白昊等；下辖4个工会组织，即上海机器工会（主席李中）、上海浦东纺织工会（组织者李启汉）、津浦路工人俱乐部（主任王荷波）、上海印刷工会（主任徐梅坤）；北京分部，主任罗章龙（兼），下辖4个工会组织，即长辛店工人俱乐部（主任史文彬）、京溪路工人俱乐部（特派员何孟雄）、唐山工运特派员李树彝、唐山铁路工人俱乐部（负责人邓培）；长沙分部，主任毛泽东（兼），下辖3个工会组织，即安源路矿工人俱乐部（主任李立三，副主任朱少连，秘书蒋先云）、粤汉路新河工人俱乐部（主任张万云，特派员郭亮）、湖南劳工会（书记部委员黄爱，教育部委员庞人铨）；汉口分部，主任包惠僧（兼），下辖5个工会组织，即京汉路江岸工人俱乐部（委员长林祥谦，特派员项英）、粤汉路徐家棚工人俱乐部（特派员李书渠）、汉口人力车夫工会（法律顾问施洋）、汉阳钢铁厂工会（副委员长向忠发，秘书许白昊）、武汉第一纱厂工会（特派员林育南）；广州分部，主任谭平山（兼），下有广东土木建筑工会（主席郭寄生，秘书冯菊波）、广州机器工会（组织者谭天度）。
从以上组织构成情况看，此时中共开展工运的方式仍是利用已有工会组织加以改造，重点在铁路、纺织与钢铁厂等工人密集的行业，尤其是铁路工会，占据了绝对主导的地位；派入得力干部，特别是本身为工人出身的，进入领导层以争取领导权，发展党所控制的组织，这些领导者很多成为大革命时期的著名工运领袖，有些甚至在中共中央领导层占据相当重要的地位，如上面提及的王荷波、徐梅坤、邓培、李立三、黄爱、庞人铨、林祥谦、项英、向忠发、林育南、冯菊波等。
中国共产党地方组织的发展。按照一大的要求，中共中央局指示各地特别是上海、北京、广州、武汉、长沙5区至迟在1922年7月二大召开前，须成立30人以上的区执行委员会，以便使党能成立中央执行委员会，这说明在早期，中共以此5区为发展中心区域。
上海。1921年11月，陈独秀即成立中共上海地方委员会；次年5月，改组为中共上海地方委员会兼区执行委员会，委员为徐梅坤、沈雁冰、俞秀松，徐为书记，沈负责宣传，到6月底，党员50人，超额完成中央局的任务。
北京。1921年秋，中共北京地方委员会成立，李大钊任书记，罗章龙为组织委员，高君宇为宣传委员，李梅羹为财务委员。并在天津、张家口、唐山、保安等地建立了支部。
长沙在1921年10月10日成立中共湖南支部，毛泽东为书记，后在半年时间内发展党员达30人，到1922年5月，中共湘区委员会成立，毛泽东任书记，何叔衡、易礼容、李立三为委员。
武汉、广州发展都很迅速，到1922年6月30日，各地共产党员人数为：上海50人，广东32人，湖南30人，湖北20人，北京20人，山东9人，河南8人，四川3人，留俄学生8人，留日学生4人，留法学生2人，留德学生8人，留美学生1人，总计195人。
在注重工人运动的同时，早期中共也开展了农民运动，主要是沈玄庐领导的浙江萧山衙前农运和彭湃领导的广东海丰农运。沈是老资格同盟会员，五四运动时主持《星期评论》声名鹊起，是上海党小组最早的一批党员之一。其祖辈、父辈都是当地大地主，财产丰殷，沈于1921年8月，亲自演说，号召组织农民组织，废止私有财产；9月，正式成立衙前农民协会，开展抗捐抗税、减租减息的斗争，引起极大震动。
海丰农运的核心人物是彭湃，彭首先在家乡海丰县赤山沟建立秘密农会，时为1922年7月底，到10月下旬，发展到20多个村庄，500多会员，并正式成立公开组织。到11月中旬，迅猛发展到3500会员，到年底则惊人地发展到2万户、10万人，几占该县总人口的1/4。因此，彭湃在1923年元旦，召开全县农民代表大会，正式成立海丰总农会，使海丰农运成为党初创时期范围最广、影响最大的地区。
中共中央反对加入国民党
1921年9月11日，在马林一再催请与党内同志的坚决要求下，陈独秀与包惠僧一道离粤回沪，到中共中央视事，专任书记职，由此陈在1927年离开共产党总书记之前，一直以职业革命家身份从事中国的共产主义运动的领导工作。
刚回到上海的陈独秀却马上与马林发生了大争吵，陈几次拒绝马林会晤的请求，工作时亦撇开马林，独立进行，其中原因有二，一是马林桀骜不驯、专横傲蛮的作风，一是马林不经过中共中央，密派张太雷赴日本。
马林以曾经指导过印度尼西亚的革命运动，具有丰富的实践经验，且是共产国际代表自居，对待中共人士一贯有傲慢与轻视的态度，先是在中共一大后与李达关于中共经费是否由共产国际提供的争吵，这次陈独秀回沪主持党务，陈亦对接受远方经费支持表示异议，认为这有雇佣革命之嫌，表示“中国革命一切要我们自己负责，所有党员都应无报酬的为党服务”，包惠僧对此回忆说：
我们回到上海以后，陈独秀同马林见面，谈了几次，意见未得一致，因为陈独秀是个最重感情的人，他听了我们同志间先入之见，也以为马林是看不起中国党。正在僵持当中，有一天晚上，我去看他。他说：“革命是我们自己的事，有人帮助固然好，没有人帮助我们还是要干，靠别人拿钱来革命是要不得的”，言次不同意接受第三国际的经济支援，他并准备介绍我到重庆师范学校去教书，他主张同志们应从独立生活的环境中去发动革命，不要以革命为职业。(包惠僧：《共产党第一次全国代表会议前后的回忆》（1953年），第307~308页。))
显然这只是一个不切实际的借口，其主要原因仍是对马林过多干涉党的内部事务、轻视甚至粗暴对待中共领导人的抗议。
关于中国共产党的活动经费问题，张国焘也是牢骚满腹。中国劳动组合书记部成立之初，马林主动表示给予活动经费，说：“站在国际主义的立场，共产国际有帮助各国共产党的义务，而中共也应坦然接受。”并要张立刻编制工作计划、经费预算。张当时开出的经费清单是：总共预计是30人，每月生活津贴每人20~35元，加上机关开支、出版费用，共计1月须1000多。马林见张所需经费如此少，大笑同意。(张国焘：《我的回忆》（第一册），第151~153页。))但当陈独秀自广州回来后，却听说马林公开表示“一年以来，第三国际在中国用了二十余万，而成绩如此，中国同志未免太不努力”转引自郑学稼：《陈独秀传》（上），台湾时报文化出版企业有限公司1989年版。陈独秀非常恼怒，一面批驳，一面对张国焘大加斥责，说：“你为何向马林提出劳动组合书记部的计划和预算，而且对于工作人员还规定薪给，等于雇佣革命，中国革命的一切要我们自己负责的，所有党员都应无报酬的为党服务。”转引自郑学稼：《陈独秀传》（上）。张国焘在回忆录中说，陈独秀批驳马林道：“我们哪里用了这样多，半数是第三国际代表自己拿去住洋房吃面包，如何诬赖别人。”(见张国焘《我的回忆》（第一册），第159页。))
1921年8月，美国准备召开华盛顿会议，协商各主要资本主义国家的政治秩序及对苏俄的经济封锁与军事干涉，共产国际也立即决定召开一次远东革命团体的会议，此即后来的远东劳苦人民大会。
马林接到莫斯科指示后，秘密指派中共中央给他配备的翻译张太雷赴日本，寻求日本社会主义者的支持。并要张严守秘密，不得告知李达、周佛海及中共中央，这使得陈独秀大为愤怒。陈独秀认为马林这种严重的越权行为，是粗暴干涉中共内部事务，简直是胡作非为。“张太雷是中共党员，虽然被派任马林的翻译，他的行动仍须遵守中共中央的命令，现在马林不征求中央同意，擅自派遣他去日本，而且共产国际召开这样重要的会议，事前也未和我们商量，简直是藐视中共中央。”怒不可遏的陈独秀声言不与马林见面，要求共产国际撤换马林代表的职务。(张国焘：《我的回忆》（第一册），第157页。)
此次争吵后来因为陈独秀突然被捕、获释而戏剧性地得到解决。
陈独秀与马林的争吵，实质上是中共中央与共产国际关系的争论，这也是作为一个主权党——中共，最后一次与共产国际代表发生明确的大的抗争，自中共加入共产国际直至共产国际解散的20余年的历史中，来自“远方”的指示一直对中共中央起着决定性的作用，对中国革命产生了至深且巨的影响。
11月，中共中央局发出通告，决定成立各地“区执行委员会”后，原有的主要由一大代表组织的支部便改名易帜，纷纷成为执委了。它们主要是：中共湘区工作委员会，书记毛泽东；中共广东区执行委员会，书记谭平山；中共武汉区执行委员会，书记包惠僧；中共北京区执行委员会，书记罗章龙；中共北京地方委员会，书记何孟雄，是年底划归北京区委领导；中共上海区执行委员会，书记陈望道，开始由中央局兼领，1922年5月由地委改为区委兼地委；中共济南支部，书记王尽美；中共中央驻柏林通讯员张申府，中共中央驻巴黎通讯员赵世炎。
这样，中共的基本领导机构在全国主要城市就开展起来了。根据前议，1922年1月，中国国民党与共产党组成一个30多位代表的庞大代表团出席在莫斯科召开的共产国际远东各国共产党及民族革命团体第一次代表大会（又名远东劳苦人民大会）。代表团中，较知名者有孙中山指定的国民党代表张秋白，中共代表张国焘、张太雷（亦是代表团英语翻译），无政府主义代表、名作家黄凌霜，山东省各团体代表王乐平，铁路工人代表邓培，湖南劳工代表王光辉。以后成为国民党黄埔系骨干、军统前身力行社的精神首领的贺衷寒，亦作为武汉新闻记者参加了会议，张国焘被推为中国代表团的主席。
本次会议是共产国际为打破欧美帝国主义国家的封锁，在远东输出苏俄革命而召开的，会议的主题就是力促各国民族主义者和共产主义者合作，列宁在会议期间，接见了中共代表张国焘（张此后即以中共中央唯一见过列宁而自豪、为政治资本），国民党代表张秋白和铁路工人代表邓培，要求加强国共合作。会后，张国焘回国，向陈独秀作了汇报，尤其是会中一再提议的国共合作问题。
陈独秀认为，共产国际、世界革命和苏俄是不可分割的，须相依为命，互为声援，共图发展。世界革命不能有呆板的公式和划一的计划，只有以反帝为共同目标；目前中国革命不是什么工人阶级反对资产阶级，只是反外力侵略和反对军阀。环顾全国，除国民党可以勉强说得上革命外，并无别的可观的革命势力。陈独秀表示他对列宁的主张与建议深表同意，可以实行国共合作。
