清心堂创办于主后1860年，初期设在大南门外陆家浜的清心书院内，迄今已历时156周年。由美国北长老会差会派谴的传教士娄牧师（Rev.Lowrle）等四个传教士设立。
取名“清心堂”，由来于《新约圣经》马太福音5章8节耶稣说：“清心的人有福了。因为他们必得见神”。根据清心堂最早的记录，当初清心堂正式的名称是“上海长老会第一会堂”（TheFirst Presbyterian Church in Shanghai）。
清心堂开始由自聘的华人牧师，主持教会工作，首任华人牧师是汤执中牧师。当时已有本堂信徒捐献款项，供养教会，开始实行教会经济部分自给。又于主后1882年分设沪北支会——即联合礼拜前之鸿德堂，于主后1889年又分设虹口支会——即联合礼拜前之闸北堂。此即清心、鸿德、闸北三堂，号称上海长老会三个兄弟堂会的由来。由李恒春牧师发起，在今日的大昌街30号购地（原名大佛厂街）建造今日之清心堂。全部购地造屋费用，完全由中国信徒自己乐意奉献。新堂于1923年元旦举行落成奉献礼拜。
清心堂原先还有四个机构，即清心男中、清心女中、圣经学院和普益社。清心堂从成立到开始联合礼拜，历任自聘牧师传道大致如下：范约翰（1860-1882）；汤执中（1882-1907）；李恒春（1907-1938）；汤仁熙（1907-1933）；金武周（1930-1936）；陈蓉生（1936-1994）。上海各会实行联合礼拜，清心堂和南市区松雪街的天恩堂为上海南市区基督教联合礼拜的两座聚会教堂。全区原有13个礼拜堂的信徒都喜气洋洋地到这两个礼拜堂参加主日礼拜及其各种宗教活动。上海市基督教三自爱国运动委员会派朱大卫牧师担任南市区联合礼拜主任。
1966年秋“文革”开始（8月23日）教会停止活动。经过十年动乱之后。直到1979年9月9日我清心堂为第二座恢复了礼拜的教堂，（停了十三年又一个月）上海市基督教三自爱国运动委员会，又委派朱大卫、须启道两位牧师担任清心堂正副主任。朱贵农、郭隆海和陈蓉生三位牧师，共同参与并协助教会工作。
