1891年7月8日生于河北省涿州市，其父系文人，能书善画，家中亦有书画收藏，受其薰陶，胡佩衡自幼喜爱绘画，10余岁始学山水画，勤于用功，进步较快。15岁后得西陵山水画家李静斋指点，由临摹明清画家作品入手，继之涉猎宋元山水，于吴镇、王蒙、石涛、王翚等人用功尤深，使他打下了深厚的笔墨功底。同时又 与姜颖生、林纾等人往来，交流作品，切磋画艺，进而以传统技法对景写生，练习创作，画艺大进。20岁后开始与北京名画家如姜颖生、林琴南、金城、陈师曾、陈半丁、萧谦中、汤定之、贺履之相往来，并得到他们的指导。

1918年，胡佩衡加入蔡元培创办的北京大学画法研究会，从比利时画家盖大士学西画。

1919年被聘为北京大学画法研究会导师，并受蔡元培嘱托，著《山水入门》，主编《绘学杂志》。这期间他还随比利时画家盖大士学习素描、油画、水彩 画和图案等，并逐渐将其吸收融入山水画创作中，由此他提出用传统方法写生，由写生而创作的主张。同时，著文对以“四王”为代表的因循 守旧的画风，进行了大胆的批判。

1920年北大画法研究会更名为“造型美术研究所”，年轻的胡佩衡被聘为导师。同一年，金城、周肇祥等在北京创办中国画学研究会，胡佩衡成为第一批研究员（学员），在金城等的指导下进一步学习传统绘画，两年后，相继升为该会助教、评议。

1924年著《冷庵画诣》，提出“法古与创作须交相为用”的绘画主张。

1927年与金荫湖、徐燕荪、陈东湖、惠孝同等发起湖社画会，编辑《湖社月刊》。

1928年出版《王石谷画法抉微》，同年解囊为齐白石出版《齐白石画册第一集》。

1934年出版《画箑丛谈》。其间曾连续出版《胡佩衡画存》，并在北京的一些大学中任教，同时开办个人国画函授学校，大力倡导、教授中国 画。 中华人民共和国建立后，胡佩衡注意深入生活，观察揣摸自然山川的四时变幻，所作山水，笔墨娴熟，内容新颖，富有时代感，其作品多 写北京郊区的山水景物，其代表作有《西山丽景》(1952)、《野溪朝阳》、《丰沙线写生》(1953)等。

1956年赴湖南、贵州、广西等地旅行写 生，作画甚多，并由人民美术出版社择其佳作出版《桂林写生》。此次旅行写生使他的画风为之一变，以后数年所画山水，意境清幽，老笔纷 披，墨色浓黛，气势雄奇奔放。代表作有《江上晴帆》等。

1957年北京画院成立，即被选为院务委员，任画师。同年出版《我怎样画山水画》 一书，总结他50余年创作山水画的经验体会。 该书内容翔实，技法讲解深入浅出，通俗易懂，极受读者欢迎。

1958年又出版《王石谷》。

1959 年与其子胡橐合著《齐白石画法与欣赏》，同年12月出版《山水画技法研究》。

1960年合作选订出版《芥子园画传》。

1962年3月16日卒于北京。

1962年出版《胡佩衡桂 林写生画选》，同年4月8日由中国美术家协会和北京市文学艺术联合会主办了胡佩衡遗作展览会。

1930年，胡佩衡在《北楼吾师逝世四周（年）志感》诗中写道：“四年断梦总成尘，每对秋风一怆神。此日明窗净几处，商量笔墨更何人。”表明胡佩衡与金城的师生情谊。被称为北京画坛“广大教主”的金城，以“精研古法，博采新知”为原则，指导了一大批年轻画家，内中以胡佩衡最年长，也最早熟。金城的侄子金开英先生回忆说：“先伯教了许多弟子……，有一件事我记得很清楚，先伯买了一批丈八的宣纸，他给大徒弟们每人一张，让他们自己作稿，他也和他们一起画，交卷后，开了个丈八纸作品展览会，还记得是评了胡佩衡的画为最好。”

胡佩衡是齐白石的忘年交。1928年出版的第一本齐白石画册，就是胡佩衡编辑的，他在《序言》中称赞齐白石“性爽直，喜任侠，有古烈士风”、“作品之意境深刻而新颖”。30年代初，胡佩衡在琉璃厂创办“豹文斋”，经营书董，编印了许多画册书籍，除了胡氏自己的著作外，还有《大涤子山水精印》、《黄子久富春山居图》、《齐白石画册》、《萧谦中课徒画稿》、《萧谦中山水精册》等等，对弘扬中国书画做出了贡献。

关瑞之先生披露：1952年9月胡佩衡先生与其他八位湖社画会、松风画会的国画宗师们一同创作了国作《普天同庆》。毛主席向共同创作的老画家致谢，信中写道：白石先生：承赠‘普天同庆’绘画一轴，业已收到，甚为感谢！并向共同创作者徐石雪、于非闇、汪慎生、胡佩衡、溥毅斋、溥雪斋、关松房诸先生致谢意。毛泽东一九五二年十月五日。

当代资深国画家、国画理论家关瑞之先生指出：胡佩衡先生功力深厚，虽入手于“四王”但笔墨更近明四家沈、唐骨法。1949年后胡佩衡先生注重写生和笔墨锤炼，其晚年笔墨更为老道、精湛。胡佩衡先生是早期中国画学研究会的成员，他尊中国画学研究会的创始人金北楼为师长，但金、胡之间没有嫡传式的师生关系，胡佩衡也没有像其他北楼弟子们冠以“湖”字号。

50年代以降，胡佩衡谋求山水画的新风格，先后到丰沙铁路沿线（1953年）、广西桂林和湖南韶山（1956年）写生。其中桂林写生，以浓重热烈为宗，成为晚年风格的转折点。如秦仲文所说：“写桂林风景，笔意之辣，气象之厚，青黛之浓，丹黄之粲，都显示出奔放雄奇、与年俱老的画境，而达到他所追求的推陈出新的成就。”具体说，这种新风格的特点是：构图简洁，喜取近景特写，不再有山重水复、重峦叠嶂的景象；笔墨厚重，多以强悍的焦墨勾皴点画；喜用对比强烈的色彩，如石青、石绿、铅粉、洋红等。概言之，这些作品用重彩而能写意，独树一帜。胡佩衡对自己的“衰年变法”也很满意，有诗曰：“万寿菊黄又一年，衰年变法气冲天。夕阳无限春常在，树茂山崇晚更妍。”