在任毛泽东主席秘书期间，他曾用10多年的心血为毛泽东建立起一个图书馆，由刚进城时的10个书架发展到上万册书籍。他的业余爱好在收集清人墨迹，特别是收集文人学者的墨迹方面。“小莽苍苍斋”所藏清人翰墨，从明末到民国初，约300年；有学者、官吏、金石家、小说家、戏剧家、诗人、书法家、画家，约500余位；约1 500件。数量最多、收集最专的是一代清儒的墨迹。有人赞誉他收藏的清人翰墨为“海内第一家”。“文革”爆发后，戚本禹接管了“小莽苍苍斋”的部分藏书，被他称为“国宝”的有毛泽东手迹、其他国家领导人的墨迹、“小莽苍苍斋”藏品总账目、数以百计的清人墨迹、信札、印章等都不翼而飞。藏书印有“京兆书生”、“家英藏书”、“成都曾氏小莽苍苍斋藏书”、“壬寅岁朝为小莽苍苍斋主人”等