启事未提其被斥退之事，而自称因病辞职，但言辞中又流露出对外间物议的不满。不久，南京临时政府北迁，应夔丞又回到上海，联络长江上下游青帮、洪帮及公口党徒，于1912年6月成立国民共进会总机关部，7月1日举行成立大会，应夔丞自任会长，并呈请各省都督及内务部备案。呈文云：
    窃维民国初基，首重改良社会。前清时代，有所谓秘密结社，其团体甚大、结合甚坚、昭昭在人耳目者，当以青红、公口为最去岁武汉首义，各省景从，三党之人，尤多死力。顾自大功告成，即亦退处田间，不与他党争权利，侠义之风，于今为烈。惟是民国既定，素愿已偿，不再事秘密之行为，又实无解散之良法，是以一二志士注重国民生计、道德，集三党重要人物，发起是会，并拟联合曾抱同一宗旨之南北各社会，组织纯粹民党，实行取缔会员。各处支部成立后，不准私开香堂，另立码头，湔除其旧染之习惯，免致与民国法律相抵触，总期力图改良，维持国内和平，增进国民道德。经三党公决，规定草章，表明宗旨，名为中华国民共进会。现在总机关部业经成立，除就近呈请沪都督转咨内务部并呈各省都督立案外，各行检具草章及会证，呈请大都督察核，令行民政司通饬各县民政长一体备案施行。民国前途幸甚。[82]
    按照共进会草章，其宗旨有八：一、灌输国家思想；一、维持地方秩序；一、改良社会习惯；一、增进国民道德；一、主张世界和平；一、筹备平民生计；一、振兴工商实业；一、提倡尚武精神。职员包括会长一员，副会长三员，评议员无定额，文牍科、纠察科、宣讲科、庶务科各有干事六员，调查科、交际科各有干事九员，统计科有干事三员。[83]共进会总机关部设于上海，很快便依据浙江为发生地点，然后蔓延各省、各地。会员入会实行开放主义，特别注意吸收军队中人入会。除了在广东受到都督胡汉民反对外，在其他各省立案大多通过。[84]然而，共进会成立后，并没有按其宗旨行事。应夔丞自以有功民国，骄恣跋扈，为害地方，共进会党徒所至骚扰，民不安枕。[85]特别是在浙江，自共进会发现后，不数月间，匪类蔓延，无一处无该会会员之扰乱，更无一案不与该会有关系，小者恃强敲诈，愚弄乡民，大者开堂放票，聚赌敛钱，甚至明目张胆，确为叛乱，谣诼纷起，闾阎恐慌，其暴凶行为，如虎如狼，地方官等于虚设，警察局绝不顾问。[86]1912年9月24日，顾斌与鄂军马队副官严正朝、连长陈起胜等起事，被黎元洪镇压，经查，主谋系何海鸣、王宪章、应夔丞等，指挥机关本部设在上海。[87]其中，何海鸣因在《大江报》上鼓吹无政府主义，已经在8月9日遭到副总统黎元洪通缉。[88]应夔丞则作为暴动主谋之一，于事发后潜逃，遭到黎元洪严电通缉。[89]
    早在南京临时参议院北迁之时，南北各省党会林立，意见分歧，殊难取缔，就已成为袁世凯最抱隐忧的事情之一。[90]共进会成立后，立刻有人密报袁世凯：长江青红帮、哥（老）会、盐枭等新设共进会，闻已三十万人，皆非善类，可否设法早防。[91]迨武昌发生鄂军马队暴动，袁世凯很快于9月29日颁布严禁秘密结社的通令，令云：查近日沿江海各地方，尚有巧立会社种种名目，一切组织均取秘密，既无宗旨，又无政纲，惟日以号召党徒为事此等秘密之集会结社，若不事先预防，小之则流毒社会，大之且危及国家。应由各省都督、民政长，督饬军警，严行查访各该地方，如有秘密组织，意图聚众骚扰者，不问是何名称，均即按照刑律，命令解散。[92]11月11日，袁世凯又颁发布告，再次督促各省都督、民政长严惩秘密结会之风，同时表示：凡以前秘密结会，如能知悔，自首解散者，均准不究既往；其有愿组织社会者，但能不背法律，不扰公安，自应在保护之列。[93]
    共进会成立两个月后，即1912年9月，江苏都督程德全以上海军人之入于该会者甚众，颇为担心，令上海民政长详细调查其情形，旋通令沪防各军队，查禁军人，不得擅入共进会，如有已入者，应即脱除。[94]10月底，程德全又发出训令，略谓：现闻上海、南京、江阴、丹阳等处有一班无业流氓，每亦假共进会名义，集会聚议，希图煽惑，且必以茶楼酒市为会场，非但有失社会体例，且亦迹近嚣张，仰即随时留意，如遇有此等社会情事，务宜妥为解散。[95]12月中旬，程德全再次以共进会时有开设香堂、私立码头、散放票布等事，特发训令给混成旅李旅长，通饬水陆各营，如果查有共进会所，应即勒令解散，禁止设立，以保公安。[96]
    在浙江，都督朱瑞迭接各地呈报共进会为非作歹，殊为震怒，于12月初呈报大总统，并通令各路水陆巡防统领、各独立营队、各要塞司令官、各县知事等，自文到之日起，无论城乡镇市，凡有共进会，一律查禁解散。[97]舆论对朱瑞此举大加赞赏，称其所为系除暴安良。[98]应夔丞却致函朱瑞，颇有不满，称共进会组织之主旨，无非欲改良社会不意反遭庸俗嫉视，致集众矢之的，又称取销之手续，不必威之以兵力，尊之以府令，对于各处所发抢劫之案、骚扰之事，但当问其匪不匪，不当论其会不会。[99]朱瑞毫不让步，复书质问道：足下组织共进会之初，其宗旨在改良三帮，用意未尝不善。但当就旧有三帮洗濯而淬厉之，俾得勉为良善，今乃推波助澜，遍设党会，驱无知之民与亡命之徒，入鲍鱼之肆，久而与之俱化。是莠者未进为良，而良者先化为莠，无惑乎匪势蔓延，荆棘遍地试问所请改良旧习者何在？[100]