可是，当1986年项目建成的时候西装市场急剧萎缩，同时国家出台宏观调控，财政紧缩。钢材涨价，水泥涨价，投资成本激增，当时海盐衬衫总厂年利税最高不过一百多万，而西装贷款利息就要四十多万，“等于靠我原来的衬衫去补西装的窟窿，小马拉大车怎么拉得动。”步鑫生认为海盐衬衫总厂由此转折，效益急剧下滑。1988年1月16日，步鑫生被免职。

　　徐华老师向记者回忆道：“那时的国内企业都在投资扩产，扩大产值，直接导致当时国内的产能过剩。地方政府希望上生产线来提高产值，增加自己的政治资本，企业的管理者本身也想搞生产线，也同样希望能升官，工人更是不管，产品生产多了，工资就多。从上到下皆大欢喜，但最后倒霉的还是中国的市场。”据说，当时的海盐衬衫总厂生产的西装卖不出去，就每人发一套，甚至连菜市场买菜的都穿着西装。

　　多年后的步鑫生回忆当时，愤愤不平，他认为西装项目的上马是海盐衬衫总厂最后衰落的直接原因，而这个项目也是长官意志，并非他这个厂长的初衷，而且层层加码，最后要搞成中国最大的西装厂，“我最大的责任就是没有顶住压力去搞西装。”

　　在免职的消息宣布几十天后，步鑫生就离开家乡，去了上海随后又北上，先在北京承包一家亏损的服装厂，创办了“金宝路”衬衣，后又接受亏损状态中的辽宁盘锦服装厂推出“阿波罗”衬衣。1993年，到秦皇岛创办步鑫生制衣公司。步鑫生最后一次出现在公开场合上，是1998年11月，他以步鑫生集团有限公司总裁的身份去马来西亚的吉隆坡参加了亚太经济合作会议的工商界高峰会。

　　2001年9月4日步鑫生因患肿瘤切除了肾脏、脾脏。出院后，步鑫生定居上海，在此后的一次采访中，步鑫生感慨道：“我现在有个愿望，就是什么时候能到江西共青城看看耀邦同志。”

　　回顾步鑫生的神话，给予人们启迪，到底是步鑫生引领了当时的经济改革呢？还是当时的经济背景引领了步鑫生的神话呢？