谢晋元率“八百壮士”退入公共租界后，即为租界当局解除了武装，并且不准返回部队。而被用车运至胶州公园孤军营羁留，一呆就是4年。进驻营房后，国民政府对抗战有功的全体官兵晋升一级，谢晋元升为上校团长。　　

　　谢晋元在中国银行仓库底层的一个办公室里，他面容憔悴，流着眼泪，异常悲愤，在与英军小队长马飞少校谈话时，泣不成声。当天上午11点钟，谢晋元与“八百壮士”乘汽车，前往沪西胶州路的孤军营。在他们去孤军营的路上，到处是欢迎的人群，人们向抗战英雄们热烈鼓掌，向他们表示敬意，并高呼：“抗日英雄万岁！”“打倒日本帝国主义！”，见到这一切，谢晋元和壮士们的心情万分激动，一边流着泪，一边举手向人们行礼。　　

　　到孤军营以后，谢晋元因不能杀敌，心情郁闷，不久就患病住进了医院。在医院期间，他曾手书一副对联，赠与他人，中联为：“富贵不能淫，威武不能屈，贫贱不能移。”上联为：“养天地正气”，下联为：“法古今完人”。　　

　　在孤军营中，谢晋元仍满怀抗敌爱国之志，带领"八百壮士”在营中实行严格的军事训练和生活管理，每日出操，举行精神升旗典礼。他对大家说：“我们头上有青天白日，脚下有热烈的鲜血，这足以代表国旗。”他还对士兵们说：希望大家读书，学技术，将来出去，人人有工作做。他举办了孤军学校，分小学、初中、高中三个班级。为了改善官兵生活，也能学到技术，于1939年元旦起，成立合作社，实行生产自助，先后办起袜子、肥皂、毛巾、藤椅等生产组。有了收入，逐步改善了生活，且不要国家负担，还向重庆捐献，支援抗战。他三年如一日，从未擅离职守。日伪多方逼利诱，均未得逞。随着上海形势的恶化，谢晋元又一次写下遗嘱寄给其父母说：　　

　　上海情况日益险恶，租界地位能否保持，现成疑问。敌人劫夺男之企图，据最近消息，势在必得。敌曾向租界当局要求引渡未果，但野心未死，‘且有不惜任何代价，必将谢团长劫到虹口(敌根据地)，只要谢团长答应合作，任何位置均可给予’云云。似此劫夺为欲迫男屈节，视此为敌作牛马耳。大丈夫光明而生，亦光明磊落而死。男对死生之义，求仁得仁，泰山鸿毛之旨熟虑之矣！今日纵死，而男之英灵必流芳千古。故此日险恶之环境男从未顾及。如敌劫持之日，即男成仁之时。人生必有一死，此时此境而死，实人生之快事也。　　

　　1938年2月1日，谢晋元在孤军营里接见了新闻记者。当记者颂扬他们的时候，他对记者说：“防卫国土是军人天职，没有什么值得特别颂扬，倭寇与我们誓不两立，我们存在一天，决与倭拼命到底！”同时他要求部下，保持爱国军人的精神面貌，谢晋元经常鼓励大家要养精蓄锐，待恢复自由之后，再为国家效力，他对官兵们说：“在上海祖界，我们的言行，必须使友邦从我们身上看出中国军人之气概，从此认识中国之精神。”　　

　　1941年4月24日5点钟，在上早操时，有四位上等兵迟到，在举行精神升旗礼之后，谢晋元把这四位迟到的上等兵叫到跟前，没有想到郝鼎诚等四人已被日伪收买，这些民族败类突然拿起铁镐和其他凶器，向谢晋元发动突然袭击，谢晋元身中数刀，不幸殉难。时年仅36岁。　　

　　谢晋元遇刺身亡的消息一传开，上海人民为之震惊，深为悲痛，前往吊唁的人络绎不绝，达10多万人。5月8日，国民政府通电嘉奖，并追赠他为陆军少将。同时，中共领袖毛泽东也高度赞扬谢晋元及其率领的“八百壮士”，把他们与“平型关”、“台儿庄”的抗日勇士们一同称赞为是“民族革命典型”。冯玉祥特意撰文赞扬谢晋元与“八百壮士”，要求人们继承谢晋元与“八百壮士”的精神，继续努力。为了纪念谢晋元，将孤军营所在地上海市胶州路，改名为晋元路。全国解放后，上海市人民政府褒扬谢晋元是“参加抗日，为国捐躯”，并优恤其遗属。1982年上海市政府将谢晋元墓迁移到万国公墓“名人墓区”，1985年9月2日，上海闸北政府，举行了“八百壮士”四行仓库抗日纪念地碑石纪念的揭幕仪式，供人们瞻仰纪念。