刘琨出生于公元270年，当时正值我国的西晋时代。《汉书·本传》说他是汉中山靖王刘胜之后。虽源于豪门世族，但刘琨年少时即很有抱负。与祖逖同为司州（今洛阳）主簿时，他们闻鸡起舞，相互激励：“若四海鼎沸，豪杰并起，吾与足下当驰骋中原。”也许是刘琨与祖逖太富于先见之明，没多少年后，西晋就发生了长达16年的宫庭内乱，这就是历史上著名的“八王之乱”。经此一变，西晋开始变得国势衰微，烽烟四起，也使刘琨平稳高升的仕途出现了重大转折。东海王司马越迎惠帝还位，自为太傅，朝政大权也落入他的手中。深受信赖的刘舆这时向司马越推荐自己的弟弟刘琨镇守并州，得到同意。刘琨便于公元306年出任了并州刺史，自此，他的命运便与征战紧紧地联系在了一起，也踏上了保卫晋阳的英雄之路。 

刘琨到晋阳赴任时，并州的形势已是每况愈下。早在东汉末年，匈奴贵族势力便开始逐渐南移。到晋朝，并州的大部分地区已被匈奴占据，仅剩州治所在地晋阳城及附近的一些属县。公元304年，匈奴首领刘渊（今离石东北）建都，自称汉王。他分兵攻占了高平、屯留、平遥、介休等地后，又开始频繁地抄掠晋阳。得知刘琨竟敢前来晋阳赴任，刘渊便派兵在沿途进行截击。刘琨是靠着在上党招募的千名士卒拼力冲杀，边战边进，才到达晋阳的。 

刘琨费尽周折所到达的晋阳城当时是“府寺焚毁，死尸蔽地，所存活者饥饿病弱。荆棘成林，豺狼满道“，可谓是满目疮痍，惨不忍睹。他当即上书请求拨付粮、绢、棉等物资，用于军队建设和临时救荒，同时还组织百姓，重筑城地，使荒废了的晋阳城重新焕发了生机，流亡在外的人们也闻讯纷纷返回这里。 

一俟晋阳城重新变得坚固起来，兵源也得到很大的补给，刘琨便与刘渊及其子刘聪、其孙刘粲，还有后来立国号为后赵的石勒，进行了多次殊死的军事较量。由于孤立无援而对手又很强大，刘琨虽想建功立业，收复失地，却往往损兵折将，难酬壮志。公元312年，刘粲等再次攻打晋阳时，在令狐盛之子令狐泥的出卖下，晋阳城还一度陷落。刘琨的父母就是在这次城陷中被杀害的。直到4个月后，刘琨才在鲜卑族首领猗卢的帮助下，反攻并重创刘粲，终而收复晋阳。 

公元316年，刘琨集中全部兵力，准备给一直虎视晋阳的石勒以迎头痛击，不料由于求胜心切，反而中了石勒的埋伏，以致全军覆没。在进退失据的情况下，刘琨只好率领残部投奔了幽州刺史段匹石单。后因段匹石单内起变乱，骨肉相残。因受到疑忌，刘琨于公元318年被杀害，死时年仅48岁。虽则如此，刘琨在护卫晋阳城过程中的所作所为，直到今天仍然是一座城市历史上的灿烂篇章。