Dějiny hradu jsou nejasné; zdá se, že byl původním sídlem rodu, který se psal z Prusinovic (od roku 1418 se psali jako Podstatští z Prusinovic). Hrad stával poblíž zaniklé vsi Jaroslavice a patřil Přemkovi z Víckova na Prusinovicích. V pramenech se jméno hradu Kasařova vyskytuje jen jednou, roku 1522 při rozdělení prusinovického panství mezi syny Artleba Prusinovského z Víckova; tehdy byl hrad již pustý. Zdá se zanikl v 70. letech 15. století za válek česko-uherských mezi Jiřím z Poděbrad a Matyášem Korvínem, protože v roce 1522 se uvádí v okolí v okolí Prusinovic i několik zaniklých vsí. Zcela zanikl pak v 17. století. V 19. století zde baron Ernest Loudon postavil lovecký zámeček; dnes chata prusinovických myslivců.

Hrádek se zmiňuje jenom jednou, a to roku 1522 jako pustý hrad Kasařov. Patřila k němu asi vesnice Jaroslavice, která byla už roku 1464 opuštěná a po níž zůstal traťový název Jaroslavsko. Nejen ta, ale i další ves Lhota byly už od roku 1358 trvale v rámci prusinovského panství. Proto je hrádek zřejmě staršího původu a po spojení jeho zboží s Prusinovicemi zanikl. Mohl však být i předchůdcem prusinovické tvrze. Na tyto otázky by mohly poskytnout odpověď výsledky případného archeologického průzkumu.