V místech se starobylým osídlením a delší sakrální tradicí zakládá významný český velmož Jiří z Milevska v roce 1187 premonstrátskou kanonii. Pro splnění řádových regulí musel mít nový klášter k dispozici dormitorium (společnou ložnici), cellu hospitum (místnost pro hosty), cellu portarii (vrátnici, areál tedy musel být ohrazen) a oratorium (modlitebnu). Tyto požadavky splňovalo zprvu sídlo Jiřího z Milevska a kostel sv. Jiljí, postavený v původní vsi. Šlo o kostel tribunový, připomínaný v písemných pramenech dříve než byl založen klášter (1184, 1185). Tento soukromý kostel byl majitelem věnován vznikajícímu církevnímu ústavu a stal se tak oním potřebným oratoriem. Potvrzují to i písemné prameny, které po celý středověk hovoří o milevském klášteře sv. Jiljí, i když hlavní chrám byl zasvěcen Nanebevzetí Panny Marie.
První kanovníci přicházejí z kláštera v Želivi a do jejich čela je postaven mladý  Jarloch (Gerlachus), žák želivského opata Gotšalka. Milevský letopis, jehož je první opat autorem, nám detailně přibližuje bouřlivý politický život v druhé polovině 12. století a svědčí o vysoké kulturní úrovni prvního konventu.
První desetiletí existence kláštera jsou spojeny s jeho výstavbou v kamenné podobě. Ale ani zdejší kanonii se nevyhýbají větší obtíže. V roce 1191 klášter vyhořel a brzy po roce 1200 umírá jeho zakladatel a ochránce pan Jiří. Byla tak ohrožena jeho existence. Ale výjimečná osobnost, Jarloch, všechny nastalé problémy zvládl a patronem církevního ústavu se stal český panovník.
Stavba kanonie probíhala překvapivě rychle. Po ohni byl opraven kostel sv. Jiljí, vybudována klášterní bazilika a hlavní konventní budovy. Ještě za života Jarlochova (umírá někdy v letech 1227-1228) bylo se vší pravděpodobností jádro kláštera již dokončeno (včetně ambitů s rajskou zahradou a opatství). Vznikl zde rozsáhlý románský areál nejstaršího církevního ústavu na teritoriu jižních Čech.
 Budování však pokračovalo i za Jarlochových následníků (často neznáme ani jejich jména). V druhé polovině 13. století však stavby vznikají v jiném stavebním slohu, ke slovu se hlásí raná gotika. Listina papeže Alexandra IV. z roku 1257 hovoří o farním kostele sv. Jiljí uvnitř ohrazení kláštera, tehdy bylo patrně opevnění areálu již dokončeno. V raně gotickém slohu byl přestavěn východní závěr baziliky s příčnou lodí, mezi jejími věžemi prolomeno velké okno ukončené hrotitým obloukem. V jižní konventní budově byl podstatně rozšířen refektář a opatřen novými okny. Vznikají také stavby zcela nové, například opatská kaple s tribunou a některé objekty severovýchodně od baziliky.
Druhá polovina 13. století přináší i další převratné změny. Klášter se stává významným střediskem vzdělanosti a umělecké řemeslné výroby. Jsou zde vyráběny reliéfně zdobené dlaždice s často unikátní výzdobou, keramické stavební detaily, pravděpodobně odlévány zvony a nepochybně zde působilo i velké skriptorium, kde se psaly a zdobily knihy.
Nárůst pozemkového majetku a probíhající kolonizace vyvolává změny sídelní struktury. Po dokončení hlavních klášterních objektů nebyl potřebný tak velký počet pracovních sil v nejbližším okolí areálu. Zároveň zde chyběl prostor pro založení tržního střediska vznikajícího rozsáhlého panství. Klášter tedy přesunuje někdy v posledních dvou desetiletích 13. století původní osadu od kostela sv. Jiljí o zhruba necelé 2 km jižněji, do prostoru jádra dnešního města. Patrně v té souvislosti zaniká i několik menších osad v okolí a jejich obyvatelé se také stěhují do nově vznikajícího centra.
V roce 1327 se v privilegiu Jana Lucemburského pro město Písek v souvislosti s Milevskem objevuje termín „oppido“, který svědčí o tom, že rozvíjející se městečko mělo již některá městská práva. Založením města je dovršen proces kolonizace milevského panství. Koupě, prodeje a směny majetku pomohly dotvořit velkou sídelní enklávu v okolí Milevska (hlavně mezi Milevskem a Vltavou). Kolonizační úsilí směřovalo především k severu, na území dnešního pomezí jižních a středních Čech. Ale i na starém sídelním území vznikaly osady nové, sídelní síť se zahušťovala a stabilizovala.
Do 14. století vstupuje milevská premonstrátská kanonie jako jeden z nejlépe ekonomicky prosperujících církevních ústavů v zemi. Tomu odpovídá i významné místo milevského opata mezi církevními preláty. Již opat Mikuláš I. byl v roce 1359 papežem Inocencem IV. vyznamenán právem pontifikálií. Znovu tuto výsadu obdržel pro sebe i své následovníky opat František Podnavec od papeže Urbana VI. v roce 1388.
V průběhu 14. století je klášterní areál upravován, ale vznikaly nové další objekty. Zajímavé je, že i některé románské stavby byly již v této době zbořeny. Byl postaven palácový objekt pozdější Latinské školy a další palácová stavba severovýchodně od baziliky. Radikálně byla rozšířena kapitulní síň a zaklenuta bazilika. Pro narůstající počet obyvatel již nestačil farní kostel sv. Jiljí a tak došlo v závěru století k jeho rozšíření. Výjimečná síťová klenba v choru se někdy označuje za klenbu tzv. milevského typu, která byla předlohou pro řadu podobných staveb, vznikajících na teritoriu jižních Čech v 15. století.
 Doba prosperity však pomalu končí. Využití kulturní krajiny dosáhlo svého vrcholu. Stupňující se politické rozpory, náboženské sváry i postupné zhoršování klimatu a s ním spojená neúroda, vytvářejí velké napětí ve společnosti, které končí výbuchem husitské revoluce. Založení revolučního centra Tábora nedaleko od Milevska, smutný osud dominikánského kláštera v Sezimově Ústí byly dostatečným varováním před smrtelným nebezpečím. Řeholníci objekt včas opustili a odnesli s sebou nejcennější věci. Především archiv, knihovnu a klášterní klenoty. Ale již 23. dubna 1420 byl téměř opuštěný klášter vydrancován a zapálen husitským vojskem. Bratři se rozešli  kromě hradu Zvíkova po jiných řádových objektech doma (Želiv, Louka u Znojma, později i do vlastního proboštství v Toužimi), ale i v blízkém zahraničí (Geras, Schlägl ?). Do mateřského kláštera se vracejí snad až v roce 1437 v nevelkém počtu.
Největší pohromou pro milevské řeholníky nebylo poškození kláštera husitským vojskem, ale skutečnost, že císař Zikmund Lucemburský rozdal podstatnou část klášterního majetku svým věrným. Byla to především katolická šlechta, která připravila církevní ústav o majetek, pouze západočeské toužimské proboštství padlo do rukou významného husitského hejtmana Jakoubka z Vřesovic. Největší část původně klášterních držav se podařilo zcizit Rožmberkům. Oldřich II. z Rožmberka neváhal padělat listiny, aby se tohoto majetku zmocnil.
Klášter byl sice postupně obnoven, ale nyní mu náležel pouze zlomek původního pozemkového majetku (přibližně asi šestina dřívějšího vlastnictví). A tak se dostal do situace, kterou důvěrně zná řada církevních komunit i dnes. Chybí ekonomické zázemí, není tedy kde získat finanční prostředky na opravu rozsáhlých značně zdevastovaných budov. V jakém byl milevský klášter stavu svědčí výmluvně i Willenbergova kresba z počátku 17. století, kde je část objektu stále v ruinách, po uplynutí 180 let od útoku husitských vojsk.
Pánové z Růže nedrželi milevský majetek dlouho, již v roce 1473 jej získávají Švamberkové. Tíživá ekonomická situace milevské kanonie se odrážela i v oblasti duchovní. Po smrti milevského opata Mikuláše roku 1493 se rozhořely spory mezi želivským a tepelským opatem, kdo instaluje nového vhodného kandidáta. Při té příležitosti se dozvídáme, že klášter byl v krizi a nedodržovaly se zde povinné řádové regule.
Centrem rozsáhlého panství Švamberků na severu jižních Čech byl Zvíkov (stejně jako předtím Rožmberků). Milevský klášter navštěvovali jen zřídka. Zprvu je zajímal snad jen proto, aby nebyli jako zástavní páni většiny klášterního majetku terčem kritiky kališnické šlechty nebo panovníka za neuspořádané poměry. Byli však solidními hospodáři, takže jejich úsilí směřovalo především k ekonomickému rozvoji rozlehlého panství. Věčně rozhádané společenství, hospodařící špatně na zbytku majetku je nezajímalo. Podporovali především poddanské městečko, Milevsko od nich obdrželo významná privilegia. Klášter dál e bez pomoci živořil. Nepřátelský postoj vůči němu se stupňuje od příklonu posledních Švamberků k luteránskému vyznání.
 Roku 1543 došlo k uzavření potupné dohody (na 12 let) mezi opatem Janem a Janem V. starším ze Švamberka, kdy se klášter vzdává veškerého majetku a svých příjmů za roční rentu a povinnost péče o několik řeholníků. Po uplynutí této smlouvy pak vrcholí neustálé spory mezi posledním milevským opatem a Švamberky, nic nepomohly intervence panovníka a pražského biskupa. Opat musel nakonec z Milevska odejít. Prvním Habsburkům na českém trůně pramálo záleželo na kdysi slavném premonstrátském klášteře. V roce 1558 jej získávají Švamberkové v zástavě dědičně a nakonec vyzývá císař Maxmilián Kryštofa II., aby panství dědičně zakoupil. Prodej byl po určitých finančních sporech v roce 1575 realizován.
Ale asi již při této koupi uvažoval Kryštof II. ze Švamberka o tom, jak zaplatit postupně narůstající dluhy. Jeho výdaje narůstaly až převážily nad výnosem panství. Již od roku 1576 totiž jedná s Bernardem III. starším z Hodějova o prodeji části milevského panství. Při této příležitosti vzniká unikátní dokument, trhová registra, která evidují klášterní majetek a každého poddaného včetně jeho práv a povinností. Dokončena byla v roce 1580 a představují ucelený přehled o hospodářském stavu a výnosnosti milevského panství.
V únoru roku 1581 mění milevské panství (zmenšené o Květov a vesnice branické rychty) svého majitele. Pan Bernard však brzy převedl vlastnictví na svého syna Přecha II. Hodějovského z Hodějova (doloženo od roku 1592). Od počátku jeho vlády panují napjaté vztahy mezi městem a jeho novými pány. Ti se snaží omezit jeho svobody. Syn Přechův pan Bernard VI. mladší z Hodějova, který vlastnil milevské panství od roku 1610, se pak aktivně zúčastnil stavovského povstání proti Habsburkům. Po porážce na Bílé hoře mu pak byly rozhodnutím vyšetřovací komise zkonfiskovány dvě třetiny majetku, včetně milevského panství (listopad 1622). Ještě než padlo toto rozhodnutí, intervenoval u císaře strahovský opat a jeho příbuzní u dvora, takže restituce církevního majetku byla dohodnuta v souladu se zájmy premonstrátského řádu v předstihu.
V průběhu válečných let 1621 – 1622 byly často v Milevsku ubytovány oddíly císařské armády. Výsledkem byla totální devastace, vydrancování a vypálení podstatné části panství. Milevsko se do rukou premonstrátů dostává v ještě zuboženějším stavu než po husitských válkách.
 Stavební vývoj se od počátku 15. století až po období třicetileté války téměř zastavil. Byly prováděny jen ty nejnutnější opravy a tak celý areál neustále chátral. První větší přestavby přicházejí až za Švamberků. Především však šlo o adaptaci budov k hospodářským účelům a trvalejšímu bydlení pro panstvo. V roce 1565 si ztěžuje opat Matyáš císaři, že sice na opravu kláštera byly vynaloženy značné finanční prostředky, ale že „kamení z kapel a ambity brány byly, lusthausy a tanchauzy místo domu Božího“ stavěny. Poslední Švamberkové se snažili klášter stavebně změnit tak, aby již nemohl sloužit svému původnímu účelu.
Proto bylo nutné po vrácení Milevska premonstrátům provést tak radikální barokní přestavby. Byla znovu zaklenuta a vydlážděna bazilika a upraveny její věže. Zcela nové bylo i její vybavení oltáři a kazatelnou. Postavena byla nová budova děkanství na zbytcích středověkého opatství. Byla zbořena většina budov na dnešním I. klášterním nádvoří a terén jimi vyrovnán. Nově bylo postaveno západní křídlo konventní budovy (asi na polovině rozlohy předcházející budovy středověké). Rozsáhlými stavebními úpravami vzniklo na rozbořených zbytcích románské a gotické zástavby II. klášterní nádvoří. I na dalších nádvořích zmizela původní zástavba středověkého hospodářského dvora. Nový majitel přizpůsobil objekt svým potřebám.