Venäläinen kausi
Venäläinen varuskunta
Vuodesta 1860 lähtien Viaporin varustusta kohennettiin reilun kolmenkymmenen vuoden ajan. Jatkuvasti kehittyvä aseteknologia vaati puolustuslaitteilta koko ajan enemmän. Rahan puute kuitenkin hidasti hankkeiden toteuttamista.
Kun 1880-luvun lopun strategisissa selvityksissä todettiin, ettei Viapori kyennyt suojaamaan laivaväyliä kunnollisesti, merilinnoitukselle katsottiin jäävän oikeastaan enää sen sisäpoliittinen tehtävä pitää huolta venäläisten vallan säilymisestä Helsingissä.
Väkeä enemmän kuin Helsingissä
1800-luvun alussa linnoituksen väkiluku oli suurempi kuin Helsingissä. Venäläisellä kaudella Viaporiin rakennettiin uusia kasarmeja, sairaala sekä kirkko. Vankien ja sotilaiden määrä oli tuolloin yhteensä 3000 henkeä, ja sotilaiden joukossa oli monia kansallisuuksia. Siviiliväestön määrä oli alhaisimmillaan alle tuhat henkeä.
Venäläisellä kaudella Viaporissa toimi ortodoksinen ja luterilainen seurakunta. Venäläisessä sotaväessä palveli myös Puolan katolisia, juutalaisia sotilaita ja muutamia muslimeja, joten 1800-luvun varuskuntayhteisö oli varsin monimuotoinen.
Varuskuntakaupunki ja ortodoksikirkko
1800-luvun Viaporissa oli kymmenittäin pieniä puurakennuksia ja puutarhoja. Linnoituksessa tehtiin mittavia rakennustöitä kun suuret kasarmirakennukset valmistuivat Isolle Mustasaarelle ja linnoitukseen nousi uusi sairaalarakennus.
Ortodoksikirkko valmistui vuonna 1854, se rakennettiin linnoituksen korkeimmalle kukkulalle ja sen sipulin muotoiset kupolit näkyivät pitkälle Helsinkiin.
Viaporin pohjoisrantaan suunniteltiin kivirakenteista päävartiota 1850-luvulta alkaen, ja vaaleanpunainen Rantakasarmi valmistui vuosina 1868–70, jolloin siitä tuli uusi, komea pääsisäänkäynti linnoitukseen.