Russ-antallet mindskedes drastisk i midten af 1800- tallet og den største anledning var formodentligt at laga skifte blev gennemført. Laga skifte indebar at mere mark og skov udstykkedes og uddelt.
De vilde russ havde inden laga skiftet haft tilstrækkeligt med eng og nogle indelukker havde ikke behøvedes. Når større dele af skov og mark blev udstykket og blev til agre, begyndte bønderne at betragte dem som skadedyr eftersom hestene trampede de tilsåede marker ned.
Det blev altså hårdere tider for russet og antallet russ på Gotland var da ca. 11500. I 1870'erne solgtes rundt 2000 heste derfra og under 1880'erne solgtes 100- 200 russ om året. Mange af hestene solgtes til England, Tyskland og Belgien hvor de anvendtes i kulminer eller til at trække mælkevogne og lignende.
Mange blev urolige for at racen skulle dø ud og derfor bestemte det svenske Hushållningssällskapet sig for at belønne en del russ-ejere med pris på 20- 30 kr.
Dette ophørte dog efter fem år da husdyrspremieringer blev mere almindelige, og man mente at de ikke behøvedes længere.
I 1800- tallet startedes nogle stutterier på Gotland, ex. et på Klintebys som ejedes af godsejer Willy Whöler. Han havde en hingst, som hed Khediven, 144 cm i mankehøjde og forel-skimmel og som fik nummer et i stambogen.
En anden stutteri-ejer var E. P. Elfner i Visby og han havde en hingst, som var en krydsning mellem en syrisk ponyhingst og en russhoppe og han hed Olle 2.
Elfner fik mange priser for sine russ som ofte var små.
Han flyttede siden til Norrland og tog en del af hestene med sig og resten blev tilbage på Gotland.
En meget dygtig hestekender, en af Sveriges førende, C G Wrangel var interesseret i gotlandsruss og blev formand i Gotlands hestepremieringsudvalg i 1898. Han ville eksportere disse heste til lande med andre formål end til miner, derfor var han vældigt besluttet på at avle de eksteriør fejl bort hos russet og få en prydelig smuk pony.
Udvalgte hingste af bl.a. racerne exmoor, dartmoor og welsh blev indført i avlen. Dels for at disse racer var mere ædle og harmoniske end russet, men også for at de havde levet under samme hårde levevilkår som russet. Der skulle nu udover føres stambog over alle renracede russ.
Der byggedes mange og store stutterier på Gotland under 1900- tallet, men mange måtte desværre stoppe pga. økonomiske årsager eftersom interessen for russ-avlen ikke var lige stor hele tiden.
På et tidspunkt fandtes der kun ca. 150 russ tilbage på Gotland og da så fremtiden vældigt dyster ud for russet.
1910 grundlagdes Gotlands Russavelsförening på initiativ af kaptajn Beselin. Nogle landmænd i Gerum og Lojsta sogne gik sammen med Gotlands Läns Hushållningssällskap og indhegnede et stort område på Lojsta Hed hvor medlemmerne kunne have sine russ frit gående. Det var sådan at den avl, der findes på Lojsta Hed i dag, begyndte.
Trods alle indsatser fortsatte russ stammen alligevel sin nedtur og i 1930 var racen udrydningstruet. Der fandtes på dette tidspunkt bare 30 hopper tilbage på Gotland.
Mange personer begyndte at arbejde energisk med at få stammen op igen og tre personer som har betydet meget for russ-stammen var agronomen Bengt Ljunggren og ægteparet Fanny og Gustaf Sjöberg.
Russ-tammen øgedes dog igen fordi interessen for ponysporten udvikledes i begyndelsen af 1950- tallet.
Man hade så problem med indavl og for at få nyt blod ind i stammen så købte Hushållningssällskapet welshhingsten Revel General og welsh mountainhingsten Criban Daniel.
Gotlandsrusset er i dag Sveriges mest almindelige ponyrace og det findes cirka 6000 russ i Sverige.