A Small World világában folyamatosan terjeszkednie kell a fajoknak, hogy több és több győzlemi pontra tehessenek szert. Ezáltal azonban elkerülhetetlen, hogy idővel túlságosan kiterjedtté váljon birodalmunk a további hódításokhoz, vagy akár csak saját védelméhez. Small worldben a kulcs a győzelemhez, a felismerés, hogy mikor kell elhagynunk süllyedő civilizációnkat és egy új virágzó birodalom építésébe kezdeni.
Fajunk hanyatlásának kinyilvánításához lefordítjuk a faj lobogóját, eldobjuk a különleges képességét (hacsak nem fejti ki hatását hanyatlás idején is) és az egyes általunk birotokolt területeken egy-egy megfordított csapat jelzőt hagyunk csak.
A hanyatlást választó játékos az adott körben nem támadhat. Viszont a hanyatló birodalom tokenjei is pontot érnek az adott játékos körének végén, egészen addig, amíg fent maradnak a táblán. Sajnálatos módon ezen jelzők nem alkalmasak a támadásra (egyetlen kivétellel - lásd Ghoulok)
A következő kör elején a hanyatlást bejelentő játékos kiválaszt egy új faj és különlegess képesség kombinációt a meglévők közül és megkezdni (újra) civilizációja építését. Amikor az új, aktív fajunk elkezd területeket meghódítani, megkapjuk ezen területek után járó győzelmi pontokat és megkapujuk mellé még a hanyatlásban lévő fajunk után járókat is. Egyszerre azonban csak egy hanyatló fajunk lehet Small World területén, hacsak...
Amikor egy faj, aki a "Lélek" ("Spirit") különlegess képességgel rendelkezik, hanyatlásnak indul, akkor ezek a jelzők fennmaradnak a térképen, mégha a tuladjonosuk egy másik civilizációja is hanyatlásnak indul. Két hanyatló civilizációnk is lehet így a térképen és mindkettő után begyújthetjuk a győzelmi pontjainkat. Ezek a jelzők, csak akkor kerülnek le a térképről, ha egy másik faj taszítja le őket.
A Ghoulok különleges képessége hanyatláskor lép életbe. Az összes csapat jelzőjük a téréképen marad a szokásos területenkénti 1 helyett, sőt ők még hanyatlásukat követően is tovább támadnak, ugyanúgy, mint aktív civilizációs korukban. Minden körünket a gholujaink támadásával kell kezdeni, csak ezután jöhet az aktív civilizációnk.