There was not one word for this, but at least five, counting sticklish the spelling variations and regionalisms the number is even bigger.
What was the word for …
The historical term applied to 'villages abandoned' for the time of the Black Death is certainly indeed Wüstung. But that is more for ghost-towns and says not much about the type of nature taking hold within them, although in Germany that would certainly be some type of forest eventually.
Wüstung just means strictly that the villagers deserted their homes and only implies the disrepair and wildlife following. The place itself is a Wüstung but the process of "villages returning to forest” is not captured well in that word.
Wüstung –
Wüstung, aufgegebene Siedlung,
–– Lexikon Der Geographie
So now the process is depicted in Wüstungsprozess, Wüstungsbildung.
While still in use now, historically this word also had a few synonyms:
Wüstung, Wüste, Wüsteney, Laide, Lehde
So nennt man insgemein unbearbeitete Felder, die mit Holz angeflogen, oder mit Gebüsche bewachsen, und vorhin gebauet Feld gewesen sind. Wüstungen fallen dem Fisco anheim, und mögen von dem Landes= oder Grund=Herrn eingezogen und andern verliehen werden.
–– Johann Heinrich Zedler: "Grosses Universal-Lexicon aller Wissenschafften und Künste", 1731–1754, Bd 59 (Wor-Wuq), cf entries for Wüste and Wüstung
Regional example for Laide.
Lehde:
wüst liegendes stück land; aus dem niederdeutschen bis ins östl. mitteldeutsch vorgedrungenes wort, niederl. leeghde vallis, locus humilis (Kilian), später leegte und laagte niedrig gelegene fläche, niederung; niederd. legte niederung, eichwald (niederd. sprichw. 89b); neufries. leegte, laagte Epkema wb. 264; nordfr. dat läiged, läiget die niederung Bendsen 8; ob auch ein von Dietrich in Haupts zeitschr. 13, 28 aufgewiesenes ags. læð gut, grund und boden hierher gehört, ist zweifelhaft. das stammwort ist das sp. 58 aufgeführte läg, niederd. leeg und laag niedrig, dessen guttural in der ins hochdeutsche gekommenen form lehde schwand, in einer nebenform leide sich vocalisirte. läden heiszen bei den landgütern, wüst liegende aber doch brauchbare plätze. Frisch 1, 563b; laite, leide oder leede, heiszt ein ungeschlachtes wüstes und ungebaut - liegendes stücke land, welches keinen nutzen trägt. oecon. lex. (1731) 1358; ledden oder lehden heiszen die wüsten triftrasen und anger an hohen orten vor denen hölzern; welche ledden mit kurzen, scharfen magern gras und grind unter einander überzogen sind. Heppe leithund 90; das thal verbreitet sich und alle leden sind wo möglich zum feldbau umgearbeitet. Göthe 43, 147;
Vandaliciens versengte leeden.
Gökingk 3, 113.
ÖDUNG: f. öde liegender, unfruchtbarer und unbebauter landfleck, verwüstete oder verlassene ortschaft; synon. mit wüstung,
Further, the words Ödung and Elende are also synonyms.
Interestingly, the word Wüste has now commonly a much narrower meaning: a tree-less desert being the primarily understood meaning.
What is the word for …
Since the middle ages at least three new single words were coined for closely related concepts or geographically close to village lands:
For the planned 're-forestation': Aufforstung meaning not only management of existing forests but also their re-expansion.
For less economically reforestation but planned restoration of land: Renaturierung. (Example)
And the absolutely unplanned and often seen as undesirable creeping back of large plants into formerly cultivated lands: Verbuschung. Busch being the intermediary phase of bushes before trees take over in Verwaldung. (Example)
And while Wüstung as a terminus technicus is still widely in use, general understanding of the very word may be somewhat limited now and in conversational language it will probably feel a bit archaic.
But all alternatives, including verwaldet and verwildert are in contemporary use.
To take a well known modern example: Chernobyl and Pripyat are each a Wüstung (the places are ghost towns; most would probably now say Geisterstadt) and the places verwalden or verwildern (meaning nature takes back over, and the trees have a glowing future there ;) ). Both places are now 'a bit' verwüstet, meaning mainly in large parts destroyed. It's only 'a bit' as there are from a short distance still many big buildings seen standing. Once these crumble as well, the places will be unequivocally and also in modern parlance be verwüstet.
As a newspaper put it to describe such a Wüstung near Shanghai:
Ein Dorf in China versinkt völlig im Grünen.
Verwunschen, verlassen, verwildert: Ein altes Fischerdorf auf einem Archipel vor Shanghai wird vollkommen von der Natur eingenommen.