The equivalent (würde-Umschreibung) to
- Wenn er fleißig genug gelernt hätte, hätte er die Prüfung nicht wiederholen müssen.
wäre
- Wenn er fleißig genug gelernt hätte, würde er die Prüfung nicht wiederholt haben müssen.
And 'that's' why we rather use the first one ;-) Especially when it comes to constructions with modal verbs! In simpler sentences you might hear both, depending on where you are.
- Wenn er fleißig genug gelernt hätte, hätte er auch die Prüfung nicht vermasselt.
- Wenn er fleißig genug gelernt hätte, würde er auch die Prüfung nicht vermasselt haben.
This is more or less like the regional differences between using 'Imperfekt' or 'Perfekt'!
- Wenn er fleißig genug gelernt hätte, würde er die Prüfung nicht wiederholen müssen.
This means that either now or in the future he 'wouldn't have to repeat the exam'!
In the very first example you can clearly sense how the future-conjunctive II is loosing its flavor of expressing something that is likely yet to happen in the future in favor of the intrinsic meaning of the 'würde-Umschreibung', which clearly refers to the past! e.g.
- Wenn er noch fleißig genug lernen würde, würde er die Prüfung morgen Mittag schon hinter sich gebracht haben.
So it is identically constructed like a future-indicative II
- Wenn er noch fleißig genug lernt, wird er die Prüfung morgen Mittag schon hinter sich gebracht haben.
So your question should actually better be something like
- Irreale Bedingungssätze in der Vergangenheit – »hätte« vs. »würde haben«
