In diesem Fall ist es besser „wovon“ zu verwenden. Der Grund ist – und das ist gleichzeitig eine generelle Tendenz –, dass das, worauf sich das Relativpronomen bezieht, kein klar definiertes Objekt ist.
„Alles“ wird erst durch den Relativsatz gefüllt, vorher kann es wortwörtlich alles sein. Ein anderes Beispiel sind Sätze, wo gar kein Objekt vorhanden ist.
Das ist, wovon ich geträumt habe.
Hier kannst du „von dem“ gar nicht verwenden, da das „dem“ etwas Konkretes braucht, auf das es zeigen kann. Das genau braucht ein wo-Pronomen nicht.
Je „wohletablierter“ die Referenz, desto besser kann man auf das wo-Pronomen verzichten.
Das ist, wovon ich geträumt habe. … nur „wovon“
Das ist etwas, wovon/von dem ich geträumt habe … beide, „wovon“ meiner Meinung nach besser
Das ist das Haus, von dem ich geträumt habe … „wovon“ klingt hier merkwürdig
Für eine genauere Betrachtung mit mehr Beispielen siehe diesen Artikel auf meinem Blog (in Englisch)