Ganz aus der Luft gegriffen ist die „Regel“ nicht, wonach Substantive mit der Vorsilbe Ge- Neutra seien. Es gibt nämlich gleich zwei Wortbildungsprozesse, die neutrale Substantive mit Ge- entstehen lassen; daneben gibt es aber auch andere Muster, die ebenfalls Substantive mit der Vorsilbe Ge-, aber nicht unbedingt neutralem Genus, produzieren und somit für die Ausnahmen von der Faustregel sorgen.
Zum einen wird Ge- genutzt, um Kollektivwörter aus anderen Substantiven abzuleiten; die sind dann Neutra: Gehölz (zu Holz), Geflügel (zu Vogel mit späterer Beeinflussung durch Flügel), Gemüse (zu Mus), Geschmeide (zu einem ausgestorbenen Wort smîda mit der Bedeutung ‘Metall’), Gebein (zu Bein in der Bedeutung ‘Knochen’), Gerät (zu Rat wie in Hausrat).
Zum zweiten dient Ge- auch der Bildung von abstrakten Begriffen aus Verben, die dann ebenfalls Neutra sind: Geräusch (zu rauschen), Gestöber (zu stöbern, stieben), Gerüst (zu rüsten), Gebet (zu bitten, beten).
Viele andere Substantive mit Ge- folgen völlig anderen Bildemustern, die gar nichts mit der Substantivvorsilbe Ge- zu tun haben. Beispielsweise kann aus einem Verb mit der Endung -t, ggf. mit Vokalwechsel, ein Substantiv abgeleitet werden (die Fahrt zu fahren); hat das Verb von vornherein schon ein ge-, bleibt dieses im Substantiv erhalten (die Geburt zu gebären). Von Verben auf ge- sind nach diesem Prinzip über verschiedene Bildeweisen etwa die Geschichte (zu geschehen) und der Gehorsam (zu gehorchen) abgeleitet.
Einige Verben hatten auch einmal die Vorsilbe ge- und sind danach ausgestorben oder haben die Vorsilbe verloren; die von ihnen damals abgeleiteten Substantive habe das Ge- behalten. Einige Beispiele hierfür sind die Gewalt (zu gewalten), das Gewerbe (zu gewerben) und auch der Geschmack (zu geschmecken), von dem die Frage ausging.
Schließlich gibt es natürlich auch noch Substantive, die zwar mit Ge- anfangen, bei denen das aber gar nicht diese Vorsilbe ist, wie etwa die Gegend, das Genus, die Geranie und die Genese.
Ein vergleichbarer Fall wäre die Faustregel, wonach Substantive auf -e häufig Feminina sind (Lampe, Gabe, Biene usw.). Auch sie hat eine gewisse sprachhistorische Grundlage (feminine ō-Stämme), aber auch reichlich Ausnahmen (der Hase, das Auge usw.).