Eine ähnliche Frage wurde vor einiger Zeit schon bei "wer weiß was" gestellt.
Zwei der Antworten dort behaupten sinngemäß, dass Hausnummer als Synonym für eine völlig willkürliche Zahl benutzt wurde und sich das irgendwann mal in Richtung "grobe Schätzung" entwickelt hat.
Interessanter finde ich aber den Hinweis auf das "Wörterbuch der deutschen Umgangssprache" von Küpper. Ich habe es nicht zur Hand und kann nur hoffen, dass diese Quelle es korrekt wiedergibt. In den dortigen Bedeutungen 8 und 9 steht Hausnummer seit ca. 1970 für etwas, was den persönlichen Vorstellungen entspricht oder jemandem angemessen ist (vgl. auch "das ist (nicht) meine Kragenweite"). Außerdem sei Hausnummer schon seit 1890 auch im Sinne von Schuhgröße verwendet worden. Es geht also jeweils um eine mit einer bestimmten Person verknüpfte Zahl, die symbolisch für die Vorstellungen dieser Person steht. Das zeigt sich auch an diesem frühen Fundstück (1974) aus der Zeitschrift "Eulenspiegel":
Wir arbeiten zur Zeit an einer ganzen Latte überfälliger praktischer Dinge. Bloß als Hausnummer: Verbesserung der Materialversorgung, des Kunsthandels, der Nachwuchsförderung.
"Bloß als Hausnummer" wird hier offenbar benutzt im Sinne von "als Beispiel dafür, was ich meine", sogar ganz ohne quantitativen Bezug. In diesem Sinne könnte "Nennen Sie mir mal ihre/eine Hausnummer" gemeint gewesen sein als "Sagen Sie mir ihre Meinung (zu einer bestimmten Größe)", und von da dann allgemein weiter zur "groben Schätzung". Wobei ich den Ausdruck tatsächlich auch eher in Kontexten kenne, in denen es einen persönlichen Bezug gibt, also im Sinne von "was schätzt Du?".