Ich würde sagen, es kommt noch darauf an, wo sich der Sprecher befindet.
Um chirlus Beispiel zu verwenden:
Der Maler ist von der Leiter heruntergefallen.
Das würden Leute sagen, die unten stehen und die Situation beobachten. Der Kollege des Malers, der sich immer noch oben auf der Leiter befindet (lassen wir mal sicherheitsrelevante Bedenken weg, dass zwei Leute auf einer Leiter arbeiten:) ), würde sagen:
Mein Kollege ist von der Leiter hinuntergefallen.
Ebenso dieses Beispiel:
Wo kommt denn der Stuhl her? – Er muss wohl vom Balkon heruntergefallen sein.
Das würden die Leute sagen, auf deren Balkon der Stuhl von einem höheren Balkon herunter gefallen ist. Die Leute, die auf dem Balkon sind, von dem der Stuhl hinunter gefallen ist, würden sagen:
Wo ist denn unser Stuhl hin? – Er muss wohl auf den Balkon (unter uns) hinuntergefallen sein.
Immer wenn "hin" im Spiel ist, wird etwas vom Sprecher weg, und bei "her" zum Sprecher ran bewegt. (Hier hätte auch "zum Sprecher hin bewegt" gepasst, aber das hätte für Verwirrung gesorgt.)
Hier noch ein paar Beispiele:
"Geh mal da drüben hin!"
"Komm mal her!"
"Bring mir bitte das Buch herunter." (das Buch kommt zu mir)
"Ich bringe dir jetzt das Buch hinunter." (das Buch geht von mir weg)
"Siehst du die Mauer da? Ich werfe den Ball hinüber!"
"Schau mal, da wirft jemand einen Ball herüber!" (Die Leute auf der anderen Seite der Mauer)