Würde man das gegenüber weglassen, wäre der Satz schlicht falsch.
Die Person, die die Bemerkung eines anderen hört, wird immer mit gegenüber verbunden.
Das kann man sich bildlich vorstellen:
Zwei Personen, der Sprecher und der Zuhörer, sitzen sich bei einer Unterhaltung gegenüber (auch wenn das in der konkreten Situation vielleicht nicht so ist) und auch der Gesprächspartner wird im Deutschen oft als Gegenüber bezeichnet (vgl. engl. counterpart: auch hier ist das gegen- enthalten).
Wenn man aus irgendeinem Grund gegenüber nicht verwenden will, kann der Informationsempfänger dennoch nicht ohne Verbindung stehen, eine mögliche Formulierung wäre z.B.:
Tom erwähnte seine Zweifel bei Mary nie.
Allerdings entfällt damit die Eindeutigkeit, dass Mary der Gesprächspartner ist, der Satz könnte dann auch die räumliche Bedeutung von „in ihrem Haus“/„in ihrer Wohnung“ o.ä. haben.