Lemmatisierung:
Meine Empfehlung wäre der snowball stemmer. Es gibt u.a. ein Python interface. Auf der alten Seite von snowball findet man Beispiele für die deutsche Sprache inkl. Vokabular.
Synonyme:
dict.cc hat gute deutsche Unterstützung. Es enthält auch Synonyme. Man kann den gesamten Datensatz haben, es steht aber nicht, ob der auch Synonyme enthalten würde. Außerdem ist die Verwendung an bestimmte Klauseln geknüpft.
Zu Machine Learning kann ich leider nicht so viel sagen.
Der wichtigste Punkt: ein fertiges Programm wirst Du nicht finden, Du müsstest das selber programmieren. Empfehlen würde sich hier Python. Es hat mit scrapy eine Library um Daten aus Webseiten abzufragen, und es gibt mit NLTK eine Lib zur Sprachverarbeitung, sowie zahlreiche weitere Libs.
Leider kann ich nur 2 Links posten.
Viel Spaß bei der Umsetzung!