Ein Sonntag sollte einen Tag für relaxieren (relaxen?) und sich zu ausruhen sein.
There are several problems with your sentence:
Two nouns are connected by the verb sein; here, both nouns should be in the nominative case, because sein uses a so-called Gleichsetzungsnominativ (equalisation nominative):
Ein Sonntag (subject, nominative) sollte ein Tag (object, nominative) ... sein.
The verb relaxieren does exist; however, it is used primarily in a scientific context. For example, it can be an adequate verb for relaxing muscles. It is not used in a context describing people who relieve stress. In colloquial speech you can use the German verb relaxen (English pronunciation + German -en). A more formal word would be sich entspannen.
You can use different constructions to express what Sunday should be a day for:
- zum X-en: Ein Sonntag sollte ein Tag zum Entspannen und (zum) Ausruhen sein.
- um + zu: Ein Sonntag sollte ein Tag sein, um sich zu entspannen und (um) sich auszuruhen.
- für das X-en: Ein Sonntag sollte ein Tag fürs Entspannen und (fürs) Ausruhen sein.
- ...
As you can see, if you choose the zu variant, there should be a zu attached to both infinitives. I'm quite sure there are more valid possibilities to form a correct sentence.
As you have guessed, sich ausruhen is a separable verb (ich ruhe mich aus, not ich ausruhe mich) and thus, the zu + infinitive form should be sich auszuruhen.
Whether you use Ein Sonntag or Der Sonntag or Sonntag is a matter of taste and conveys different degrees of definiteness; I don't want to go too much in detail as this could be worth another question.