Wenn es für alle Links gelten soll, ist es auf jeden Fall gscheiter, das im stylesheet zu machen. Die Angaben für den "normalen" Linkzustand kommen zwischen die Klammern für a, also so:

a {
...
}

Wobei die ... durch die gewünschten Angaben zu erstezen sind. Die Angaben für den Zustand bei Mouseover gehören zu a:hover, also so:

a:hover {
...
}

Verwenden kann man alles sinnvolle css, wie zB hier oder hier beschrieben.

Einen Link direkt im html zu formatieren, ist dagegen nur sinnvoll, wenn er sich von anderen unterscheiden soll.