Time Machine starten, dann Umschalt + CMD + G und im Popup eingeben ~/Library. (Das Symbol „~“ erhält man durch Drücken der Tasten alt + n.)
Das funktioniert übrigens auch außerhalb von Time Machine-Backups. In jedem Systemdialogfenster kann man mittels ⇧ + ⌘ + G zum ~/Library-Ordner gelangen.