Roos treningi rozpoczął w wieku 7 lat w klubie w TuS Thaleischweiler-Fröschen. W 1979 roku przeszedł do juniorskiej ekipy zespołu 1. FC Kaiserslautern. W 1984 roku został włączony do jego pierwszej drużyny, grającej w Bundeslidze. W tych rozgrywkach zadebiutował 25 sierpnia 1984 roku w wygranym 2:1 meczu z VfB Stuttgart. 13 września 1986 roku w zremisowanym 1:1 pojedynku z Bayernem Monachium strzelił pierwszego gola w Bundeslidze. W 1990 roku Roos zdobył z klubem Pucharu Niemiec. Rok później sięgnął z nim po mistrzostwo Niemiec. W 1994 roku wywalczył z zespołem wicemistrzostwo Niemiec. W 1996 roku ponownie zdobył z nim Puchar Niemiec. W tym samym roku spadł z Kaiserslautern do 2. Bundesligi. W 1997 roku powrócił z nim do Bundesligi, a w 1998 roku zdobył mistrzostwo Niemiec. W 2001 roku zakończył karierę z liczbą 328 ligowych spotkań i 19 bramek w barwach Kaiserslautern.
