Воспитанник футбольной школы города Гудаута. Первый тренер — Владимир Астамурович Шамба.

В 17 лет попал в Динамо (Сухуми). На сборе на олимпийской базе в Эшерах его приметили тренеры СКА (Хабаровск), за которую он играл 3 месяца. По сути это был призыв в армию, который закончился благодаря интересу к Цвейбе со стороны Динамо (Тбилиси).

Дебютировал в составе тбилиссцев в 1985 в матче против «Кайрата». Первых успехов как игрок начал добиваться в Динамо (Тбилиси). В конце 1989, по совету Лобановского, знашего о выходе тбилиссцев из футбольного союзного чемпионата, перешел в Динамо (Киев).

В конце 1991 имел приглашение от «Тоттенхэм Хотспур», причем представители английского клуба уже выезжали в аэропорт для встречи Цвейбы, однако он ответил отказом. По собственному признанию, по 2-м причинам: из-за сильной усталости после сезона и из-за настойчивых просьб «Динамо» (Киев) помочь клубу в Лиге Чемпионов. Настойчивость киевлян была подкреплена предоставлением Цвейбе квартиры и машины в Киеве.