赵雅芝的爸爸是商人，妈妈是典型的家庭主妇。赵雅芝在家排行第四。儿时的赵雅芝很调皮，经常和男孩子一起爬树骑马玩耍打闹。每到吃晚饭，总要妈妈在门口喊几下，赵雅芝才跟一起的小伙伴说拜拜，回家吃饭做功课。

1971年，17岁的赵雅芝毕业于香港天主教崇德英文书院，毕业那年，正赶上日本航空公司在香港招聘空中小姐，梦想环游世界的赵雅芝便去面试。最后如愿当上从香港飞至日本航班飞机上的一名空中小姐。之后赵雅芝所在的航班转为长途，由香港飞至加拿大。因为厌倦了做“空中飞人”的日子，两年后，赵雅芝正式辞去航空公司的工作。而当时正巧香港无线电视台派人来找她作节目主持人，于是赵雅芝便开始专心向娱乐圈发展。

1973年，香港无线电视台选举首届“香港小姐”，共选出五位，标准是“美貌与智慧”并重。19岁青春靓丽的赵雅芝在妈妈当提名人的支持下，参加了竞选。 经过紧张激烈的角逐，赵雅芝最终获得这届“港姐”竞选的殿军。