香港公司如果要更换秘书公司，是由公司董事决定。香港确认需要更换秘书公司，仅需要将公司资料递交给新的秘书服务公司，不会香港公司造成任何影响的。

秘书公司和香港公司年审的关系
很多注册代理公司都会提供香港公司年审服务，通常秘书公司会提前一个月通知香港公司需要办理年审的相关事宜了。投资者通常只需将相关资料提供给秘书公司，由秘书公司全权办理。香港公司年审是年必须按时完成的，如果逾期会产生罚款，长期不年审甚至会导致公司强制注销。如果秘书公司联系不上或没有及时通知投资者办理年审的工作，香港公司可以考虑更换秘书公司了。


秘书公司办理香港公司年审包括以下内容：
1、商业登记证更换：香港公司每年需更新商业登记证，根据2020年新财政预算，新注册的香港公司宽免商业登记费。
2、制作公司年报：每年提交公司周年申报表；
3、提供法定秘书：法定秘书是香港公司必备条件；
4、提供注册地址：注册地址可以使用企业自有的地址，也可以是使用秘书公司提供的地址；
5、提供秘书服务：全年提供代接听电话、接收传真服务，处理商务文件，政府银行信件，及时传递信息；免费提供香港法律、做帐、审计等咨询。
香港公司不年审的后果
年审是维护公司正常运营的一种方式，是企业融资、筹资、上市及国内投资的有力依据。如果香港公司没能按时年审会产生一些列不良后果。
1、香港公司如果不年审，超过42天后，会产生罚款，罚款累计计算，超期越多，罚款越多；
2、如需要办理银行开户、香港公司办理业务、收支款及取出余额都会受到很大的影响，公司董事过香港，还有被海关拘捕问讯的风险；
3、香港公司长时间不年审，将会导致公司被除名，公司的董事和股东列为黑名单。董事过港或航班转机被限制，以后不能在注册香港公司，不能在香港上市融资等；
4、未正常办理公司年审，税务局会将相关信息上报法院，进入法律程序；
因此，一定要重视香港公司年审的工作，如果因为秘书公司的原因导致耽误了年审，就要趁早更换秘书公司，因为年审时间拖得越久罚款就会越多。