与退休人员解除劳务关系时，赔偿问题是一个需要谨慎处理的环节。在法律框架内，确保双方权益得到合理保护是至关重要的。

首先，解除劳务关系应当基于充分的理由和合法的程序。对于退休人员而言，由于其已经达到了法定退休年龄并办理了退休手续，原则上不再属于劳动法调整的范畴。但是，在某些特殊情况下，如单位因业务调整或组织结构调整需要解除与退休人员之间的劳务关系时，应当遵循公平、公正的原则。

其次，在解除劳务关系的过程中，如果单位决定不再继续聘用该退休人员，应当提前给予合理的通知期，并就可能产生的经济补偿进行协商。经济补偿的标准可以根据双方签订的劳务合同中的相关条款来确定。若合同中未明确规定，则可以参照当地的相关法律法规或行业惯例来确定合理的补偿金额。

再次，对于因解除劳务关系而给退休人员带来的实际损失或不便，单位应根据具体情况给予适当的赔偿。这可能包括但不限于因提前终止服务而造成的收入损失、职业发展机会的丧失等。

最后，双方应当通过友好协商的方式解决赔偿问题，并达成书面协议以明确各自的权利和义务。在必要时，可以寻求法律专业人士的帮助以确保协议内容的合法性和有效性。

总之，在与退休人员解除劳务关系时，应当充分考虑双方的利益和实际情况，依法依规进行处理，并尽可能通过协商达成共识。这不仅有助于维护良好的劳动关系和社会和谐稳定，也有利于企业的长远发展。