首先要弄明白，用人单位是以什么理由要求你赔钱，以下4类不同情况可供参考。

1.培训费

如劳动者与公司订有培训协议，约定服务期和违约金，离职时应赔偿公司，但违约金的数额最高不得超过公司实际提供的培训费用。
　　
依据：《劳动合同法》第二十二条规定：“用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。
　　
劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用。用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。

2.竞业限制违约责任

如公司并未在竞业限制期限内给予你经济补偿，那你就不用赔偿公司所谓的违约金。并且，竞业限制的期限不得超过二年。
　　
依据：《劳动合同法》第二十三条：“用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项。对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款，并约定在解除或者终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。
　　
第二十四条：“……在解除或者终止劳动合同后，前款规定的人员到与本单位生产或者经营同类产品、从事同类业务的有竞争关系的其他用人单位，或者自己开业生产或者经营同类产品、从事同类业务的竞业限制期限，不得超过二年。”

3.补充福利

补充公积金、补充医疗保险、分房、培训等都不是国家强制要求单位给予职工的福利待遇。企业给予员工这些待遇，是企业自己可以决定的。为了留住人才，给予这些待遇，企业可以设置一些条件，只要不违反法律强制规定即可。不过，如果要求员工在离职时退回已给出的待遇，企业应当与员工有明确的约定，或者内部有合法有效的规章制度才行。

4.带薪年休假

带薪休假分为两种，一种是国家规定的带薪年休假，另一种是企业在国家规定的年休假之外，额外给予员工的年休假。前者有法律强制性，后者则有企业自主性。对前者法律有明确的规定，如果一位员工离职时，把不属于自己应休的年假给休了，企业无权要求员工退还给企业，同样员工也不需折钱还给企业。对于后者，企业则可以根据与员工的劳动合同约定，或自己的规章制度来决定如何做。如果有明确约定或规定要求员工退还年休假给企业的，员工需按照约定或规定执行。（完）