IPSec使系统能选取要的安全协议、决定用的算法和密钥来提供安全性。协议由协议的首部指出的鉴别协议和由协议的分组协议指出的加密/鉴别混合协议构成。
为了通信,每对用 IPSec的主机须在它们间建立一个安全关联(SA)。SA将所要知道的关于如何与其他人安全通信的全部信息组合在一起,如保护类型、密钥和该SA的有效期。若双向的安全交换有对等的关系,就需两个安全关联。
可把SA当做是通过公共网到某特定人、一组人或网络资源的安全通道。就像是与位于另一端的人之间的协定。SA可构建不同类型的安全通道,如使用强度不一样的加密。
安全关联由参数索引、目标IP地址及协议标识符3个参数唯一标识。其中安全参数索引指的是SPI唯一地标识一个与某一安全协议的安全关联,它被加载到AH和ESP的首部,让接收系统可选择SA处理接收的分组。目标IP地址即SA的目的端点地址,也许是终端用户或网络系统,如防火路由器、网关。安全协议标识符指出关联是否是AH或ESP的安全关联。
因此,在全部的IP分组中,安全关联是由IPV4或IPv6首部的目的地址和包装的扩展首部中的SPI来唯一标识的。IPSec给用户非常大的灵活性,以把 IPSec的服务应用到IP通信量。可用多个方法来组合SA产生想要的用户配置。
IPSec的协议有传输模式和隧道模式两种。
传输模式主要保护上层协议,即涵盖了IP分组的有效载荷,如TCP、UDP或ICMP分组。对IPv4,有效载荷一般是跟在IP首部后的数据;对IPV6,有效载荷是在IP首部和随意存在的IPv6扩展首部后的数据,可能的例外是目的站选项首部,它也许含在保护之内。
隧道模式保护整个IP分组。为实现这点,在AH和ESP字段加入到IP分组后,整个分组加上安全字段可当做是有新的输出IP首部的新的IP分组的有效载荷。原来的分组经过“隧道”从IP网络的一点传到另一点。传输过程中,路由器不能检查内部的IP首部。因为原来的分组包装后,形成的分组有不一样的源地址和目的地址,从而提升了安全性。当SA的一/两端是安全网关用隧道方式,如达到了 IPSec的防火墙或路由器情况。