通过在多个计算节点上分配工作负载，负载平衡避免了瓶颈问题。这些节点可以是数据中心的物理服务器，云中的容器，面向边缘计算场景设置的服务器，复杂应用程序框架中的Java虚拟机(JavaVirtualMachines)，或者运行在Linux服务器上的daemon。
它的具体实现原理是，将大问题分解成若干小任务，然后为每项任务分配一个计算机。举例来说，对于要求用户登录的网页，可以将网页托管在ServerA上，同时将登陆页和所有认证的lookups托管在ServerB上。这一部署方式允许新用户在登录帐户时不需要使用来自其他活动用户的资源。
云负载平衡
云使用容器，因此通常不存在独立的物理服务器来处理不同的任务(事实上，有很多独立的服务器，但它们都是集中在一起作为计算"大脑"的)。取而代之，“pod”是由多个容器创建的。如果某个pod的用户或任务负载导致资源开始耗尽，则将生成相同的pod。pod之间共享存储和网络资源，在创建pod时，将每个pod分配给计算节点。可以根据负载需求创建pod或销毁pod，以便用户体验到一致的服务质量，不管有多少用户。
边缘计算
在进行负载平衡时，边缘计算需要考虑物理环境。云计算是一种分布式系统，但实际上，云计算的节点通常集中在几个数据中心。当用户远离运行云的数据中心时，他们必须克服更多物理障碍才能获得最好的服务。即便使用了光纤连接并实现了负载平衡，3000公里以外的服务器的响应时间也要比300公里以外的服务器长。
边缘化计算把计算节点带入云的“边缘化”，试图缩小地理鸿沟，从而形成一个用于云端的卫星网络，因此它还可以起到很好的负载平衡作用。
