老虎机被用来代替 AB 测试。 AB 测试是常用的经典测试方法之一。 假设您有网站登录页面的两个版本。 您怎么知道大多数用户喜欢哪个版本? 您进行 AB 测试以了解用户最喜欢哪个版本。
在 AB 测试中,我们分配一个单独的勘探时间和一个单独的开采时间。 也就是说,它有两个不同的专用时期,仅用于勘探和开发。 但是这种方法的问题在于,这将引起很多遗憾。 因此,我们可以使用解决 MAB 的各种探索策略来最大程度地减少后悔。 与其与老虎机分别进行完整的勘探和开发,不如以适应性方式同时进行勘探和开发。
在 AB 测试中,我们分配一个单独的探索时间和一个单独的开采时间。 也就是说,它有两个不同的专用时期,仅用于探索和利用。 但是这种方法的问题在于,这将引起很多遗憾。 因此,我们可以使用解决 MAB 的各种探索策略来最大程度地减少后悔。 与其与老虎机分别进行完整的探索和利用,不如以适应性方式同时进行探索和利用。
老虎机广泛用于网站优化,最大化转化率,在线广告,广告系列等。 考虑您正在运行一个短期活动。 如果在这里进行 AB 测试,那么几乎所有的时间都将花费在探索和开发上,因此在这种情况下,使用老虎机将非常有用。
老虎机广泛用于网站优化,最大化转化率,在线广告,广告系列等。 考虑您正在运行一个短期活动。 如果在这里进行 AB 测试,那么几乎所有的时间都将花费在探索和利用上,因此在这种情况下,使用老虎机将非常有用。
但这并不意味着特工没有学到任何东西。 智能体已经实现了一个不同的目标,即它学会了接近实际目标。 因此,我们认为它有一个不同的目标,而不是认为它是失败的。 如果我们在多次迭代中重复此过程,智能体将学会实现我们的实际目标。 HER 可以应用于任何非策略算法。 将 HER 的性能与没有 HER 的 DDPG 进行比较,反之亦然,可以看出带有 HER 的 DDPG 的收敛速度比没有 HER 的 DDPG 快。 [您可以在以下视频中看到 HER 的性能](https://youtu.be/Dz_HuzgMxzo)。
但这并不意味着智能体没有学到任何东西。 智能体已经实现了一个不同的目标,即它学会了接近实际目标。 因此,我们认为它有一个不同的目标,而不是认为它是失败的。 如果我们在多次迭代中重复此过程,智能体将学会实现我们的实际目标。 HER 可以应用于任何非策略算法。 将 HER 的性能与没有 HER 的 DDPG 进行比较,反之亦然,可以看出带有 HER 的 DDPG 的收敛速度比没有 HER 的 DDPG 快。 [您可以在以下视频中看到 HER 的性能](https://youtu.be/Dz_HuzgMxzo)。