Ну можно ж просто дискретизовать

Ну это понятно, но я имею ввиду, в общем случае, когда у нас по сути бесконечное пространство действий

continuous action space

Thx

DDPG

Все policy gradient методы, не?

Policy gradient для непрерывных называется DDPG.

Я бы не называл DDPG policy gradient вообще. Это DQN в котором не имея возможности считать argmax Q, пытаются этот argmax зафитить сеткой.

A3C вроде не deterministic

Soft Actor Critic
Soft q learning

Хотя во втором непрерывность действий даётся дорого:
Нужно уметь брать интергал по действиям в их софт максе
Они импортанс сэмплинг предлагают, не уверен, что это норм работает

И нужно уметь сэмплить действия из ~ exp(Q)
И для этого нужна отдельная сетка, которая только сэмплит

чуток оживлю чатик, с вашего позволения
вдруг кому поможет
во славу RL

гайз, я тут дотюнил Catalyst.RL, чтобы держал непомерные нагрузки и быстро работал
share, like, repost :dushevnost:
https://twitter.com/Scitator/status/1124216371053830144?s=20
теперь можно на easy статьи DM за Atari повоспроизводить

собственно, а в чем сложность?
у Atari один observation - это картинка [84, 84, 1], вроде ничего complicated, за исключеним того, что таких картинок хранить ~1M, а то и 10M…в памяти….ибо ты по ним итерируешься постоянно и учишься
ну а 1M таких картинок - это ~7GB RAM… 10M - 70GB, короче, все печально становится…. особенно когда хочется несколько параллельно обучаться поставить

+ чтобы сихронизировать все между Train Node (которая как раз учит сетку) и Samplers Nodes (куча тредов, которые играют) нужна еще и DB какая… еще RAM

т.е. RAM жрется как не в коня

и чтобы как-то зарешать этот вопросик, приваял MongoDB + memmap… вжух-вжух и все (окей, большинство) хранится теперь на диске, а не на RAM и даже скорость не проседает

таким образом, Catalyst.RL сейчас - это кажись  первый RL framework, который нормально работает с такими нагрузками( + еще и распределенно, Карл!) и предоставляет easy to use возможности по кастомизации под свои задачи

если кто занимается off-policy RL - зацените плиз, реально что-то too much крутых фичей уже шмальнули

> 1M таких картинок - это ~7GB RAM... 10M - 70GB, короче, все печально становится….
Конвертнутая в uint8 и сжатая картинка занимает в районе 0.2kb, если хочется 10M то это в районе 2-3 GB RAM

updates_per_second — это количество батчей или переходов?

>  Catalyst.RL сейчас - это кажись  первый RL framework, который нормально работает с такими нагрузками
RLlib ?

уже unit8
84 * 84 * 1 * 8 (bits) / 8 (b) / 1024 (kb) / 1024 (mb) / 1024 (gb) * 1M = ~7 GB
* 10M -> 70GB

updates_per_second - переходов