есть термин - монтажные кодеки, это обычно вэйвлет кодеки типа cineform, dnxhd, prores, они вообще к процу/памяти/гпу не критичны, а есть кодеки доставки - h.26*, но это не профессиональный, а консумерский уровень, вот тут для доступа к конкретному кадру нужно разжимать поток, а для этого нужно (cpu/gpu), где-то хранить (озу), но зато экономия места на диске