Зачем консорциуму MPEG нужны новые кодеки

Запутанная лицензия

Одной из причин такого решения консорциума MPEG эксперты называют обременительную и сложную для понимания схему лицензирования HEVC, затормозившую внедрение кодека во многих сегментах рынка. Сегодня аппаратная поддержка HEVC, то есть интеграция в системы-на-чипе, используемые в смарт ТВ, сет-топ-боксах, устройствах Android и Apple, стала обязательной. Однако готовность работать с прежними кодеками они изъявляли еще до прояснения лицензионных условий, а с HEVC ситуация была совсем другой. Особенно долго колебалась компания Apple, от решения которой во многом зависело, станет ли HEVC общепризнанным индустриальным стандартом.

Что же касается программных реализаций, то более 83% браузеров не имеют интегрированного HEVC-декодера. Это связано с отказом проводить такую интеграцию в свои продукты компаний Google и Mozilla. Причина — их участие в Alliance for Open Media, продвигающем собственный кодек AV1, который представляет собой достойную альтернативу HEVC. Построенный на более продвинутых алгоритмах, он показывает более высокую, чем HEVC, эффективность компрессии, хотя и требует более производительных процессоров. И самое главное, AV1 — безлицензионный кодек, в то время как вокруг HEVC сформировано целых четыре лицензионных пула! И хотя потенциал AV1 пока реализован не лучшим образом, он уже сейчас гораздо активнее, чем HEVC, используется в браузерах и поддерживается видеосервисами Amazon, Facebook, Google, и Netflix. Списывать такого конкурента со счетов невозможно, и это стало еще одной причиной, из-за которой в MPEG поспешили с выпуском новых кодеков.

Другая причина, побудившая консорциум изменить свой подход к выпуску кодеков, связана с резким ростом процессорной мощности, требуемой для увеличения эффективности компрессии. Как отмечает в своем блоге директор департамента видеокодирования Facebook Дэвид Ронка (David Ronca), новые технологии компрессии впечатляют, но каждое новое поколение требует 6-или 10-кратного увеличения компьютерной мощности. «Нам надо продумать возможные способы встретить взрывной рост объемов передаваемого видео, одновременно снижая требования к компьютерной мощности и потреблению кодеров», — говорит он.

С учетом всех этих обстоятельств и были разработаны новые кодеки. Рассмотрим их задачи и особенности.

Versatile Video Coding (VVC)

Так же, как и HEVC, разработан группой MPEG совместно с Международным союзом электросвязи, потому имеет двойное название — ITU H.266/MPEG-1 Part 3: Versatile Video Coding. VVC — прямой наследник HEVC. Прилагательное “versatile” (универсальный) в названии кодека указывает на разнообразие возможных вариантов его применения. Он одинаково подходит для традиционного телевещания, компрессии видео по запросу, а также для приложений, требующих низкой задержки, таких как игры или видеоконференции. VVC включает инструменты для компрессии компьютерной графики, расширения для сжатия панорамного видео 360 градусов, а также для масштабирования разрешения.

Кодек допускает любые виды декодеров — как программных, так и аппаратных, в том числе интегрированных в мобильные устройства. Как и в прежних стандартах MPEG, для разных приложений будут использоваться разные профили, и в рамках каждого из них выделят несколько уровней с разными условиями лицензирования. Условия эти пока не определены. Для координации вопросов стандартизации была создана новая группа Media Coding Industry Forum, но при этом она не имеет полномочий регулировать порядок лицензирования. Можно предположить, что разработчики VVC постараются избежать ошибок, допущенных с лицензированием HEVC, но останутся в рамках традиционной схемы лицензионного пула.

По оценкам разработчиков, новый кодек в сравнении с HEVC должен обеспечить снижение скорости компрессированного потока на 30—50% при сохранении субъективного качества видео. Предполагается, что этот результат будет достигнут за счет десятикратного увеличения вычислительной сложности алгоритмов кодирования.

Технически в VVC так же, как и в прежние кодеки MPEG, заложены только эволюционные изменения, которые предусматривают большее количество опций обработки, обеспечиваемых за счет повышения производительности процессоров. В качестве примера рассмотрим две инновации, наглядно демонстрирующие возможности улучшения картинки за счет усложнения вычислений.

Одно из изменений связано с выбором блоков для ортогонального преобразования спектра цветоразностных сигналов в весовые коэффициенты. В MPEG-2 для этой цели использовались макроблоки 8×8 пикселей. С каждым следующим стандартом они увеличивались, и начиная с H.264, появилась возможность деления на подблоки. В VVC с учетом требований UHD размер макроблока увеличен уже до 256×256 пикселей, а также добавлена возможность его многоярусного разделения на прямоугольные подблоки произвольного размера. Комбинируя эти прямоугольники, можно формировать подблоки практически любой формы. Это позволит прицельно выделять монохромные участки, которые после ортогонального преобразования спектра будут содержать минимум информации. В то же время выбор оптимальной схемы деления при таком разнообразии возможностей — сложная и трудоемкая компьютерная задача, резко увеличивающая количество вычислений.

Еще одно усовершенствование коснулось предсказания с компенсацией движения. Новый механизм получил название Overlapped Block Motion Compensation. При его использовании предсказание движения определенного блока выходит за его границы, распространяясь на соседние блоки. Потом полученные результаты перекрестно используются для коррекции предсказаний в соседних блоках. Это обеспечивает сглаживание восстановленной картинки, помогая избежать ее блочного рассыпания. Кроме того, прямоугольные блоки, выделяемые для предсказаний, могут разбиваться на два треугольника, и предсказания для треугольников в конце смешиваться в один квадрат.

Появление стандарта ожидается в октябре-ноябре 2020 года. Однако учитывая сложность алгоритмов декодирования VVC и его преемственность от HEVC, можно ожидать, что массовое внедрение кодека начнется только после появления чипсетов. На это обычно требуется два года.

Essential Video Coding (EVC)

Стандарт MPEG-5 Part 1: Essential Video Coding разработан консорциумом «с целью обеспечить стандартизированным решением определенные ниши, такие как потоковое видео, где нынешние видеокодеки, стандартизированные ISO, используются не так широко, как можно было бы ожидать, принимая во внимание исключительно их технические характеристики». Так витиевато цель стандарта изложена на сайте MPEG. Надо отметить, что «не так широко, как можно было бы ожидать», используется только HEVC, в то время как MPEG-2 и H.264 были приняты телевизионной индустрией без видимого сопротивления.

В плане применения EVC схож с VVC, с той лишь разницей, что в этом стандарте отсутствуют инструменты для кодирования панорамного видео 360 градусов и масштабирования по разрешению. Спектр декодеров для этого стандарта предполагается тот же, что и для VVC.

EVC отчасти призван решить проблему резкого роста компьютерной сложности новых алгоритмов, которая опережает рост вычислительных ресурсов процессоров. Другая цель подготовки стандарта — предложить рынку решение с минимально возможным лицензионным бременем, способное конкурировать с безлицензионным кодеком AV1.

Чтобы решить эти вопросы, разработчики EVC выделили в кодеке два профиля, один из которых будет бесплатным. В бесплатный, базовый профиль войдут только базовые инструменты кодирования, многие из которых используются уже более 20 лет. Тем не менее последние тесты показали выигрыш в 30% этого профиля в эффективности по сравнению с H.264. С HEVC разработчики сравнивают только основной профиль EVC, включающий более продвинутые инструменты. Согласно тестам, этот профиль эффективнее HEVC на 24%. Декодер для обоих профилей будет общим, и он потребует втрое больших вычислительных возможностей, чем декодеры HEVC. Основной профиль будет лицензироваться, но предполагается, что каждый из продвинутых инструментов можно будет включать/отключать в кодерах по отдельности.

Сколько будут стоить лицензии на эти функции, пока неизвестно. Более того, разработчик из Bitmovin Кристиан Фелдман (Christian Feldmann) сетовал на нежелание некоторых патентовладельцев вести переговоры по поводу лицензионных отчислений. Такая неопределенность чревата неприятными сюрпризами в будущем, но в Bitmovin надеются, что возможность отключения отдельных опций поможет смягчить ее последствия.

EVC должен появиться в первой половине этого года.

Low Complexity Enhancement Video Coding (LCEVC)

Полное название третьего кодека, который готовит группа MPEG, — MPEG-5 Part 3: Low Complexity Enhancement Video Coding. За его основу взята разработка PERSEUS от V-NOVA, усовершенствованная в процессе тестирования и стандартизации. LCEVC принципиально отличается от двух предыдущих тем, что это не самостоятельный кодек, а инструмент для масштабирования других кодеков. Он может работать с любым кодеком, выпущенным MPEG.

LCEVC разрабатывался с мыслью об абонентских ТВ-приставках и других приемниках, имеющих аппаратный декодер на базе ПЛИС и процессор общего назначения, который можно загрузить дополнительными операциями декодирования. LCEVC формирует три потока: базовый, предназначенный для аппаратного декодирования, и два, содержащих расширения, которые будут декодироваться программными средствами. Эти расширения могут или увеличивать разрешение видео, или добавлять высокочастотные составляющие, отбрасываемые при формировании базового потока. Эти составляющие отвечают за передачу мелких деталей изображения, определяющих его четкость, причем апскейл на приемной стороне эту информацию восстановить не может в принципе. Обнуление высокочастотных компонентов позволяет резко сократить объем сжатой информации, но если компрессировать их отдельно, то они занимают немного места.

На кодирующей стороне картинка сначала компрессируется с более низким разрешением или с меньшей детализацией, затем результат вычитается из исходной картинки, и разница сжимается отдельно. На приемной стороне базовый поток декодируется аппаратным способом, после чего на результат поочередно накладываются расширения, программно декодируемые процессором приемника.

Таким образом, приемник, умеющий аппаратно декодировать H.264/SD, принимая LCEVC, сможет восстановить изображение в HD-формате. А приемник с поддержкой HEVC/HD сумеет воспроизвести 4К. Это продлит жизнь старых абонентских ТВ-приемников. Отметим, что в VVC также есть возможность масштабирования по разрешению, но это решение для конкретного кодека, и дополнительная информация передается там в общем потоке.

Официальный выпуск LCVEC запланирован на первую половину этого года. И так как кодек не требует новых аппаратных декодеров, то его внедрение может начаться практически сразу же.

И еще о лицензировании

В группе MPEG сделали выводы из последствий, которые непродуманная лицензионная политика имела для внедрения HEVC. К сожалению, проблема с лицензированием имеет более глубокие причины, чем просто нескоординированные действия патентовладельцев. Она связана с приходом в телевидение успешных компаний из ИТ-индустрии, в которой, в отличие от телевидения, многие программные решения выводятся на рынок с открытым исходным кодом. В результате они бесплатно дорабатываются и адаптируются для практического применения самим рынком, что еще больше способствует их популярности. А сами компании зарабатывают на продаже платных версий продукта с дополнительными функциями за счет оказания SaaS-услуг или на продажах оборудования с интегрированным бесплатным ПО. Конечно, эта схема чаще работает у крупных многопрофильных ИТ-компаний, но в состав Alliance for Open Media, созданный для разработки безлицензионных кодеков, входят именно такие.

В телевизионной отрасли традиционно используется монетизация через создание лицензионных пулов, и именно на нее рассчитывают держатели патентов. Несоответствие этой модели требованиям времени уже не первый год обсуждается на разных мероприятиях ТВ-индустрии, но основные держатели патентов пока не выражают стремления менять свои бизнес-схемы. Группа MPEG явно ищет компромиссные решения, но насколько они окажутся действенными, покажет только практика.