Видеодекодер для сокращения потребления энергии при низком разрешении с использованием данных низкого разрешения

Номер патента: 24279

Опубликовано: 30.09.2016

Авторы: Сигалл Кристофер А., Ма Чжан

Есть еще 4 страницы.

Смотреть все страницы или скачать PDF файл.

Формула / Реферат

1. Видеодекодер, который сконфигурирован с возможностью декодирования видео, содержащий:

(a) энтропийный декодер, который сконфигурирован с возможностью декодирования битового потока, предназначенного для определения упомянутого видео;

(b) секцию деквантования и обратного преобразования, которая сконфигурирована с возможностью деквантования и обратного преобразования упомянутого декодируемого битового потока;

(c) модуль предсказания, который сконфигурирован с возможностью выборочного выполнения внутрикадрового предсказания и предсказания с компенсацией движения на основе упомянутого декодируемого битового потока;

(d) буфер, содержащий сжатые данные изображения, подлежащие использованию для упомянутого внутрикадрового предсказания и предсказания с компенсацией движения, включающие в себя данные низкого разрешения и данные высокого разрешения;

(e) модуль объединения, который сконфигурирован с возможностью формирования воссозданных данных изображения на основе (i) упомянутых данных предсказания, сформированных посредством упомянутого модуля предсказания, и (ii) упомянутого битового потока, подвергнутого деквантованию и обратному преобразованию, сформированному упомянутой секцией деквантования и обратного преобразования;

(f) секцию устранения блочности, которая сконфигурирована с возможностью выборочного устранения блочности упомянутых воссозданных данных изображения;

причем упомянутый энтропийный декодер дополнительно сконфигурирован с возможностью приема флага в упомянутом битовом потоке, причем флаг предназначен для указания режима декодирования с низким разрешением, в котором декодирование с низким разрешением возможно, или режима декодирования с высоким разрешением, в котором декодирование с низким разрешением невозможно,

причем буфер сконфигурирован с возможностью сохранения данных изображения низкого разрешения без данных изображения высокого разрешения, когда флаг указывает режим декодирования с низким разрешением.

2. Декодер по п.1, в котором упомянутый модуль предсказания сконфигурирован с возможностью работы в позициях пикселей низкого разрешения с использованием только данных низкого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с низким разрешением.

3. Декодер по п.2, в котором упомянутый модуль предсказания сконфигурирован с возможностью работы в позициях пикселей высокого разрешения с использованием данных низкого разрешения и интерполированных данных высокого разрешения из упомянутых данных низкого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с низким разрешением.

4. Декодер по п.1, в котором упомянутый модуль предсказания сконфигурирован с возможностью работы в позициях пикселей высокого разрешения с использованием данных высокого разрешения, когда упомянутый флаг указывает режим декодирования с высоким разрешением.

5. Декодер по п.1, в котором упомянутые данные низкого разрешения являются независимыми от упомянутых данных высокого разрешения, причем декодер сконфигурирован с возможностью использования только данных низкого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с низким разрешением, и причем декодер сконфигурирован с возможностью использования как упомянутых данных низкого разрешения, так и упомянутых данных высокого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с высоким разрешением.

6. Декодер по п.1, в котором упомянутая секция устранения блочности сконфигурирована с возможностью использования только воссозданных данных изображения в позициях пикселей низкого разрешения для устранения блочности упомянутых воссозданных данных изображения в упомянутых позициях пикселей низкого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с низким разрешением.

7. Декодер по п.6, в котором упомянутая секция устранения блочности сконфигурирована с возможностью также использовать интерполированные данные изображения в позициях пикселей высокого разрешения для устранения блочности упомянутых воссозданных данных изображения в упомянутых позициях пикселей высокого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с низким разрешением.

8. Декодер по п.1, в котором упомянутая секция устранения блочности сконфигурирована с возможностью использования воссозданных данных изображения в позициях пикселей высокого разрешения для устранения блочности упомянутых воссозданных данных изображения в упомянутых позициях пикселей высокого разрешения, когда упомянутый флаг указывает режим декодирования с высоким разрешением.

9. Декодер по п.3, в котором модуль предсказания сконфигурирован с возможностью предсказания упомянутых интерполированных данных изображения в позициях пикселей высокого разрешения посредством линейного предсказания исходя из упомянутых данных низкого разрешения.

10. Декодер по п.7, в котором модуль объединения сконфигурирован с возможностью формирования упомянутых воссозданных данных изображения в упомянутых позициях пикселей высокого разрешения посредством линейного предсказания исходя из упомянутых воссозданных данных изображения в упомянутых позициях пикселей низкого разрешения.

Рисунок 1

Текст

Смотреть все

ВИДЕОДЕКОДЕР ДЛЯ СОКРАЩЕНИЯ ПОТРЕБЛЕНИЯ ЭНЕРГИИ ПРИ НИЗКОМ РАЗРЕШЕНИИ С ИСПОЛЬЗОВАНИЕМ ДАННЫХ НИЗКОГО РАЗРЕШЕНИЯ Раскрыт видеодекодер, который использует методы сокращения потребления энергии. Видеодекодер содержит: (а) энтропийный декодер, который декодирует битовый поток,определяющий упомянутое видео; (b) обратное преобразование, которое преобразовывает упомянутый декодируемый битовый поток; (с) модуль предсказания, который выборочно выполняет внутрикадровое предсказание и предсказание с компенсацией движения на основе упомянутого декодируемого битового потока; (d) буфер, содержащий сжатые данные изображения,используемые для упомянутого предсказания с компенсацией движения, включающие в себя данные с низким разрешением и данные с высоким разрешением, причем упомянутый модуль предсказания предсказывает и набор данных с низким разрешением, и набор данных с высоким разрешением на основе упомянутых данных с низким разрешением с использованием информации предсказания с высоким разрешением, декодируемой из упомянутого битового потока, без использования упомянутых данных высокого разрешения.(71)(73) Заявитель и патентовладелец: ШАРП КАБУСИКИ КАЙСЯ (JP) Область техники, к которой относится изобретение Настоящее изобретение имеет отношение к видеодекодеру с сокращением потребления энергии. Уровень техники Существующие стандарты кодирования видеосигнала, такие как H.264/AVC, обычно обеспечивают относительно высокую эффективность кодирования за счет увеличенной вычислительной сложности. Относительно высокая вычислительная сложность привела к существенному расходу энергии, который особенно проблематичен для устройств с низкой мощностью, таких как сотовые телефоны. Сокращение потребления энергии обычно достигается посредством использования двух основных методик. Первая методика для сокращения потребления энергии является приспосабливающейся, когда система кодирования видеосигнала уменьшает свои возможности обработки, работая над последовательностью, которую легко декодировать. Это сокращение возможностей обработки может быть достигнуто посредством частотного масштабирования, масштабирования напряжения, упреждающей выборки данных на микросхеме (кэширования) и/или стратегии систематического бездействия. Во многих случаях полученная в результате работа декодера соответствует стандарту. Вторая методика для сокращения потребления энергии состоит в отбрасывании кадра или данных изображения во время процесса декодирования. Это обычно позволяет существенно экономить энергию, но обычно за счет видимого ухудшения качества изображения. Кроме того, во многих случаях полученная в результате работа декодера не соответствует стандарту. Сущность изобретения Один вариант осуществления настоящего изобретения раскрывает видеодекодер, который декодирует видео, содержащий:(а) энтропийный декодер, который декодирует битовый поток, определяющий упомянутое видео;(b) обратное преобразование, которое преобразовывает упомянутый декодируемый битовый поток;(c) модуль предсказания, который выборочно выполняет внутрикадровое предсказание и предсказание с компенсацией движения на основе упомянутого декодируемого битового потока;(d) буфер, содержащий сжатые данные изображения, используемые для упомянутого предсказания с компенсацией движения, включающие в себя данные с низким разрешением и данные с высоким разрешением, причем упомянутый модуль предсказания предсказывает и набор данных с низким разрешением, и набор данных с высоким разрешением на основе упомянутых данных низкого разрешения с использованием информации предсказания с высоким разрешением, декодируемой из упомянутого битового потока, без использования упомянутых данных высокого разрешения. Другой вариант осуществления настоящего изобретения раскрывает видеодекодер, который декодирует видео, содержащий:(а) энтропийный декодер, который декодирует битовый поток, определяющий упомянутое видео;(b) обратное преобразование, которое преобразовывает упомянутый декодируемый битовый поток;(с) модуль предсказания, который выборочно выполняет внутрикадровое предсказание и предсказание с компенсацией движения над упомянутым декодируемым битовым потоком;(d) буфер, содержащий сжатые данные изображения, используемые для упомянутого предсказания с компенсацией движения;(е) причем упомянутые сжатые данные изображения включают в себя набор данных с низким разрешением и набор данных с высоким разрешением, причем упомянутый набор данных низкого разрешения является независимым от упомянутого набора данных высокого разрешения и используется для декодирования в режиме низкого разрешения, причем как упомянутый набор данных низкого разрешения,так и упомянутый набор данных высокого разрешения используются для декодирования в режиме высокого разрешения. Предыдущие и другие цели, признаки и преимущества изобретения будут лучше понятны после рассмотрения последующего подробного описания изобретения совместно с сопроводительными чертежами. Краткое описание чертежей Фиг. 1 иллюстрирует декодер; фиг. 2 - предсказание с низким разрешением; фиг. 3 А и 3 В - декодер и поток данных для декодера; фиг. 4 - структуру выборки буфера кадра; фиг. 5 - интеграцию буфера кадра в декодере; фиг. 6 А и 6 В - типичные пиксельные значения двух блоков. Описание вариантов осуществления Желательно обеспечить возможность существенной экономии энергии, которая обычно соответствует отбрасыванию данных кадра без видимого ухудшения получаемого в результате качества изображения и несоответствия стандартам. Соответствующим образом реализованная система может использоваться с минимальным воздействием на эффективность кодирования. Чтобы обеспечить возможность такой экономии энергии с минимальным ухудшением изображения и потерей эффективности кодирования, система должна по-разному работать с данными низкого разрешения и с данными высокого разре-1 024279 шения. Комбинация данных низкого разрешения и данных высокого разрешения может давать в результате данные полного разрешения. Использование данных низкого разрешения является особенно подходящим, когда дисплей имеет более низкое разрешение, чем разрешение передаваемого контента. Потребление энергии является важным фактором при проектировании декодеров с более высоким разрешением. Одним из главных потребителей энергии является пропускная способность памяти. Пропускная способность памяти традиционно увеличивается с более высокими разрешениями и частотами кадров, и она часто представляет собой существенное узкое место и фактор стоимости при проектировании системы. Вторым главным потребителем энергии является большое количество пикселей. Большое количество пикселей непосредственно определяется разрешением кадра изображения и увеличивает объемы пиксельной обработки и вычислений. Количество энергии, требуемое для работы каждого пикселя,определяется сложностью процесса декодирования. Исторически сложность декодирования увеличивалась в каждом "улучшенном" стандарте кодирования видеосигнала. Как показано на фиг. 1, система может включать в себя модуль 10 энтропийного декодирования,модуль 20 преобразования (такого как обратное преобразование с использованием деквантования и преобразования IDCT), модуль 30 внутрикадрового предсказания, модуль 40 предсказания с компенсацией движения, сумматор 80, модуль 50 устранения блочности, модуль 60 адаптивного петлевого фильтра и модуль сжатия/разуплотнения памяти, соответствующий буферу 70 кадра. Размещение и выбор различных модулей для видеосистемы могут быть изменены по желанию. В одном аспекте система предпочтительно уменьшает требования потребления энергии и пропускной способности памяти и большого количества пикселей буфера кадра. Пропускная способность памяти уменьшается посредством использования методики сжатия буфера кадра в пределах конфигурации видеокодера. Цель методики сжатия буфера кадра состоит в том, чтобы уменьшить пропускную способность памяти (и потребление энергии), требуемую для получения доступа к данным в буфере опорного изображения. С учетом того, что буфер опорного изображения сам является сжатой версией данных исходного изображения, сжатие опорных кадров может быть достигнуто без существенной потери при кодировании для многих приложений. Чтобы избежать большого количества пикселей, видеокодек должен поддерживать режим обработки низкого разрешения без дрейфа. Это означает, что декодер может переключаться между рабочими точками с полным разрешением и с низким разрешением и являться совместимым со стандартом. Это может быть достигнуто посредством выполнения предсказания данных и с высоким разрешением, и с низким разрешением с использованием информации предсказания полного разрешения, но только данных изображения с низким разрешением. Кроме того, это может быть улучшено с использованием процесса устранения блочности, который принимает решения устранения блочности с использованием только данных с низким разрешением. Устранение блочности применяется к данным с низким разрешением,а также при желании к данным с высоким разрешением. Устранение блочности пикселей с низким разрешением не зависит от пикселей с высоким разрешением. Устранение блочности низкого разрешения и устранение блочности высокого разрешения могут быть выполнены последовательно и/или параллельно. Однако устранение блочности пикселей с высоким разрешением может зависеть от пикселей с низким разрешением. Таким образом, процесс низкого разрешения независим от процесса высокого разрешения,и тем самым обеспечивается возможность режима экономии мощности, в то время как процесс высокого разрешения может зависеть от процесса низкого разрешения, и тем самым при желании обеспечивается более хорошее качество изображения. Как показано на фиг. 2, при работе в режиме (S10) с низким разрешением декодер может использовать свойства предсказания с низким разрешением и измененное устранение блочности, чтобы значительно сократить количество пикселей, которые будут обработаны. Это может быть выполнено посредством предсказания только данных с низким разрешением (S12). Затем, после предсказания данных с низким разрешением вычисляются разностные данные только для пикселей (то есть местоположений пикселей) с низким разрешением, а не для пикселей (то есть местоположений пикселей) с высоким разрешением (S14). Разностные данные обычно передаются в битовом потоке. Разностные данные, вычисленные для пиксельных значений с низким разрешением, имеют такие же пиксельные значения, как разностные данные полного разрешения в местоположениях пикселей с низким разрешением. Основная разница состоит в том, что разностные данные должны быть вычислены только в позиции пикселей с низким разрешением. После вычисления разностных данных разностные данные с низким разрешением добавляются к предсказанию с низким разрешением (S16), чтобы обеспечить пиксельные значения низкого разрешения. Получающийся в результате сигнал затем подвергается устранению блочности. Вновь устранение блочности предпочтительно выполняется только в местоположениях выборки с низким разрешением (S18), чтобы уменьшить потребление энергии. Наконец, результат может быть сохранен в буфере кадра опорного изображения для будущего предсказания. Кроме того, результат может быть обработан с помощью адаптивного петлевого фильтра. Адаптивный петлевой фильтр может иметь отношение к адаптивному петлевому фильтру для данных полного разрешения, либо он может быть сообщен независимо, либо он может быть опущен. Примерное описание системы, работающей в режиме с низким разрешением, показано на фиг. 3 А и 3 В. Система может аналогичным образом включать в себя режим, который работает в режиме с полным разрешением. Как показано в фиг. 3 А и 3 В, энтропийное декодирование 100 может быть выполнено в полном разрешении, в то время как обратное преобразование (деквантование и преобразование IDCT) 200 и предсказание (внутрикадровое предсказание 300; предсказание 400 с компенсацией движения(МСР предпочтительно выполняются в низком разрешении. Устранение 500 блочности предпочтительно выполняется каскадно таким образом, чтобы устранение блочности пикселей низкого разрешения не зависело от дополнительных данных высокого разрешения. Наконец, буфер кадра, который включает в себя сжатие памяти, хранит данные с низким разрешением, используемые для будущего предсказания. Энтропийное декодирование 100, показанное на фиг. 3 А, выполняет энтропийное декодирование разностных данных для пикселей полного разрешения (101). Затененные пиксели в разностных данных 101 представляют позиции низкого разрешения, в то время как незатененные пиксели представляют позиции высокого разрешения. Преобразование 200 деквантования и IDCT выполняет обратное преобразование только пиксельных данных низкого разрешения в разностных данных 101 с тем, чтобы получить разностные данные 201 после деквантования и преобразования IDCT. В случае внутрикадровых изображений внутрикадровое предсказание 300 производит предсказание 301 только для позиций низкого разрешения (изображены затененными пикселями). Сумматор 800 добавляет пиксельные данные низкого разрешения в разностных данных 201 после деквантования и преобразования IDCT к пиксельным данным низкого разрешения в предсказании 301 с тем, чтобы получить воссозданные данные 801 только для позиций низкого разрешения (изображены затененными пикселями). В случае межкадрового изображения предсказание 400 с компенсацией движения (МСР), показанное на фиг. 3 В, считывает пиксельные данные низкого разрешения опорного изображения (изображены затененными пикселями в данных 702 опорного изображения) из памяти 700 и посредством интерполяции производит пиксельные данные высокого разрешения, которые были удалены. Например, как обозначено в интерполяции 401, предсказание 400 с компенсацией движения (МСР) посредством интерполяции производит пиксельные данные С высокого разрешения из пиксельных данных низкого разрешения соседних пикселей. В качестве интерполяции может быть выполнен выбор среднего значения пиксельных данных низкого разрешения из пикселей, расположенных на верхней стороне и нижней стороне данных С, выбор среднего значения пиксельных данных низкого разрешения из пикселей, расположенных на левой и правой стороне данных С, выбор среднего значение пиксельных данных низкого разрешения из пикселей, расположенных на верхней, нижней, левой и правой сторонах данных С. Устранение 500 блочности выполняется каскадным образом. Устранение 500 блочности фильтрует данные низкого разрешения в первый раз (501), в то время как оно фильтрует данные высокого разрешения во второй раз (502). Более определенно, устранение 500 блочности выполняется следующим образом. Этап 1) (501). Устранение 500 блочности применяется только к данным низкого разрешения с использованием данных низкого разрешения и данных высокого разрешения посредством интерполяции. Этап 2) (502). Устранение 500 блочности применяется только к данным высокого разрешения с использованием данных низкого разрешения и данных высокого разрешения посредством интерполяции. Изображения после устранения 500 блочности сохраняются в памяти 700. Далее разъясняются изображения (701, 702, 703), которые были однажды сохранены в памяти 700 после устранения 500 блочности и считываются для чтения вслух для предсказания 400 с компенсацией движения (МСР). Изображение 502 после устранения 500 блочности является изображением полного разрешения, которое может упоминаться как изображение 701. Изображение 701 после устранения 500 блочности прореживается(702) с помощью выборки по схеме шахматной доски таким образом, что остаются и сохраняются в памяти 700 только позиции низкого разрешения. При использовании в предсказании прореженные пиксельные данные высокого разрешения (изображены незатененными пикселями 702) интерполируются и интерполированное изображение используется для получения предсказанного изображения. Методика сжатия буфера кадра предпочтительно является компонентом функциональности низкого разрешения. Методика сжатия буфера кадра предпочтительно делит пиксельные данные изображения на множество наборов, и первый набор пиксельных данных не зависит от других наборов. В одном варианте осуществления система использует выборку по схеме шахматной доски, как показано на фиг. 4. На фиг. 4 затененные местоположения пикселей принадлежат первому набору, и незатененные пиксели принадлежат второму набору. По желанию могут использоваться другие структуры выборки. Например, каждый второй столбец пикселей может быть присвоен первому набору. В качестве альтернативы каждая вторая строка пикселей может быть присвоена первому набору. Аналогичным образом, каждый второй столбец и строка пикселей могут быть присвоены первому набору. Может использоваться любое подходящее разделение на множество наборов пикселей. Для сжатия/разуплотнения памяти методика сжатия буфера кадра предпочтительно имеет пиксели во втором наборе пикселей, линейно предсказанные на основе пикселей в первом наборе пикселей. Предсказание может являться предопределенным. В качестве альтернативы оно может пространственно изменяться или быть определено с использованием любой другой подходящей методики. В одном варианте осуществления кодируются пиксели в первом наборе пикселей. Это кодирование может использовать любую подходящую методику, например, блочное кодирование с усечением (ВТС),такое, как описано в Healy, D.; Mitchell, О., "Digital Video Bandwidth Compression Using Block TruncationMitchell, О., "Absolute Moment Block Truncation Coding and Its Application to Color Images", IEEE Transactions on Communications [legacy, pre - 1988], vol. 32, no. 10 pp. 1148-1157, Oct. 1984, или скалярное квантование. Аналогичным образом, пиксели во втором наборе пикселей могут быть закодированы и предсказаны с использованием любой подходящей методики с тем, чтобы, например, быть предсказываемыми с использованием линейного процесса, известного кодеру сжатия буфера кадра и декодеру сжатия буфера кадра. Затем может быть вычислена разность между предсказанием и пиксельным значением. Наконец, разность может быть сжата. В одном варианте осуществления система может использовать блочное кодирование с усечением (ВТС) для сжатия второго набора пикселей. В другом варианте осуществления система может использовать блочное кодирование с усечением с абсолютным моментом(АМВТС) для сжатия второго набора пикселей. В другом варианте осуществления система может использовать квантование для сжатия второго набора пикселей. Еще в одном варианте осуществления система может использовать билинейную интерполяцию для предсказания пиксельных значений во втором наборе пикселей. В дополнительном варианте осуществления система может использовать бикубическую интерполяцию для предсказания пиксельных значений во втором наборе пикселей. В другом варианте осуществления система может использовать билинейную интерполяцию для предсказания пиксельных значений во втором наборе пикселей и блочное кодирование с усечением с абсолютным моментом(АМВТС) для сжатия разности между предсказанными пиксельными значениями во втором наборе и пиксельным значением во втором наборе. Свойство методики сжатия буфера таково, что она управляется с помощью флага для сигнализации о возможности обработки низкого разрешения. В одной конфигурации, когда этот флаг не сигнализирует о возможности обработки низкого разрешения, декодер буфера кадра производит выходные кадры, которые содержат первый набор пиксельных значений (то есть пиксельные данные низкого разрешения),возможно сжатых, и второй набор пиксельных значений (то есть пиксельные данные высокого разрешения), которые предсказаны на основе первого набора пиксельных значений и улучшены с помощью дополнительных разностных данных. В другой конфигурации, когда этот флаг сигнализирует о возможности обработки низкого разрешения, декодер буфера кадра производит выходные кадры, которые содержат первый набор пиксельных значений, возможно сжатых, и второй набор пиксельных значений, которые предсказаны на основе первого набора пиксельных значений, но не улучшены с помощью дополнительных разностных данных. В соответствии с этим флаг указывает, следует ли использовать дополнительные разностные данные. Разностные данные могут представлять различия между предсказанными пиксельными значениями и фактическими пиксельными значениями. Для кодера сжатия буфера кадра, когда флаг не сигнализирует о возможности обработки низкого разрешения, кодер сохраняет первый набор пиксельных значений, возможно в сжатой форме. Затем кодер предсказывает второй набор пиксельных значений на основе первого набора пиксельных значений. В некоторых вариантах осуществления кодер определяет разность между предсказанием и фактическим пиксельным значением и сохраняет разность, возможно в сжатой форме. В некоторых вариантах осуществления кодер выбирает из множества механизмов предсказания предпочтительный механизм предсказания для второго набора пикселей. Затем кодер сохраняет выбранный механизм предсказания в буфере кадра. В одном варианте осуществления множество механизмов предсказания состоят из множества линейных фильтров, и кодер выбирает механизм предсказания, вычисляя предсказанное пиксельное значение для каждого линейного фильтра и выбирая линейный фильтр, который вычисляет предсказанное пиксельное значение, являющееся самым близким к пиксельному значению. В одном варианте осуществления множество механизмов предсказания состоят из множества линейных фильтров, и кодер выбирает механизм предсказания, вычисляя предсказанные пиксельные значения для каждого линейного фильтра для блока местоположений пикселей и выбирая линейный фильтр, который вычисляет блок предсказанных пиксельных значений, являющийся самым близким к блоку пиксельных значений. Блок пикселей представляет собой набор пикселей в пределах изображения. Определение блока предсказанных пиксельных значений, которые являются самыми близкими к блоку пиксельных значений, может быть выполнено посредством выбора блока предсказанных пиксельных значений, которые приводят к самой маленькой сумме абсолютных разностей между блоком предсказанных пиксельных значений и блоком пиксельных значений. В качестве альтернативы для выбора блока может использоваться сумма квадратов разностей. В других вариантах осуществления разность сжимается с помощью блочного кодирования с усечением (ВТС). В одном варианте осуществления разность сжимается с помощью блочного кодирования с усечением с абсолютным моментом (АМВТС). В одном варианте осуществления параметры, используемые для сжатия второго набора пикселей, определяются из параметров, используемых для сжатия первого набора пикселей. В одном варианте осуществления первый набор пикселей и второй набор пикселей используют кодирование АМВТС, и первый параметр, используемый для способа АМВТС первого набора пикселей, имеет отношение к первому параметру, используемому для способа АМ-4 024279 ВТС для второго набора пикселей. В одном варианте осуществления упомянутый первый параметр, используемый для второго набора пикселей, равен упомянутому первому параметру, используемому для первого набора пикселей, и не сохраняется. В другом варианте осуществления упомянутый первый параметр, используемый для второго набора пикселей, имеет отношение к упомянутому первому параметру, используемому для первого набора пикселей. В одном варианте осуществления отношение может быть определено как масштабный коэффициент, и масштабный коэффициент сохраняется вместо упомянутого первого параметра, используемого для второго набора пикселей. В других вариантах осуществления отношение может быть определено как индекс в поисковой таблице масштабных коэффициентов,индекс сохраняется вместо упомянутого первого параметра, используемого для второго набора пикселей. В других вариантах осуществления может быть предопределено отношение. В других вариантах осуществления кодер комбинирует выбранный механизм предсказания и этап определения разности. Посредством сравнения, когда флаг сигнализирует о возможности обработки низкого разрешения, кодер сохраняет первый набор пиксельных значений, возможно в сжатой форме. Однако кодер не сохраняет разностную информацию. В описанных выше вариантах осуществления, которые определяют выбранный механизм предсказания, кодер не вычисляет выбранный механизм предсказания из воссозданных данных. Вместо этого любой выбранный механизм предсказания сообщается от кодера декодеру. Сигнализация флага обеспечивает возможность декодирования низкого разрешения. От декодера не требуется декодировать последовательность низкого разрешения, даже когда флаг сигнализирует о возможности декодирования низкого разрешения. Вместо этого он может декодировать последовательность либо полного разрешения, либо низкого разрешения. Эти последовательности будут иметь одни и те же декодируемые пиксельные значения для местоположений пикселей на решетке низкого разрешения. Последовательности могут иметь или могут не иметь одни и те же декодируемые пиксельные значения для местоположений пикселей на решетке высокого разрешения. Сигнализация флага может быть кадр-закадром, последовательность-за-последовательностью или на любой другой основе. Когда флаг появляется в битовом потоке, декодер предпочтительно выполняет следующие этапы:(а) отключает вычисление разности в методике сжатия буфера кадра. Это включает в себя отключение вычисления разностных данных во время загрузки опорных кадров, а также отключения вычисления разностных данных во время сохранения опорных кадров, как проиллюстрировано на фиг. 5;(b) использует пиксельные значения низкого разрешения для устранения блочности низкого разрешения, как описано ранее. Использует альтернативную операцию устранения блочности для местоположений выборки в местоположениях более высокого разрешения, как описано ранее;(c) сохраняет опорные кадры до применения адаптивного петлевого фильтра. С этими изменениями декодер может продолжать работать в режиме полного разрешения. В частности, для будущих кадров он может получить кадр полного разрешения из сжатого опорного буфера,выполнить компенсацию движения, добавление разности, устранение блочности и петлевой фильтр. Результатом будет кадр полного разрешения. Этот кадр по-прежнему может включать в себя частотное содержание, которое занимает весь диапазон пиксельной сетки полного разрешения. Однако в качестве альтернативы, декодер может выбрать работу только с данными с низким разрешением. Это возможно вследствие независимости решетки более низкого разрешения от решетки более высокого разрешения в буферной структуре сжатия. Для оценки движения процесс интерполяции изменен, чтобы использовать тот факт, что пиксели высокого разрешения линейно связаны с данными низкого разрешения. Таким образом, процесс оценки движения может быть выполнен в низком разрешении с измененными фильтрами интерполяции. Аналогичным образом, для вычисления разности система может использовать тот факт, что данные низкого разрешения не полагаются на данные высокого разрешения на последующих этапах декодера. Таким образом, система использует сокращенный процесс обратного преобразования, который вычисляет только пиксели низкого разрешения из коэффициентов преобразования полного разрешения. Наконец, система использует фильтр устранения блочности, который устраняет блочность данных с низким разрешением независимо от пикселей с высоким разрешением (данные высокого разрешения могут зависеть от данных низкого разрешения). Это происходит снова вследствие линейного соотношения между данными высокого разрешения и данными низкого разрешения. Существующий фильтр устранения блочности в испытательной модели JCT-VC JCTVC-A119 желателен в контексте блоков с размером 88. Для фильтра устранения блочности яркости процесс начинается с определения, должна ли граница блока быть подвергнута устранению блочности. Это выполняется посредством следующего вычисления: где d - переменная, pij и qij - пиксельные значения. Местоположение пиксельных значений изображено на фиг. 6. На фиг. 6 показаны два элемента кодирования с размером 44. Однако пиксельные значения могут быть определены из любого размера блока посредством рассмотрения местоположения пикселей относительно границы блока. Затем значение, вычисленное для d, сравнивается с порогом. Если значение d меньше порога,-5 024279 фильтр устранения блочности используется. Если значение d больше или равно порогу, то фильтрация не применяется, и подвергнутые устранению блочности пиксели имеют такие же значения, как входные пиксельные значения. Следует отметить, что порог может являться функцией параметра квантования, и он может быть описан как beta(QP). Решение об устранении блочности принимается независимо для горизонтальных и вертикальных границ. Если значение d для границы приводит к решению использовать устранение блочности, то процесс продолжается определением типа фильтра для применения. Операция устранения блочности использует либо сильный, либо слабый типы фильтра. Выбор силы фильтра основан на ранее вычисленном значенииd, beta(QP), а также дополнительных локальных различиях. Она вычисляется для каждой линии (строки или столбца) границы устранения блочности. Например, для первой строки местоположений пикселей,показанных на фиг. 6, вычисление выполняется как где tc - порог, который обычно является функцией параметра квантования QP. Для случая отсчетов яркости, если ранее описанный процесс приводит к решению подвергнуть границу устранению блочности и выполнить устранение блочности линии (строки или столбца) с помощью слабого фильтра, то процесс фильтрации может быть описан следующим образом. Здесь дается описание процесса фильтрации для границы между блоком А и блоком В на фиг. 6. Процесс следующий: где- смещение и Clip0-255 - оператор, который отображает входное значение на диапазон [0, 255]. В альтернативных вариантах осуществления оператор может отображать входные значения на альтернативные диапазоны, такие как [16, 235], [0, 1023] или другие диапазоны. Для случая отсчетов яркости, если ранее описанный процесс приводит к решению подвергнуть границу устранению блочности и выполнить устранение блочности линии (строки или столбца) с помощью сильного фильтра, то процесс фильтрации может быть описан следующим образом. Здесь дается описание процесса фильтрации для границы между блоком А и блоком В на фиг. 6. Процесс следующий: где Clip0-255 - оператор, который отображает входное значение на диапазон [0, 255]. В альтернативных вариантах осуществления оператор может отображать входные значения на альтернативные диапазоны, такие как [16, 235], [0, 1023] или другие диапазоны. Для случая отсчетов цветности, если ранее описанный процесс приводит к решению подвергнуть границу устранению блочности, то все линии (строка или столбец) для компонента цветности обрабатываются с помощью операции слабой фильтрации. Здесь дается описание процесса фильтрации для границы между блоком А и блоком В на фиг. 6, где блоки, как теперь предполагается, содержат пиксельные значения цветности. Процесс следующий: где , также называемая дельтой в этой спецификации - смещение и Clip0-255 - оператор, который ото-6 024279 бражает входное значение на диапазон [0, 255]. В альтернативных вариантах осуществления оператор может отображать входные значения на альтернативные диапазоны, такие как [16, 235], [0, 1023] или другие диапазоны. Местоположения пикселей в пределах кадра изображения могут быть разделены на два или более наборов. Когда флаг сообщается в битовом потоке или передается любым способом, система подключает обработку первого набора местоположений пикселей без пиксельных значений во втором наборе местоположений пикселей. Пример этого разделения показан на фиг. 4. На фиг. 4 блок разделен на два набора пикселей. Первый набор соответствует затененным местоположениям; второй набор соответствует незатененным местоположениям. Когда включен этот альтернативный режим, система может изменить предыдущие операции устранения блочности следующим образом. Сначала при вычислении, должна ли граница быть подвергнута устранению блочности, система использует ранее описанные уравнения или другие подходящие уравнения. Однако для пиксельных значений, соответствующих местоположениям пикселя, которые не находятся в первом наборе пикселей, система может использовать пиксельные значения, которые получены из первого набора местоположений пикселей. р 01, р 03, р 05, р 07, q00, q02, q04, q06 на фиг. 6A и 6 В являются первым набором пикселей, которые вычислены посредством энтропийного декодирования, обратного преобразования и предсказания. р 00, р 02, р 04, р 06, q01, q03, q05, q07 являются вторым набором пикселей, которые вычислены таким уравнением, которое показано на фиг. 3 В или 5 Уравнение 1, уравнение 2, уравнение 3, уравнение 4 и уравнение 5 вычисляются с использованием этих пиксельных значений. В одном варианте осуществления система получает пиксельные значения как линейное суммирование соседних пиксельных значений, расположенных в первом наборе пикселей. Во втором варианте осуществления система использует билинейную интерполяцию пиксельных значений, расположенных в первом наборе пикселей. В предпочтительном варианте осуществления система вычисляет линейное среднее значение пиксельных значений, расположенных в первом наборе пикселей, которое находится выше текущего местоположения пикселей, и пиксельных значений, расположенных в первом наборе пикселей, которое находится ниже текущего местоположения пикселя. Следует заметить, что приведенное выше описание предполагает, что система работает на вертикальной границе блока (и применяет горизонтальное устранение блочности). Для случая, в котором система работает на горизонтальной границе блока (и применяет вертикальное устранение блочности), система вычисляет среднее значение пикселей слева и справа от текущего местоположения. В альтернативном варианте осуществления система может ограничить вычисление среднего значения пиксельными значениями в пределах того же самого блока. Например, если пиксельное значение, расположенное выше текущего пикселя, не находится в том же самом блоке, но пиксельное значение, расположенное ниже текущего пикселя, находится в том же самом блоке, то текущий пиксель устанавливается равным пиксельному значению ниже текущего пикселя. Во-вторых, при вычислении, если граница должна использовать сильный или слабый фильтр, система может использовать такой же подход, как описано выше. А именно, пиксельные значения, которые не соответствуют первому набору пикселей, выводятся из первого набора пикселей. После вычислений описанного выше решения система может использовать решение для обработки первого набора пикселей. Декодеры, обрабатывающие последующие наборы пикселей, используют то же самое решение для обработки последующих наборов пикселей. Если ранее описанные процессы приводят к решению подвергнуть устранению блочности границу и затем подвергнуть устранению блочности линии (строки или столбца) с помощью слабого фильтра, то система может использовать процесс слабой фильтрации, описанный выше. Однако вычисляя значение, система не использует пиксельные значения, которые соответствуют набору пикселей, последующих за первым набором. Вместо этого система может получить пиксельные значения, как описано выше. В качестве примера значение длятогда применяется к фактическим пиксельным значениям в первом наборе, и значение дельты применяется к фактическим пиксельным значениям во втором наборе. Если ранее описанные результаты процесса приводят к решению применить устранение блочности к границе и затем применить устранение блочности к линии (строке или столбцу) с помощью сильного фильтра, то система может сделать следующее. В одном варианте осуществления система может использовать уравнения для сильного фильтра яр-7 024279 кости, описанного выше. Однако для пиксельных значений, не находящихся в первом наборе местоположений пикселей, система может получить пиксельные значения из первого набора местоположений пикселей, как описано выше. Затем система сохраняет результаты процесса фильтрации для первого набора местоположений пикселей. Далее для декодеров, формирующих последующие местоположения пикселей в качестве вывода, система использует уравнения для описанного выше сильного фильтра яркости с ранее вычисленными обработанными сильным фильтром результатами для первых местоположений пикселей и воссозданными (не обработанными фильтром) результатами для последующих местоположений пикселей. Затем система применяет фильтр только в последующих местоположениях пикселя. На выходе получаются подвергнутые фильтрации первые местоположения пикселей, соответствующие первой операции фильтра, и подвергнутые фильтрации последующие местоположения пикселей,соответствующие дополнительным проходам фильтра. Чтобы подвести итог, как описано ранее, система берет первые пиксельные значения и интерполирует недостающие пиксельные значения, вычисляет результат сильной фильтрации для первых пиксельных значений, обновляет недостающие пиксельные значения до фактических воссозданных значений и вычисляет результат сильной фильтрации для недостающих местоположений пикселей. Во втором варианте осуществления система использует уравнения для описанного выше сильного фильтра яркости. Для пиксельных значений, не находящихся в первом наборе местоположений пикселей,система получает пиксельные значения на основе первого набора местоположений пикселей, как описано выше. Система тогда вычисляет результат сильной фильтрации и для первых, и для последующих наборов местоположений пикселей с использованием выведенных значений. Наконец, система вычисляет взвешенное среднее значение воссозданных пиксельных значений в последующих местоположениях и вывод сильной фильтрации в последующих местоположениях. В одном варианте осуществления весовой коэффициент передается с кодера на декодер. В альтернативном варианте осуществления весовой коэффициент фиксирован. Если ранее описанный процесс приводит к решению подвергнуть устранению блочности границу,то система использует процесс слабой фильтрации для цветности, как описано выше. Однако при вычислении значения длясистема не использует пиксельные значения, которые соответствуют набору пикселей, последующих за первым набором. Вместо этого система предпочтительно получает пиксельные значения, как описано ранее. В качестве примера значение длятогда применяется к фактическим пиксельным значениям в первом наборе, и значение дельты применяется к фактическим пиксельным значениям во втором наборе. Термины и выражения, которые использовались в предшествующей спецификации, используются в качестве описания, а не ограничения, и в использовании таких терминов и выражений не имеется намерения исключить эквиваленты показанных и описанных признаков или их частей, признается, что объем изобретения определен и ограничен только следующей формулой изобретения. ФОРМУЛА ИЗОБРЕТЕНИЯ 1. Видеодекодер, который сконфигурирован с возможностью декодирования видео, содержащий:(a) энтропийный декодер, который сконфигурирован с возможностью декодирования битового потока, предназначенного для определения упомянутого видео;(b) секцию деквантования и обратного преобразования, которая сконфигурирована с возможностью деквантования и обратного преобразования упомянутого декодируемого битового потока;(c) модуль предсказания, который сконфигурирован с возможностью выборочного выполнения внутрикадрового предсказания и предсказания с компенсацией движения на основе упомянутого декодируемого битового потока;(d) буфер, содержащий сжатые данные изображения, подлежащие использованию для упомянутого внутрикадрового предсказания и предсказания с компенсацией движения, включающие в себя данные низкого разрешения и данные высокого разрешения;(e) модуль объединения, который сконфигурирован с возможностью формирования воссозданных данных изображения на основе (i) упомянутых данных предсказания, сформированных посредством упомянутого модуля предсказания, и (ii) упомянутого битового потока, подвергнутого деквантованию и обратному преобразованию, сформированному упомянутой секцией деквантования и обратного преобразования;(f) секцию устранения блочности, которая сконфигурирована с возможностью выборочного устранения блочности упомянутых воссозданных данных изображения; причем упомянутый энтропийный декодер дополнительно сконфигурирован с возможностью приема флага в упомянутом битовом потоке, причем флаг предназначен для указания режима декодирования с низким разрешением, в котором декодирование с низким разрешением возможно, или режима декодирования с высоким разрешением, в котором декодирование с низким разрешением невозможно,причем буфер сконфигурирован с возможностью сохранения данных изображения низкого разрешения без данных изображения высокого разрешения, когда флаг указывает режим декодирования с низким разрешением. 2. Декодер по п.1, в котором упомянутый модуль предсказания сконфигурирован с возможностью работы в позициях пикселей низкого разрешения с использованием только данных низкого разрешения,когда упомянутый флаг указывает упомянутый режим декодирования с низким разрешением. 3. Декодер по п.2, в котором упомянутый модуль предсказания сконфигурирован с возможностью работы в позициях пикселей высокого разрешения с использованием данных низкого разрешения и интерполированных данных высокого разрешения из упомянутых данных низкого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с низким разрешением. 4. Декодер по п.1, в котором упомянутый модуль предсказания сконфигурирован с возможностью работы в позициях пикселей высокого разрешения с использованием данных высокого разрешения, когда упомянутый флаг указывает режим декодирования с высоким разрешением. 5. Декодер по п.1, в котором упомянутые данные низкого разрешения являются независимыми от упомянутых данных высокого разрешения, причем декодер сконфигурирован с возможностью использования только данных низкого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с низким разрешением, и причем декодер сконфигурирован с возможностью использования как упомянутых данных низкого разрешения, так и упомянутых данных высокого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с высоким разрешением. 6. Декодер по п.1, в котором упомянутая секция устранения блочности сконфигурирована с возможностью использования только воссозданных данных изображения в позициях пикселей низкого разрешения для устранения блочности упомянутых воссозданных данных изображения в упомянутых позициях пикселей низкого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с низким разрешением. 7. Декодер по п.6, в котором упомянутая секция устранения блочности сконфигурирована с возможностью также использовать интерполированные данные изображения в позициях пикселей высокого разрешения для устранения блочности упомянутых воссозданных данных изображения в упомянутых позициях пикселей высокого разрешения, когда упомянутый флаг указывает упомянутый режим декодирования с низким разрешением. 8. Декодер по п.1, в котором упомянутая секция устранения блочности сконфигурирована с возможностью использования воссозданных данных изображения в позициях пикселей высокого разрешения для устранения блочности упомянутых воссозданных данных изображения в упомянутых позициях пикселей высокого разрешения, когда упомянутый флаг указывает режим декодирования с высоким разрешением. 9. Декодер по п.3, в котором модуль предсказания сконфигурирован с возможностью предсказания упомянутых интерполированных данных изображения в позициях пикселей высокого разрешения посредством линейного предсказания исходя из упомянутых данных низкого разрешения. 10. Декодер по п.7, в котором модуль объединения сконфигурирован с возможностью формирования упомянутых воссозданных данных изображения в упомянутых позициях пикселей высокого разрешения посредством линейного предсказания исходя из упомянутых воссозданных данных изображения в упомянутых позициях пикселей низкого разрешения.

МПК / Метки

МПК: H04N 7/32

Метки: использованием, данных, сокращения, потребления, разрешения, энергии, низкого, разрешении, видеодекодер, низком

Код ссылки

<a href="https://eas.patents.su/12-24279-videodekoder-dlya-sokrashheniya-potrebleniya-energii-pri-nizkom-razreshenii-s-ispolzovaniem-dannyh-nizkogo-razresheniya.html" rel="bookmark" title="База патентов Евразийского Союза">Видеодекодер для сокращения потребления энергии при низком разрешении с использованием данных низкого разрешения</a>

Похожие патенты