Команда дослідників із Університету науки і технологій Китаю представила нейромережу нового покоління — Ev-DeblurVSR, яка об’єднує подієві сигнали з традиційними відеокадрами, відкриваючи нові можливості в покращенні розмитих відео. Ця розробка вже викликає захоплення у спільноти комп’ютерного зору, оскільки дозволяє досягти високої чіткості та деталізації навіть у складних умовах освітлення чи руху.
Інноваційний підхід: події + відео
Традиційні методи відеообробки зазвичай покладаються лише на кадри відео. Натомість Ev-DeblurVSR використовує також подієві дані — сигнали, згенеровані спеціальними сенсорами, які реагують лише на зміни в сцені. Такі сенсори дозволяють отримувати надшвидку інформацію про рух об’єктів, що ідеально підходить для обробки розмитих відео.
Як працює Ev-DeblurVSR?
Мережа поєднує два ключові компоненти:
- RFD (Reblur Feature Distillation) — модуль, який дозволяє покращити якість кадрів завдяки глибокій взаємодії між інформацією з подій і відеокадрів. Він одночасно уточнює подієві сигнали за допомогою контексту відео і навпаки.
- HDA (Hybrid Deformable Alignment) — гібридний модуль деформованого вирівнювання, який ефективно вирівнює відеокадри, враховуючи як оптичний потік, так і подієві зміни. Це дозволяє уникати типових артефактів при відновленні руху.
Вражаючі результати
Ev-DeblurVSR вже продемонстрував переваги над попередніми моделями:
- +2.59 дБ покращення PSNR (якісного показника відновлення) на реальних даних.
- 7.28-кратне пришвидшення обробки, що дозволяє використовувати модель у режимі реального часу.
- Чітке відновлення навіть при сильному розмитті або обмеженій освітленості.
Ці досягнення роблять Ev-DeblurVSR ідеальним рішенням для таких сфер, як відеоспостереження, автономні автомобілі, робототехніка, кіноіндустрія та телемедицина.
Відкритий код і наукова публікація
Розробники зробили модель загальнодоступною:
🔗 GitHub: https://github.com/DachunKai/Ev-DeblurVSR
📄 Наукова стаття: https://arxiv.org/abs/2504.13042
Цей відкритий доступ сприяє розвитку досліджень і дозволяє розробникам інтегрувати Ev-DeblurVSR у власні проєкти.
Перспективи та значення
Ev-DeblurVSR — це не просто ще одна нейромережа, а новий стандарт у відновленні відео, який демонструє, як поєднання різних типів даних може дати проривні результати. У майбутньому подібні гібридні методи можуть повністю змінити підходи до обробки зображень і відео.