Когда нейросеть обрабатывает видео, она не видит людей в привычном смысле. Для нее кадр – это просто набор пикселей разного цвета. Чтобы отделить одного человека от другого, вырезать фон, применить эффект или подсчитать посетителей, алгоритм должен каждую долю секунды вычислять границы объектов. Понимание того, по каким признакам ИИ проводит эту границу, помогает заранее избегать брака при съемке, правильно настраивать камеры наблюдения и выбирать подходящие инструменты для монтажа.
Алгоритмы не обладают здравым смыслом. Они опираются на математические вероятности, контраст и обученные шаблоны. Если в кадре происходят события, нарушающие эти шаблоны, нейросеть начинает “слепнуть”: сливает двух людей в одного, отрезает руки или путает персонажей местами.
| Что разберем | Что это даст |
| Механику разделения людей в кадре | Поймете логику ИИ и перестанете требовать от него невозможного |
| Типичные ошибки нейросетей | Узнаете, из-за чего контуры “плывут” и как этого избежать |
| Правила подготовки видео для обработки | Снизите количество ручных правок и брака при автоматическом монтаже |
Как ИИ определяет границы человека
Чтобы понять, где заканчивается один человек и начинается другой, современные нейросети используют трехэтапный процесс. Если на одном из этапов алгоритму не хватает данных, итоговый результат получается с браком.
Этап 1: Обнаружение (Object Detection)
Сначала ИИ вообще не ищет точные границы. Он ищет “якоря” – характерные паттерны пикселей, которые похожи на голову, плечи или силуэт. Найдя такой паттерн, алгоритм рисует вокруг него невидимый прямоугольник (bounding box). Если два человека стоят близко, алгоритм нарисует два пересекающихся прямоугольника. Основной критерий здесь – наличие лиц и общих пропорций тела.
Этап 2: Экземплярная сегментация (Instance Segmentation)
Внутри каждого прямоугольника ИИ начинает попиксельный анализ. Его задача – решить, относится ли конкретный пиксель к “Человеку А”, к “Человеку Б” или к фону. Алгоритм принимает решение на основе:
- Цветового контраста: где заканчивается черная куртка и начинается белая стена.
- Текстуры: ткань одежды отличается от текстуры кожи или асфальта.
- Анатомических шаблонов: ИИ “знает”, что рука должна крепиться к плечу. Если алгоритм видит кисть руки, он попытается соединить ее с ближайшим телом, опираясь на цвет рукава.
Этап 3: Трекинг и присвоение ID
В видео кадры сменяются. Чтобы в следующую секунду ИИ не перепутал людей местами, он использует трекинг. Нейросеть запоминает направление движения каждого прямоугольника и карту цветов одежды (гистограмму). Если “Человек А” в красном свитере идет вправо, на следующем кадре ИИ будет искать красное пятно чуть правее.
Точки провала: когда ИИ склеивает людей
Алгоритмы ошибаются в строго определенных ситуациях. Если вы знаете эти уязвимости, вы можете изменить условия съемки или выбрать другой метод обработки.
Одинаковая одежда и перекрытие (Occlusion)
В чем проблема: Два человека в темных куртках идут в толпе, плечо одного перекрывает плечо другого. ИИ не видит контрастной границы.
К чему приводит: Нейросеть объединяет их в один большой объект. Если это система аналитики магазина, она посчитает двух покупателей как одного. Если это программа для удаления фона на видео, между людьми останется кусок невырезанного фона.
Как избежать: Если вы снимаете постановочное видео под обтравку нейросетью, одевайте героев в контрастную одежду. Если это камера наблюдения, поднимайте ее выше, чтобы люди не перекрывали друг друга по горизонтали.
Динамичное взаимодействие (объятия, драки, танцы)
В чем проблема: Анатомический шаблон ломается. ИИ видит четыре руки, две головы и переплетенные ноги, но не может понять, какая конечность кому принадлежит.
К чему приводит: Отсечение конечностей. При наложении маски (например, размытии фона) рука одного человека, лежащая на плече другого, может быть распознана как фон и размыта.
Как избежать: Автоматические инструменты здесь не справятся. Для парных танцев или тесного контакта потребуется ручная корректировка масок (ротоскопинг) или использование специализированных ИИ-моделей для оценки поз (Pose Estimation), которые строят “скелеты” людей перед выделением контура.
Размытие в движении (Motion Blur)
В чем проблема: При быстром движении (взмах рукой, бег) или долгой выдержке камеры контуры объекта смазываются. Граница между рукой и фоном становится градиентной, полупрозрачной.
К чему приводит: ИИ не находит четкого края и обрезает руку по жесткой линии, оставляя вокруг “грязный” ореол, либо вообще игнорирует быстро движущуюся часть тела.
Как избежать: Снимать с короткой выдержкой (shutter speed). Для ИИ-обработки видео всегда лучше иметь четкий, слегка стробящий кадр без смаза, чем кинематографичный motion blur.
Ограничения и неочевидные случаи
Существуют физические и оптические ограничения, при которых даже самая продвинутая нейросеть даст сбой. В этих случаях надеяться на автоматику опасно.
- Зеркала и стеклянные витрины. ИИ распознает отражение человека как реального второго человека. Если алгоритм должен отделить людей на видео из торгового центра, он начнет вырезать отражения в витринах. Потребуется предварительно задать ИИ “слепые зоны” в кадре.
- Тонкие и полупрозрачные детали. Фата для невесты, спицы зонта, распущенные волосы на ветру. ИИ работает с блоками пикселей. Он либо оставит фон между волосами, либо обрежет волосы “шлемом”. Для таких задач базовые ИИ не подходят, нужны алгоритмы Alpha Matting, которые умеют просчитывать степень прозрачности каждого пикселя.
- Жесткие тени. Если в солнечный день тень от одного человека падает на другого, глупый алгоритм может принять темное пятно тени за границу тела. Результат – рваные края маски при движении.
Как подготовить видео для идеальной работы ИИ
Если ваша задача – автоматическое удаление фона, наложение эффектов или трекинг людей на видео, соблюдайте технические правила на этапе производства. Это сэкономит часы на постобработке.
1. Обеспечьте контурный контраст
ИИ нужен контраст не только по цвету, но и по свету. Используйте контровой свет (backlight), чтобы подсветить силуэты людей сзади. Тонкая светлая линия по контуру плеч и головы – это идеальный маркер для нейросети, который железно отделит человека от человека и от фона.
2. Избегайте “шумных” фонов в цвет одежды
Если человек в пестрой рубашке стоит на фоне стеллажа с книгами, алгоритм будет постоянно терять границу плеча при малейшем движении. Делайте фон однородным или уводите его в расфокус с помощью оптики. Натуральное оптическое размытие фона (боке) помогает ИИ мгновенно понять, где передний план, а где задний.
3. Отключите автофокус на камере
Если камера постоянно “дышит” (перестраивает фокус между двумя людьми), резкость контуров будет меняться каждую секунду. ИИ потеряет стабильность, и маски начнут мерцать. Фокус должен быть зафиксирован вручную.
Выбор подхода под задачу
Не существует одного универсального ИИ. В зависимости от того, зачем вам нужно разделять людей, выбираются разные технологии.
| Ваша задача | Какой тип алгоритма нужен | Что критично для результата |
| Подсчет людей на мероприятии или в магазине | Object Detection + Tracking (например, YOLO) | Высокая точка съемки, чтобы люди не перекрывали друг друга. Красота контура не важна. |
| Замена фона на видео, подкасты, блоги | Instance Segmentation (например, Segment Anything) | Резкость границ, отсутствие смаза (motion blur), хороший контровой свет. |
| Анализ движений, спорт, танцы | Pose Estimation | Полная видимость суставов в кадре. Алгоритм ищет не контур, а точки скелета. |
Если вы монтируете видео в современных редакторах, алгоритмы сегментации там уже встроены. Но если вы видите, что программа “рвет” человека на части или склеивает с соседом, проблема не в том, что программа сломалась. Проблема в том, что в конкретном кадре нарушено одно из математических правил: пропал контраст, произошло перекрытие или смазались пиксели. Исправить это можно либо покадровой ручной отрисовкой, либо пересъемкой с учетом описанных ограничений.
