Разметка данных – это процесс перевода сырой информации на язык, понятный алгоритмам машинного обучения. Вы берете массив данных, находите в нем нужные объекты и вешаете на них ярлыки. Нейросеть изучает тысячи таких ярлыков, находит закономерности и учится самостоятельно распознавать аналогичные объекты в будущем. Без качественной разметки создать работающий искусственный интеллект невозможно: модель будет выдавать ровно то, чему ее научили на этапе подготовки данных.
| Что разберем | Что это даст |
| Как устроен процесс разметки на практике | Поймете логику подготовки данных и перестанете ждать от нейросетей магии |
| Какие форматы разметки существуют | Сможете правильно сформулировать задачу для своего проекта |
| Кому поручить работу: краудсорсинг, инхаус или аутсорс | Выберете исполнителей так, чтобы не слить бюджет и сроки |
| Как составить инструкцию и избежать типовых ошибок | Получите чистый датасет, который не испортит вашу модель |
Как работает разметка: базовый алгоритм
Чтобы нейросеть научилась отличать паспорт РФ от СНИЛС, ей нельзя просто загрузить папку с документами. Процесс строится иначе:
- Сбор сырых данных. Вы собираете тысячи фотографий паспортов и СНИЛС в разных условиях: при плохом свете, под углом, с бликами.
- Создание инструкции. Вы прописываете правила: что считать паспортом, нужно ли выделять обложку, что делать, если документ перекрыт пальцем.
- Непосредственно разметка. Человек смотрит на фото и выделяет документ рамкой, присваивая ему класс «passport» или «snils».
- Контроль качества. Проверяющий или автоматический алгоритм отсеивает ошибки и бракованные фото.
- Обучение. Размеченный массив (датасет) скармливается модели.
Основные виды разметки
Выбор метода зависит от того, с каким типом данных вы работаете и какую задачу должна решать итоговая модель.
Разметка изображений и видео (Компьютерное зрение)
Применяется для создания систем видеонаблюдения, беспилотников, контроля брака на производстве и распознавания документов.
- Классификация. Самый простой тип. Нужно ответить на вопрос: что на картинке? Пример: модерация объявлений на Авито (есть ли на фото запрещенные товары).
- Ограничивающие рамки (Bounding Boxes). Выделение объекта прямоугольником. Пример: выделение автомобилей и пешеходов на кадрах с видеорегистратора.
- Полигоны. Точное обведение объекта по контуру сложной фигурой. Пример: выделение опухоли на рентгеновском снимке. Рамка здесь не подойдет, так как захватит много здоровой ткани.
- Ключевые точки. Расстановка точек на специфических частях объекта. Пример: точки на глазах, носу и губах для работы FaceID или масок в соцсетях.
Разметка текста (NLP)
Нужна для создания чат-ботов, голосовых помощников, систем анализа отзывов и умного поиска.
- Анализ тональности. Определение эмоции текста (позитив, негатив, нейтрально). Пример: автоматическая сортировка отзывов на Wildberries.
- Выделение сущностей (NER). Поиск в сплошном тексте имен, адресов, названий компаний, сумм и дат. Пример: извлечение ФИО и суммы иска из судебного решения.
- Классификация интентов (намерений). Определение того, чего на самом деле хочет пользователь. Пример: маршрутизация обращений в техподдержку (запрос «где деньги» отправляется в финотдел, а «забыл пароль» – боту-помощнику).
Разметка аудио
Используется для речевой аналитики и создания систем распознавания голоса.
- Транскрибация. Точный перевод аудио в текст с сохранением пауз, междометий и оговорок.
- Диаризация. Разделение аудиодорожки по спикерам («говорит оператор», «говорит клиент»).
Кто должен размечать данные: выбор исполнителя
Собрать и разметить 100 фотографий можно самому. Разметить 100 000 фотографий силами разработчиков – значит потратить миллионы рублей впустую. Для масштабных задач есть четыре пути.
1. Краудсорсинг (Яндекс Задания, Толока и аналоги)
Вы выкладываете задачу на платформу, где ее за небольшие деньги выполняют тысячи неквалифицированных исполнителей.
- Когда подходит: задачи простые, не требуют экспертизы, объем данных огромный, бюджет ограничен. Отлично работает для модерации картинок, базовой классификации текстов, записи коротких аудио.
- Когда не подходит: данные содержат коммерческую тайну, персональные данные клиентов или требуют узких знаний (например, разметка медицинских снимков или юридических договоров).
2. Инхаус-команда (свои сотрудники)
Вы нанимаете штат разметчиков (асессоров) в компанию или поручаете работу текущим специалистам.
- Когда подходит: строгие требования к безопасности (NDA), сложная доменная область, постоянная потребность в разметке новых данных.
- Ограничения: дорого, долго масштабировать команду при резком росте объема данных.
3. Профессиональный аутсорс (B2B-услуги)
Вы отдаете задачу компании, которая специализируется на разметке. Они сами пишут инструкции, управляют людьми и отвечают за качество.
- Когда подходит: нужен гарантированный результат «под ключ», нет времени настраивать процессы внутри, но данные слишком сложные для простого краудсорсинга.
- Ограничения: стоимость выше, чем у краудсорсинга; требуется время на погружение подрядчика в специфику вашего бизнеса.
4. Авторазметка (AI помогает AI)
Использование уже обученных мощных нейросетей для предварительной разметки ваших данных. Человеку остается только проверить и поправить ошибки.
- Когда подходит: нужно ускорить процесс в 2-3 раза.
- Ограничения: авторазметка переносит свои ошибки в ваш датасет. Если человек-проверяющий будет работать невнимательно, ваша модель научится чужим галлюцинациям.
Как составить инструкцию для разметчиков
Главная причина провала ML-проектов – плохие инструкции. Если два человека читают инструкцию и размечают один и тот же объект по-разному, нейросеть не обучится.
1. Опишите граничные случаи (Edge Cases).
Недостаточно показать идеальный пример. Вы должны указать, что делать в спорных ситуациях. Если задача – выделять автомобили, напишите:
- Нужно ли выделять машину, если она видна только наполовину?
- Считаются ли автомобилем игрушечные машинки на детской площадке?
- Выделять ли автомобили, отраженные в витрине?
2. Избегайте категории «Другое» без жестких рамок.
Если вы даете разметчику варианты «Положительный отзыв», «Негативный отзыв» и «Другое», весь сложный контекст (сарказм, смешанные чувства, спам) полетит в «Другое». Разбейте эту категорию на конкретные классы или дайте четкий список того, что туда попадает.
3. Проведите тестовый прогон.
Никогда не запускайте всю базу данных в разметку сразу. Дайте тестовую партию из 100 заданий трем разным людям. Вы увидите, где они ошибаются, и сможете дополнить инструкцию до того, как сольете бюджет.
Частые ошибки при организации разметки
Отсутствие перекрытия (Overlap).
Ошибка: дать одну картинку только одному человеку. Если он ошибется, ошибка уйдет в датасет.
Решение: используйте перекрытие. Одно и то же задание дают трем разным разметчикам. Система принимает ответ, который совпал у большинства (консенсус).
Несбалансированный датасет.
Ошибка: загрузить для обучения 9000 фото кошек и 1000 фото собак. Модель быстро поймет, что если всегда отвечать «кошка», точность будет 90%. Она перестанет искать признаки собак.
Решение: классы в обучающей выборке должны быть представлены примерно в равных пропорциях. Если редких данных мало, их нужно искусственно размножить (аугментация) или собрать дополнительно.
Игнорирование «золотого сета» (ханипотов).
Ошибка: верить разметчикам на слово. В краудсорсинге многие кликают наугад ради скорости.
Решение: подмешивайте в массив заданий контрольные примеры, правильный ответ на которые вы уже знаете. Если исполнитель часто ошибается в контрольных заданиях, система должна автоматически блокировать его и браковать все его ответы.
Ограничения: когда разметка не спасет
Иногда проблема не в качестве разметки, а в самой природе данных.
- Смещение данных (Data Drift). Вы идеально разметили датасет спам-писем за 2023 год и обучили модель. В 2024 году спамеры изменили тактику, начали использовать новые слова и форматы. Модель перестанет работать, потому что реальность изменилась. Разметку придется делать заново на свежих данных.
- Субъективность экспертов. В некоторых задачах даже профессионалы не могут прийти к единому мнению. Например, при разметке снимков УЗИ два врача могут разойтись в диагнозе. Если нет объективного критерия истины, модель не сможет дать 100% точность – она усреднит мнения разметчиков.
Коротко о главном
- Разметка – это процесс создания примеров, на которых учится нейросеть.
- Качество модели напрямую зависит от качества и разнообразия размеченных данных (принцип «мусор на входе – мусор на выходе»).
- Для простых массовых задач дешевле использовать краудсорсинг (Яндекс Задания). Для конфиденциальных или узкоспециализированных – нанимать людей в штат.
- Инструкция для разметчиков должна закрывать все спорные и неочевидные ситуации, иначе каждый будет размечать так, как понял сам.
- Обязательно используйте перекрытие (мнение нескольких человек на одну задачу) и контрольные задания для защиты от кликфрода и человеческого фактора.