Как работает интерактивное программное обеспечение

В любом интерактивном комплекте работают три участника, и у каждого своя роль. Проектор — это глаза наоборот: он ничего не видит, а только показывает. Он выводит на стену, пол или песок картинку игры, которую ему отдаёт компьютер. Камера — настоящие глаза комплекта: она направлена на зону, где происходит игра, и передаёт компьютеру то, что в этой зоне видно. Программа — мозг: она получает изображение с камеры, решает, что в нём изменилось, и обновляет игру.

Именно так описано в нашей инструкции для стены «Бросалки»: проектор показывает игру на стену; камера висит над экраном и смотрит вниз, на область у стены, — там происходит обнаружение бросков; дети бросают мячи в экран. Три участника связаны друг с другом через компьютер, и если один из них не настроен, цепочка рвётся: например, камера смотрит не туда, и игра «не слышит» ударов.

Подробнее о самой программе — какие в неё входят игры, как она запускается и что нужно хранить рядом с ней — мы написали на странице «ПО для интерактивного оборудования».

Слово «видит» здесь нужно понимать без магии. Камера передаёт компьютеру изображение зоны, а программа анализирует изображение: если что-то в зоне изменилось, значит, там было движение. Мяч, летящий в стену, рука, шаг на полу — всё это изменения картинки.

Чтобы программа искала движение именно там, где нужно, пользователь задаёт область обнаружения. В инструкции для «Бросалок» это красная линия и красный квадрат: их положение настраивают так, чтобы квадрат оказался перед экраном, там, где летят мячи. Область должна занимать зону перед экраном, а не сам экран: иначе игра будет засчитывать тени. Настройки обнаружения проходят за несколько шагов, и после них камеру двигать не нужно.

Для пола и стены в настройках есть и другие вещи: можно выбрать камеру из списка, задать тип игр — «Мяч», «Прыжки / AR» или «Рисование», подправить яркость, контраст, размытие и размер. Всё это нужно для того, чтобы программа отличала настоящее движение от помех.

Это самая интересная часть. Проектор светит на ту самую поверхность, на которую смотрит камера. Значит, сама картинка игры, меняясь, тоже меняет то, что видит камера. Если бы программа реагировала на любое изменение, игра принимала бы за движение собственную анимацию и «играла сама с собой».

Чтобы этого не происходило, в настройках есть режим «Игнорировать проекцию». Он помогает программе не принимать картинку проектора за движение детей. Если игра всё равно срабатывает сама, в наших инструкциях рекомендуется уменьшить яркость, увеличить размер, включить защиту от проекции и сузить рамку зоны до самой картинки. Такая настройка делается один раз и сохраняется для всех игр.

Проверка проста: бросьте мяч в картинку и убедитесь, что срабатывает только место удара.

Второй важный шаг — рамка зоны. Это прямоугольник, который показывает программе, где на изображении камеры находится игровая картинка. Если рамка шире картинки, лишние движения вокруг экрана будут засчитываться; если уже — часть картинки будет «мёртвой». Поэтому углы рамки тянут так, чтобы она точно совпадала с картинкой на стене или полу.

Клавиша Esc показывает изображение камеры и рамку, клавиша 1 позволяет двигать углы. На экране камеры видно, что именно «видит» программа, и сразу понятно, где мешает блик, а где нужно сдвинуть область. Это экономит время при настройке.

Соберём всю цепочку на примере одного броска. Игра на стене рисует мишень. Ребёнок бросает мяч. Мяч попадает в зону, которую смотрит камера. Камера передаёт кадр, где в области появился новый предмет. Программа анализирует кадр, определяет место изменения и сопоставляет его с мишенью на экране. Если места совпали, игра засчитывает попадание и показывает результат на экране. Затем проектор показывает уже обновлённую картинку, и цикл начинается заново.

Все эти шаги происходят одновременно и непрерывно, пока идёт раунд. Для ребёнка это выглядит просто: бросил — попал. Для взрослого, который настраивает комплект, важно, чтобы каждое звено цепочки было настроено.

На полу цепочка та же, только проектор светит на пол, а камера направлена на игровую зону на полу. Шаг ребёнка — это изменение картинки в области пола. Игра «Сложение до 10», например, показывает на полу пример, а ответом служит шаг на нужную цифру. «Алфавит по порядку» просит шагать по буквам. Программа определяет, на какой цифре или букве оказалась нога, и засчитывает ответ.

Подробнее о том, как это устроено именно для пола и для стены, мы пишем на отдельных страницах: «Как работает интерактивный пол» и «Как работает интерактивная стена». А выбор подходящих игр — на страницах программа для детского сада и программа для школы.

Не все игры реагируют на мяч или шаг. В «Оживших рисунках» камера смотрит на лист бумаги. Ребёнок раскрашивает рисунок, на листе есть QR-маркер, и камера считывает рисунок, а программа оживляет героя в анимированной сцене в тех же цветах. Чтобы это сработало, в инструкции указано: лист кладите ровно, без загибов и теней, раскрашивайте маркерами и фломастерами, QR-маркер должен быть полностью в кадре и не закрыт рукой, камера смотрит строго вниз.

Это тот же принцип: камера передаёт изображение, программа его разбирает и показывает результат через проектор. Только вместо поиска движения программа ищет рисунок и маркер. Цвета можно подогнать в «Настройках QR», если макет «съехал» относительно листа, а скорость героев регулируют клавиши Shift+ и Shift−.

В интерактивной песочнице вместо обычной камеры используется Kinect — датчик, который видит рельеф песка. Проектор рисует на песке горы, реки и острова; двигаете песок — меняется карта. Чтобы проекция совпала с песком, нужна калибровка: программа показывает на песке шахматный узор и сопоставляет то, что видит датчик, с тем, что показывает проектор.

Инструкция описывает семь шагов, среди которых — задать область песка, запустить автокалибровку, накрыть песочницу крышкой, проверить, что все пункты статуса зелёные, снять крышку и нажать «Старт». После калибровки Kinect и проектор двигать нельзя — иначе её придётся повторять. Подробнее — в инструкции по песочнице.

В инструкциях по настройке много внимания уделено простым бытовым вещам, и это не случайно: от них зависит, насколько точно камера читает зону. Первое — свет. Если в комнате очень светло, в настройках чуть повышают контраст и уменьшают яркость, а блики и тени стараются убрать. Второе — порядок включения: камеру подключают до запуска программы, а проектор — вторым экраном, после чего окно игры переносят на проектор и включают полный экран.

Третье — стабильность. После настройки камеру не двигают, потому что вся область обнаружения привязана к её положению. Четвёртое — внимание к пустому экрану: если программа показывает пустое окно, значит, её скопировали без папок с картинками, видео и звуками. Эти четыре мелочи стоит проверить в первую очередь. Если вопрос остался, пишите: мы поможем разобраться.

Из всего сказанного следует простая мысль: интерактивная игра — это не только красивая картинка, но и настроенная цепочка «проектор — камера — программа». Хорошая настройка делает игру точной: бросок засчитывается там, где мяч коснулся экрана, а не там, где упала тень. Плохая — приводит к тому, что игра срабатывает сама или не замечает детей.

К счастью, настройка выполняется один раз и описана пошагово: мы публикуем инструкции с картинками, а при вопросах помогаем лично. Мы работаем с 2009 года; гарантия на комплект — 12 месяцев. Оставьте заявку или напишите в WhatsApp, телефон 8 925 665-92-93.

Где купить или арендовать оборудование: интерактивная стена, интерактивный пол. Общий обзор технологий — на странице «Технологии», а полный перечень программных разделов — «Интерактивные программы».