Симфония мыслей

«Мультимодальный мозговой оркестр» (Multimodal Brain Orchestra — MBO) — это смесь науки и искусства, созданная учёными и музыкантами из университета Помпеу Фабра в Барселоне. «Мы хотели посмотреть, что может мозг без тела», — обозначают авторы проекта главную цель. В данном случае группа экспериментаторов сыграла композицию силой мысли. И обычная просьба дирижёра «сосредоточьтесь на музыке» звучала к месту.

MBO — детище лаборатории синтетических, перцептивных, эмоциональных и когнитивных систем (Synthetic Perceptive, Emotive and Cognitive Systems — SPECS). А SPECS — мультидисциплинарная команда, включающая физиков, биологов, психологов, инженеров и специалистов по компьютерной технике. Эта лаборатория изучает процессы восприятия и познания, рождения эмоций, психологические и поведенческие механизмы у человека.
Оркестр включал одного музыканта, который играл традиционным способом, четырёх так называемых мозговых музыкантов, которые управляли воспроизведением своих партий при помощи мысли (некоторые из этих людей также эпизодически брали в руки и нормальные инструменты), обычного дирижёра (его роль исполнил автор композиции — Джонатас Манцолли (Jonatas Manzolli), а также «эмоционального дирижёра», роль которого мы опишем позднее.
Четыре мозговых музыканта носили головные устройства со множеством датчиков электроэнцефалограммы (эти «мозговые шапки» и сопутствующую им электронику, снимающую показания мозговой активности, поставила оркестрантам австрийская компания Guger Technologies). Мозговые волны служили сигналом для включения того или иного звука (записанной ранее партии того или иного инструмента), а также для коррекции его громкости и модуляции.
Но ведь нужно было сделать так, чтобы композиция не просто проигрывалась с записи, а игралась людьми вживую. Как этого достигли?
У первой пары музыкантов перед глазами были установлены экраны с хаотично меняющимися строками и столбцами из букв. Исполнители должны были искать среди них заданные символы (в соответствии с ходом партии).
Когда взгляд фиксировал правильный символ, прибор ловил на электроэнцефалограмме так называемый сигнал P300 — характерный зубец, появляющийся всегда через 300 тысячных секунды после узнавания объекта. Этот знак служил сигналом к вступлению тех или иных виртуальных инструментов, звучащих с компьютера.
Другая пара исполнителей держала перед глазами ящички с четырьмя мигающими на разных частотах лампочками. По знаку дирижёра музыканты должны были сосредотачивать своё внимание на одном из огней. В это время компьютер искал в ЭЭГ характерную подпись от данного визуального стимула (так называемый потенциал SSVEP, зависящий от синхронизации мозговых волн и вспышек).
Ссылки по теме:

https://www.membrana.ru/articles/global/2009/05/06/161000.html
https://www.membrana.ru/lenta/?4459
https://www.membrana.ru/articles/global/2004/11/01/203000.html
https://www.membrana.ru/articles/inventions/2004/02/17/212800.html
https://www.membrana.ru/articles/technic/2004/08/25/232000.html
https://dvice.com/archives/2009/05/look-ma-no-hand.php
https://news.bbc.co.uk/2/hi/science/nature/8016869.stm