Google создала переводчик для общения с дельфинами через смартфон

DolphinGemma, языковая модель с 400 миллионами параметров, помогает ученым исследовать, как общаются дельфины и что могут означать их звуки. Модель создана на основе базы данных Wild Dolphin Project, который с 1985 года изучает атлантических пятнистых дельфинов на Багамах.

Wild Dolphin Project наблюдает за естественной коммуникацией дельфинов под водой, связывая звуки с поведением, что невозможно при наблюдении с поверхности. Исследователи классифицировали звуки, такие как уникальные свистки для воссоединения матерей и детенышей, визги во время драк и жужжания, связанные с ухаживанием или преследованием акул.

Основанная на моделях Gemma и Gemini, DolphinGemma работает как система «аудио-вход, аудио-выход»: она выявляет закономерности в звуках дельфинов и предсказывает вероятные последовательности, подобно тому, как языковые модели предсказывают слова. С помощью технологии Google SoundStream для обработки звука она достаточно компактна, чтобы работать на смартфонах Pixel, используемых в полевых исследованиях.

Параллельно Wild Dolphin Project и Технологический институт Джорджии разработали CHAT, носимый подводный компьютер для создания общего словаря с дельфинами. Вместо расшифровки сложных природных звуков CHAT использует синтетические свистки, связанные с объектами, которые нравятся дельфинам.

Исследователи надеются, что дельфины будут имитировать свистки, чтобы запрашивать эти предметы, так возникнет подобие диалога. CHAT должен улавливать имитацию в шумной океанской среде, определять свистки в реальном времени, уведомлять исследователей через наушники и позволять быстро реагировать, чтобы укрепить ассоциации животных.

Способность DolphinGemma предсказывать звуки помогает CHAT распознавать имитацию на ранних стадиях, ускорять реакцию и улучшать качество взаимодействия с дельфинами. Google планирует сделать DolphinGemma открытой моделью этим летом. Это поможет адаптировать модель для других китообразных.