Дапамажыце dev.by 🤍
Падтрымаць

Airbnb открыла код платформы обработки данных

Пакінуць каментарый
Airbnb открыла код платформы обработки данных

Как правило, для работы с кодом используются наборы формализованных правил, обеспечивающих порядок, близкий к идеальному. В то же время результаты анализа данных зачастую скапливаются в наборе презентаций, электронных писем и документов Google Docs. В Airbnb решили положить конец этому безобразию, создав внутренний репозиторий знаний, который недавно стал доступен всем желающим, пишет Computerworld.

Читать далее

Иллюстрация: Airbnb

В проекте объединены возможности контроля версий с помощью git и шаблоны фреймворка для работы с данными Markdown, через который осуществляется возможность вывода информации в разных форматах. Markdown создан для работы с языком программирования R, но также поддерживает и Python.

Именно Python используется во фреймворке от Airbnb. Продукт поддерживает записи в нескольких форматах: Jupyter notebooks, файлы Rmarkdown или «чистый» Markdown.

В начале каждого файла размещён небольшой объём мета-данных. Python-скрипт проверяет корректность данных и преобразует данные в текстовый файл на основе синтаксиса Markdown (для проверки актуальности используют систему пулл-реквестов GitHub). Наконец, веб-приложение на Flask форматирует данные в виде блог-записи.

Проект предлагает различные инструменты использования массивов данных, но акцент делается на notebook-формат (R Markdown и Jupyter/iPython Notebook) для того, чтобы популяризовать «воспроизводимые исследования».

Создатели репозитория данных просят всех заинтересованных помочь в работе над продуктом.

Чытайце таксама
Технодайджест
Технодайджест
Технодайджест
Американские учёные оживили свинью через час после смерти
Американские учёные оживили свинью через час после смерти
Американские учёные оживили свинью через час после смерти
1 каментарый
Беларусь занимает 3 место в мире по стоимости широкополосного интернета, 58-е — по стоимости мобильного трафика
Беларусь занимает 3 место в мире по стоимости широкополосного интернета, 58-е — по стоимости мобильного трафика
Беларусь занимает 3 место в мире по стоимости широкополосного интернета, 58-е — по стоимости мобильного трафика
1 каментарый
Исследователи взломали мозг мух и управляли ими дистанционно
Исследователи взломали мозг мух и управляли ими дистанционно
Исследователи взломали мозг мух и управляли ими дистанционно
1 каментарый

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Абмеркаванне
Каментуйце без абмежаванняў

Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.

Каментарыяў пакуль няма.