Hadoop

На пути к осмыслению данных

Группа компаний Arenadata провела ArenaDay 2024 — отраслевую конференцию по работе с данными.

В облаке Mail.ru Cloud Solutions появилась аналитическая база данных Arenadata DB

Одно из преимуществ нового сервиса — тесная интеграция с другими сервисами используемыми для построения озер данных: Hadoop, Spark, Airflow и Kafka.

В Казахстане стал доступен «российский» Hadoop

Специалисты DIS Group будут обеспечивать техническую поддержку решений Arenadata.

LinkedIn открывает код инструментария для работы с TensorFlow на Hadoop

Система Tony предназначена для управления заданиями глубинного обучения с помощью планировщика заданий YARN в кластерах на базе Hadoop.

В Hortonworks подготовили новую версию Apache Hadoop корпоративного класса

Особенностью HDP 3.0 стала оптимизация для контейнеризованных рабочих нагрузок и упрощенное развертывание сложных задач глубинного обучения.

Hortonworks предложит готовые решения для data science и Интернета вещей

Такие пакеты Hortonworks состоят из систем с открытым кодом — Apache Hadoop, Spark или Metron, которые дополняются техподдержкой и профессиональными услугами для содействия в решении конкретных задач.

Машинное обучение на практике: взгляд изнутри

ИТ-руководители крупных компаний поделились опытом применения искусственного интеллекта и машнного обучения с целью получения ценных для бизнеса сведений и создания новых сервисов, а также дали рекомендации тем, кто хотел бы задействовать искусственный интеллект в своих ИТ-стратегиях

Универсальная платформа обработки больших данных

На российском рынке остро ощущается потребность в платформах обработки больших данных, однако почти отсутствует локальная экспертиза. Появление дистрибутива Arenadata Hadoop, сертифицированного ODPi и собранного российскими разработчиками, призвано заполнить этот пробел.

Москва цифровая

В последние годы «цифровая» составляющая столицы стремительно растет. Через портал госуслуг и мобильные сервисы горожане могу платить за коммунальные услуги и парковку, записывать ребенка в школу и на прием к врачу. О том, как проходила цифровая трансформация города до сих пор, и о планах на будущее рассказывает Андрей Белозеров, советник руководителя Департамента информационных технологий Москвы по стратегическим проектам и инновациям, возглавлявший разработку и внедрение более чем сотни информационных систем в области муниципального управления, образования, ЖКХ, транспорта и в ряде других сфер.

Озеро данных: площадка для экспериментов

ВТБ24 использует Hadoop для построения «аналитической фабрики» – недорогой площадки для оперативного исследования данных

Инструменты анализа графов

Программы поиска оптимальных маршрутов давно стали обыденностью, однако нахождение кратчайшего пути — не единственный практический результат теории графов. Сегодня имеется множество инструментов, позволяющих решать задачи графовой аналитики, каждый из которых эффективен в определенных ситуациях.

«Открытые системы» провели очередную конференцию для практиков в области Больших Данных

Значительный интерес вызвали доклады о текущем состоянии и планах развития отечественных СУБД PostgreSQL, «Линтер», «Ред База Данных» и Tarantool.

Нужно ускорить анализ? Cray поможет

Новая система Urika-GX специально предназначена для проведения итерационного и интерактивного анализа высокой степени интенсивности.

BIG DATA 2016: Большие Данные для практических задач

В Oracle считают, что использование технологий Больших Данных на крупных российских предприятиях входит в стадию зрелости.

Большие Данные как сервис — анализ без рутины

Умение хранить и анализировать данные играет для предприятий все более важную роль. Но как интегрировать работу с Большими Данными в корпоративную инфраструктуру?

Опубликован стандарт на состав ядра Hadoop — ODPi Runtime Specification

ODPi была учреждена в прошлом году в целях сдерживания фрагментации рынка Hadoop. В рамках инициативы планировалось подготовить стандарт, включив в него проверенные технологии из числа проектов Apache Software Foundation.

SAP HANA Vora прокладывает мост между традиционными хранилищами данных и Hadoop

Особенность Vora — возможность использования традиционных методов оперативной аналитической обработки и языков программирования для анализа всех доступных на предприятии данных.

Фонд Apache запустил новый проект с открытым кодом для Больших Данных

По утверждениям участников проекта Apache Arrow, он позволит увеличить производительность при решении аналитических задач в сто с лишним раз.

Hortonworks и HPE вместе работают над повышением производительности Apache Spark

Проект уже принес первые плоды: усовершенствованный механизм перестановок, ускорение сортировок и вычислений в оперативной памяти, более оптимальное использование доступной памяти и улучшение масштабируемости.

Машинное обучение для Больших Данных

Теоретические основы машинного обучения появились практически одновременно с первыми компьютерами, однако при его практическом применении всегда приходится учитывать специфику конкретных систем. Работа с Большими Данными средствами Hadoop требует инструментов адаптации алгоритмов машинного обучения к этой платформе, например с помощью механизмов из стека IBM BigInsights.

Как «приготовить» Data Quality

Качество данных становится востребованной темой в российских компаниях. Эксперт направления Data Governance «КОРУС Консалтинг» Мария Русина рассказывает о том, как добиться качественных данных.