Hadoop

Группа компаний Arenadata провела ArenaDay 2024 — отраслевую конференцию по работе с данными.

Одно из преимуществ нового сервиса — тесная интеграция с другими сервисами используемыми для построения озер данных: Hadoop, Spark, Airflow и Kafka.

Специалисты DIS Group будут обеспечивать техническую поддержку решений Arenadata.

Система Tony предназначена для управления заданиями глубинного обучения с помощью планировщика заданий YARN в кластерах на базе Hadoop.

Особенностью HDP 3.0 стала оптимизация для контейнеризованных рабочих нагрузок и упрощенное развертывание сложных задач глубинного обучения.

Такие пакеты Hortonworks состоят из систем с открытым кодом — Apache Hadoop, Spark или Metron, которые дополняются техподдержкой и профессиональными услугами для содействия в решении конкретных задач.

ИТ-руководители крупных компаний поделились опытом применения искусственного интеллекта и машнного обучения с целью получения ценных для бизнеса сведений и создания новых сервисов, а также дали рекомендации тем, кто хотел бы задействовать искусственный интеллект в своих ИТ-стратегиях

На российском рынке остро ощущается потребность в платформах обработки больших данных, однако почти отсутствует локальная экспертиза. Появление дистрибутива Arenadata Hadoop, сертифицированного ODPi и собранного российскими разработчиками, призвано заполнить этот пробел.

В последние годы «цифровая» составляющая столицы стремительно растет. Через портал госуслуг и мобильные сервисы горожане могу платить за коммунальные услуги и парковку, записывать ребенка в школу и на прием к врачу. О том, как проходила цифровая трансформация города до сих пор, и о планах на будущее рассказывает Андрей Белозеров, советник руководителя Департамента информационных технологий Москвы по стратегическим проектам и инновациям, возглавлявший разработку и внедрение более чем сотни информационных систем в области муниципального управления, образования, ЖКХ, транспорта и в ряде других сфер.

ВТБ24 использует Hadoop для построения «аналитической фабрики» – недорогой площадки для оперативного исследования данных

Программы поиска оптимальных маршрутов давно стали обыденностью, однако нахождение кратчайшего пути — не единственный практический результат теории графов. Сегодня имеется множество инструментов, позволяющих решать задачи графовой аналитики, каждый из которых эффективен в определенных ситуациях.

Значительный интерес вызвали доклады о текущем состоянии и планах развития отечественных СУБД PostgreSQL, «Линтер», «Ред База Данных» и Tarantool.

Новая система Urika-GX специально предназначена для проведения итерационного и интерактивного анализа высокой степени интенсивности.

В Oracle считают, что использование технологий Больших Данных на крупных российских предприятиях входит в стадию зрелости.

Умение хранить и анализировать данные играет для предприятий все более важную роль. Но как интегрировать работу с Большими Данными в корпоративную инфраструктуру?

ODPi была учреждена в прошлом году в целях сдерживания фрагментации рынка Hadoop. В рамках инициативы планировалось подготовить стандарт, включив в него проверенные технологии из числа проектов Apache Software Foundation.

Особенность Vora — возможность использования традиционных методов оперативной аналитической обработки и языков программирования для анализа всех доступных на предприятии данных.

По утверждениям участников проекта Apache Arrow, он позволит увеличить производительность при решении аналитических задач в сто с лишним раз.

Проект уже принес первые плоды: усовершенствованный механизм перестановок, ускорение сортировок и вычислений в оперативной памяти, более оптимальное использование доступной памяти и улучшение масштабируемости.

Теоретические основы машинного обучения появились практически одновременно с первыми компьютерами, однако при его практическом применении всегда приходится учитывать специфику конкретных систем. Работа с Большими Данными средствами Hadoop требует инструментов адаптации алгоритмов машинного обучения к этой платформе, например с помощью механизмов из стека IBM BigInsights.