#субд

Переход из Oracle в Postgres Pro: не просто смена СУБД, а сдвиг подхода. Интервью с Марком Ривкиным

Давно не было обстоятельных интервью, тем более с таким корифеем отечественной СУБД‑разработки. В 2022 году в Postgres Professional перешла команда специалистов по Oracle, включая Марка Ривкина, который занял позицию руководителя отдела технического консалтинга. Вместе с командой он занялся адаптацией продуктов под требования крупных корпоративных заказчиков и доработкой функциональности Postgres Pro — в первую очередь для тех, кто планирует миграцию с проприетарных СУБД. В интервью для Хабра Марк рассказал, с какими задачами столкнулись на старте, какие функции пришлось внедрять в первую очередь, как выстроена работа с разработкой и сообществом, и в чём сегодня Postgres Pro реально может заменить Oracle, а в чём — пока нет. Поговорили и про ИИ в администрировании, и про перспективы российских форков PostgreSQL, и даже о том, что бы он заложил в архитектуру, если бы проектировал СУБД с нуля. Приятного чтения!

https://habr.com/ru/articles/900840/

#марк_ривкин #субд #oracle #oracle_database #postgres_professional #postgresql #postgres_pro

Уже через год мы будем общаться с базами данных по-русски

По прогнозу Gartner, запросы на естественном языке вытеснят SQL уже в 2026 году. Возможно, прогноз Gartner чересчур оптимистичный, но если они и ошибаются, то только в сроках — сам переход на естественный язык в работе с БД неизбежен.

https://habr.com/ru/companies/postgrespro/articles/895436/

#sql #исскуственный_интеллект #субд #генерация_sql

Эволюция Redis в Valkey 8.0: разбираем архитектурные изменения с точки зрения производительности

В сентябре 2024 года вышел релиз Valkey 8.0 — это key-value-хранилище также часто называют BSD-клоном Redis. В отличие от Redis, Valkey изначально создавался как опенсорс-проект. У него нет энтерпрайз-версии, а значит, развитие не сдерживается коммерческими ограничениями. Весной 2024 года, когда началась активная работа над форком, команда разработчиков смогла принять и стабилизировать ряд патчей, которые заметно улучшили производительность по сравнению с Redis 7.2. В этой статье Евгений Дюков, разработчик Managed Databases в Yandex Cloud, разбирает некоторые из изменений и делится результатами проведённых бенчмарков, которые позволяют оценить, как именно новые патчи повлияли на производительность — и в позитивном, и, в некоторых случаях, в негативном ключе. Особенно интересно будет тем, кто ждёт релиз Valkey 8.1 этой весной.

https://habr.com/ru/companies/oleg-bunin/articles/893680/

#valkey #redis #производительность #вводвывод #структуры_данных #хранение_информации #хеширование #lzf #субд #io_потоки

[Перевод] 5 основополагающих советов по управлению базами данных Greenplum

Greenplum — это массивно‑параллельная (MPP) база данных с открытым исходным кодом, предназначенная для организации хранилищ данных и высокопроизводительной аналитики. Как и в случае с другими MPP‑СУБД, она требует регулярной оптимизации запросов, корректировки распределения ресурсов и защиты данных. В этой статье мы рассмотрим пять рекомендаций, обязательных для эффективного управления Greenplum.

https://habr.com/ru/companies/otus/articles/890706/

#базы_данных #Greenplum #mpp #субд

Кибер Бэкап и защита СУБД

Продолжаем рассказывать про то, как быстро и просто начать использовать нашу систему резервного копирования Кибер Бэкап. В первой части мы обсудили, как развернуть Кибер Бэкап на ОС Linux и создать план резервного копирования. Вторую часть посвятили защите платформ виртуализации. Сегодня расскажем о резервном копировании и восстановлении баз данных.

https://habr.com/ru/companies/cyberprotect/articles/890532/

#киберпротект #кибер_бэкап #резервное_копирование #восстановление_данных #субд

Типичные ошибки начинающих в SQL

Проанализировали наиболее распространённые ошибки начинающих в SQL и расположили их в порядке возрастания сложности. Материал будет интересен тем, кто только начинает работать с данными, а также тем, кто хочет избежать популярных ошибок и сэкономить время на изучении SQL.

https://habr.com/ru/companies/netologyru/articles/889194/

#sql #ошибки #новичкам #начинающим #субд #select #join #null #group_by #индексы

ClickHouse в мире IoT

В этой статье мы рассмотрим использование ClickHouse для хранения данных, поступающих по протоколу MQTT. Данный протокол был специально разработан для приложений IoT и предназначен для обеспечения эффективной и надежной связи между устройствами. В MQTT используется облегченная модель публикации‑подписки, обеспечивающая бесперебойную передачу данных даже в условиях ограниченных ресурсов. Низкие накладные расходы и поддержка потоковой передачи данных в реальном времени делают протокол MQTT идеальным выбором для сбора и передачи данных IoT с различных конечных устройств на платформы обработки данных.

https://habr.com/ru/companies/otus/articles/888252/

#clickhouse #mqtt #emqx #grafana #субд

Как мы ускорили работу с базой данных в Android-приложении

Всем привет, меня зовут Кирилл и я Android-разработчик в Scanny. В этой статье я поделюсь опытом оптимизации работы с SQLite + Room в нашем Android-приложении, который помог нам значительно сократить время выполнения запросов. Расскажу как очевидные ошибки иногда остаются незамеченными. Давайте разбираться вместе!

https://habr.com/ru/companies/scanny/articles/883398/

#scanny #kotlin #android #sqlite #субд

NoSQL: понятие, виды баз данных и их особенности

NoSQL (что значит «Не только SQL») представляет новый класс систем управления данными, отходящих от реляционного подхода к хранению информации. В противовес традиционным СУБД, таким как MySQL или PostgreSQL, где все данные размещаются в таблицах с фиксированной структурой и строгими связями, NoSQL предлагает более гибкие способы организации и хранения информации. Эта технология не отрицает SQL, а расширяет возможности работы с данными. Происхождение термина NoSQL имеет интересную историю, которая началась не с технологии, а с названия технической конференции. В 2009 году в Сан-Франциско организаторы мероприятия по базам данных выбрали это название, и оно неожиданно прижилось в индустрии. Любопытно, что за десятилетие до этого, в 1998 году, разработчик Карло Строцци уже использовал название NoSQL для своего проекта, не имевшего отношения к современным нереляционным системам. Современные NoSQL-решения представлены несколькими основными категориями систем хранения данных. К ним относятся базы данных, работающие с документами (MongoDB возглавляет это направление), хранилища пар ключ-значение (яркий пример — Redis), системы управления графами (где лидирует Neo4j) и колоночные хранилища (такие как ClickHouse). Объединяющей характеристикой этих систем является отказ от классического языка SQL в пользу собственных методов обработки данных. В отличие от реляционных СУБД, где SQL выступает стандартизированным языком для работы с данными, обеспечивая возможности выборки информации и объединения таблиц посредством операций JOIN и UNION, нереляционные системы разработали собственные уникальные языки запросов. Каждая NoSQL-база данных предлагает свой специализированный синтаксис для манипуляции данными. Рассмотрим конкретные примеры.

https://habr.com/ru/companies/timeweb/articles/885354/

#timeweb_статьи #nosql #sql #субд #mysql #postgresql #redis #mongodb #acid #base

Нужен ли нам сейчас кеш-слой перед СУБД

Уже лет 20 существует миф (или не миф), что современный Highload-проект невозможен без кэшей. Они всегда нас выручали, когда не справлялись базы данных. Но с тех пор, как появились первые кэши, key-value баз данных и другие технологии, многое изменилось и традиционные СУБД значительно эволюционировали. И так ли теперь нужен кэш? Мы протестировали самые известные кэш-сервисы и СУБД и попробовали выжать из них миллион запросов в секунду в разных условиях. Делимся с вами результатами в этой статье. Привет, Хабр! Я Алексей Рыбак, предприниматель и основатель R&D-лаборатории DevHands, автор телеграм-канала про System Design и Highload. В прошлом — СТО и руководитель московского офиса Badoo. Работал во втором по размеру такси-сервисе «Везёт», который мы после продажи интегрировали с Яндекс.Такси. Сейчас наша компания разрабатывает образовательные программы по Highload и перформансу.

https://habr.com/ru/companies/oleg-bunin/articles/883422/

#субд #кэширование #postgres #mysql #valkey #redis #memcached #rps #базы_данных #MyDB

Отслеживание изменений размеров таблиц Arenadata DB

История, связанная с этой задачей, началась для нас в мае 2024 года. Один из крупных пользователей Greenplum/Arenadata DB обратился к нам с запросом реализовать возможность отслеживания изменения размеров файлов данных таблиц. Эта функциональность стала бы составной частью, источником событий для системы мониторинга пользовательских кластеров. Задача показалась нам крайне интересной и перспективной. Однако пользователю, как это часто бывает, решение требовалось уже вчера. С одной стороны, мы осознавали всю сложность этой задачи в полнофункциональной реализации для всех пользователей нашего продукта (и как следствие, адекватно оценивали предполагаемые трудозатраты). С другой стороны, затачивать решение под конкретного пользователя, но в то же время и поставлять эту реализацию как часть общего решения мы сочли неправильным. По итогу команда разработки продолжила работу в своём темпе и в соответствии со своим представлением о реализации.

https://habr.com/ru/companies/arenadata/articles/881808/

#arenadata_db #monitoring #greenplum #postgres #bloom_filter #оптимизация_запросов #big_data #grafana #субд #метрики

Как протестировать производительность СУБД перед миграцией: опыт K2Тех

После ухода западных вендоров в 2022 году российские компании столкнулись с необходимостью массовой миграции с Oracle и MS SQL на PostgreSQL и другие открытые СУБД. Теперь к вопросам миграции приходится относиться ответственнее: самостоятельно оценивать риски и прогнозировать работу систем после переезда. Как перфоманс-инженер, я часто сталкиваюсь с вопросами типа: справится ли PostgreSQL с текущей нагрузкой? Потребуется ли обновление железа? Какие проблемы могут возникнуть после перехода? К сожалению, готовых инструментов для оценки производительности СУБД на рынке фактически нет. Это заставило нас разработать собственную методологию тестирования, которая позволяет выявить потенциальные проблемы и точно оценить необходимые ресурсы. В этой статье я поделюсь практическим опытом нагрузочного тестирования баз данных и расскажу об инструментах, которые мы используем для анализа производительности. Наш подход не требует существенных затрат и может быть адаптирован под задачи любой компании, планирующей миграцию на PostgreSQL.

https://habr.com/ru/companies/k2tech/articles/882098/

#высокая_производительность #тестирование_ит_систем #импортозамещение #субд #миграция #миграция_субд #postgresql

Прежде чем выбирать язык программирования, необходимо изучить SQL

Если вы только выбираете язык программирования или уже программируете, но не уверены в своём выборе — эта статья для вас. Мы рассмотрим, какие бывают виды языков программирования, почему данные — это основа любой программы, как эти данные хранятся и как с ними работать. В конце статьи я приведу 5 бесплатных ресурсов, которые сам использовал для изучения SQL. В этой статье отвечу на три вопроса: какие существуют виды языков программирования; почему нужно сначала изучить SQL; как учить SQL бесплатно.

https://habr.com/ru/articles/881896/

#языки_программирования #базы_данных #субд #sql #для_начинающих

[Перевод] Сальваторе Санфилиппо возвращается в Redis

Друзья, как будто мы пропустили интересное и важное событие! В декабре 2024 года Сальваторе Санфилиппо - автор Redis - спустя 4 с половиной года отсутствия в проекте возвращается к своему детищу. Для меня редис - это по-прежнему простой и эффективный элемент разрабатываемых систем. Возможно еще и поэтому я с большим интересном и даже удовольствием прочитал пост antirez-а о возвращении. Под катом взгляд Сальваторе на проблемы лицензирования, раскол в сообществе редис, нейронные сети и LLM, векторный поиск и, конечно, дальнейшие планы по работе над Redis и всё, что с этим связано. Приятного чтения!

https://habr.com/ru/articles/878184/

#субд #redis #nosql #сальваторе_санфилиппо #antirez #memory_db

Уйти от ORM

По результатам статьи про Spring Data JPA хабровчане критиковали нас за то, что мы наступали на трудовые мозоли, но не сказали что надо делать. В этой статье мы, наконец, предложим концептуальное решение проблемы ORM.

https://habr.com/ru/articles/877052/

#orm #sql #java #python #субд

Как благодаря полётам в космос, лесозаготовкам и облакам появились современные СУБД

Редко можно встретить технологии, которые существуют более пятидесяти лет в стремительно меняющейся ИТ-индустрии. Пока одни разработки быстро теряют актуальность, базы данных продолжают играть ключевую роль. По мере увеличения объёмов данных растёт и потребность в инструментах для их обработки, управления и анализа. Первая СУБД, основанная на иерархическом подходе, была разработана ещё в 1960-х годах. В 1970-х появились реляционные системы, которые и сегодня остаются востребованными благодаря своей универсальности и эффективности. Сегодня обсудим, каким был путь развития СУБД.

https://habr.com/ru/companies/mws/articles/876768/

#субд

Управление резервным копированием PostgreSQL через веб-интерфейс: обзор утилиты PG Back Web

В обзоре узнаете, как графический интерфейс PG Back Web значительно облегчает управление резервными копиями PostgreSQL. Мы покажем, как настраивать резервные копии всего за несколько кликов.

https://habr.com/ru/companies/flant/articles/874088/

#резервное_копирование #kubernetes #postgresql #базы_данных #pgbackweb #open_source #субд #backup #backups #резервное_копирование_данных

[Перевод] Безумные и забавные факты о SQLite

SQLite — самая часто разворачиваемая и используемая база данных. На текущий момент активно используется более одного триллиона (1000000000000 или миллиона миллионов) баз данных SQLite. Её поддерживают три человека . Они не допускают внешних контрибьюторов. Скорее всего, SQLite используется больше, чем все остальные движки баз данных суммарно. В мире работают миллиарды копий SQLite. Её можно встретить повсюду. К тому же, есть такая вероятность, что это один из пяти наиболее часто разворачиваемых программных модулей. За разработкой SQLite стоит компания Hwaci . Кажется, она занимается и музыкой (?). Изначально SQLite создавалась для корабля ВМС США. Ричард Хипп (D. Richard Hipp, DRH) разрабатывал ПО для эсминца USS Oscar Austin. Раньше ПО корабля просто переставало работать при выходе из строя сервера (это было в 2000-х). Для боевого корабля это неприемлемо. Поэтому DRH задался вопросом: что, если база данных будет работать без какого-либо сервера?

https://habr.com/ru/companies/ruvds/articles/873816/

#sqlite #базы_данных #субд #открытый_исходный_код #ruvds_перевод

Нативный подмодуль в PostgreSQL Universal. Полный и инкрементальные режимы

В статье поговорим об особенностях работы и процессе установки PostgreSQL Universal. Материал рассчитан как на опытных пользователей, знакомых с RuBackup, так и на людей, интересующихся созданием резервных копий для личных и коммерческих целей.

https://habr.com/ru/companies/astralinux/articles/873328/

#rubackup #postgresql #бэкап #ubuntu #субд #инкрементальный_бэкап

Чья фича лучше или как сравнить эффективность планов SQL-запроса

Как сравнить? - измерить execution-time конечно! - скажет опытный читатель. И будет совершенно прав: с практической точки зрения эффективнее та СУБД, которая выдаёт больший TPS. Однако иногда нам требуется спроектировать систему, которой ещё нет или сделать прогноз поведения на нагрузках, которые ещё не пришли. В таком случае нам нужна некоторая характеристика, позволяющая выполнить качественный анализ плана или выполнить сравнение пары планов. Обсуждению одной такой характеристики - количество прочитанных страниц данных - и посвящён данный пост.

https://habr.com/ru/articles/873064/

#субд #реляционные_субд #базы_данных #postgres #benchmark #database_monitoring #database_optimization