#данные

Эти штрафы навсегда отобьют желание вести бизнес: что должен успеть предприниматель до 30 мая, чтобы уменьшить риски

Уже поняли про что речь? Верно, про утечку. Если быть точнее, про утечку персональных данных из компании . Лет 10 назад это понятие не вызывало откровенно негативных чувств. С недавних пор оно неразрывно с тревогой и печалью, а буквально через полтора месяца уже будет навевать гнев и нести опустошение: не только эмоциональное, но и финансовое, ибо новые штрафы за утечку персональных данных вырастут до астрономических значений. Какие штрафы и за что будет выписывать РКН

https://habr.com/ru/articles/891754/

#роскомнадзор #ркн #штрафы #данные #данные_пользователей #персональные_данные #штраф #утечка_данных #уведомление_ркн #уведомление_роскомнадзор

Апи для получения местоположения всего транспорта в СПб:
https://transport.orgp.spb.ru/Portal/transport/internalapi/gtfs

Прочитал тут:
https://habr.com/ru/companies/timeweb/articles/889116/
#апи #данные #геолокация

Бизнес-сериал: формируем BI-систему в строительстве почти в прямом эфире. Часть III

Привет, Хабр! Продолжаем серию статей о создании BI-системы в компании Sminex. Сегодня поговорим об автоматизации и оптимизации работы инженеров данных и BI-разработчиков. Работа с данными всегда требует поиска баланса между удобством, скоростью и качеством. В этой статье мы сосредоточимся на удобстве .

https://habr.com/ru/companies/sminex_developer/articles/888920/

#powerbi #данные #dwh #anchor_model

Как превратить сырые данные в аналитический отчет

Делюсь опытом и готовыми решениями по сбору и структурированию сырых данных, превращая их в полезный инструмент для аналитиков.

https://habr.com/ru/articles/888436/

#парсер_сайтов #данные #обработка_данных #хранение_данных #apache_superset #парсинг #mongodb

Яндекс 360 для бизнеса: как единая платформа спасает от цифрового хаоса

«Ребята, так больше нельзя! Пора переходить на что-то, не зависящее от внешних обстоятельств и всегда доступное», — подобные речи я, как сотрудник компании-интегратора, слышу постоянно. Кто-то переехал уже несколько раз, кто-то сидит на VPN, постепенно перебирая неблокируемые протоколы, однако многие ищут и находят отечественные альтернативные платформы. Меня зовут Рустам Еникеев, я работаю системным администратором в интеграторе, переводящем бизнес на онлайн-офис. Проекты, с которыми я чаще всего работаю, — небольшие и средние компании численностью от 50 до 250 человек. И сегодня хочу рассказать о проверенном на практике решении для переезда. Далее

https://habr.com/ru/companies/business_migration/articles/888192/

#миграция #хранение_данных #почта #трекер #jira #данные #хранилища_данных #яндекс

Вашей компании нужен этот сотрудник: объясняю, почему в 2025 нельзя не назначить ответственного за работу с ПД

Не разбрасывайте по офису флешки с персональными данными сотрудников и клиентов, обновляйте политику конфиденциальности и пользуйтесь российскими серверами. Сегодня копилочку ваших знаний о работе с ПД пополнят еще несколько важных мыслей. Речь пойдет не о бездушных серверах и устройствах, а о людях – тех, кто должен работать с информацией. Узнать, кто вправе работать с ПД в 2025 г.

https://habr.com/ru/articles/884466/

#ркн #роскомнадзор #данные #данные_пользователей #данные_в_компании #базы_данных #персональные_данные #сервер #штрафы #проверка

Confluent Kafka: любовь и ненависть в .NET, часть 1

Всем привет! Сегодня расскажу про Confluent Kafka. Ее любят, ненавидят, но мало кто остается равнодушным. О себе Меня зовут Алена, я ведущий разработчик, занимаюсь развитием референсной архитектуры в компании билайн. К основным областям профессиональных интересов можно отнести проблемы распределенных систем, event sourcing и DDD. В двух словах о Kafka Kafka - это распределенная платформа для обработки потоков данных, которая используется для построения высоконагруженных решений и обработки данных в реальном времени. По сути, это система, которая может очень быстро и эффективно передавать ваши события. Kafka может работать как на одной машине, так и на нескольких, образующих между собой кластер и повышающих общую эффективность системы. Событием в Kafka может быть любой тип данных, для Kafka это всего лишь последовательность байт. На картинке представлены сущности, которые участвуют в процессе работы с точки зрения архитектуры.

https://habr.com/ru/companies/beeline_tech/articles/880424/

#net #билайн #kafka #данные #высокая_производительность

Озеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышло

Привет, Хабр! Меня зовут Михаил Килинский, я — Senior Developer в проекте Data Warehouse «Лаборатории Касперского». Наша команда строит хранилища данных и разрабатывает ETL- и ELT-процессы, мы пишем на Python, SQL и C# (.NET), а весь код находится в монорепозитории . Гибкие методологии построения хранилищ данных — очень популярный тренд. Причина — возрастающая сложность корпоративных моделей данных и необходимость интеграции большого числа разнородных источников, которые включают в себя не только традиционные СУБД и плоские файлы, но и различные real-time-брокеры сообщений, внешние API и базы данных NoSQL. В этой статье хочу рассказать, как мы изначально хранили данные, почему решили внедрить методологии Data Lake и Data Vault и к чему это привело. Кроме того, покажу, как мы изобрели свой велосипед разработали свой фреймворк по автоматизации работы с помощью модели Data Vault.

https://habr.com/ru/articles/876834/

#dwh #data_warehouse #data_lake #хранилище_данных #корпоративное_хранилище_данных #архитектура_данных #базы_данных #данные #data #data_engineering

Аварии как опыт. Особенности репликации материализованных представлений в ClickHouse

Однажды поздним воскресным вечером ничто не предвещало неприятностей, пока не поступило сообщение о проблемах с репликацией в продуктовом кластере ClickHouse. В статье поделились опытом восстановления сервиса после сбоя и разобрали репликацию материализованных представлений.

https://habr.com/ru/companies/flant/articles/875510/

#clickhouse #репликация #репликация_данных #materialized_view #материализованные_представления #кластер #повреждения_данных #данные

Инновационная Столица-2024: единый центр BI для всего ТК, социология будущего, оптимизация работы контролеров

Привет! Я Ося разработчик. Сегодня я продолжу делиться проектами и решениями, представленными на нашем ярком мероприятии Инновационная Столица-2024. Единый центр BI для всего Транспортного комплекса Алина, руководитель отдела визуализации данных ИЦ, представила преимущества использования дашбордов для упрощения отчетности и принятия решений. Спикер отметила, что на сегодняшний день многие организации сталкиваются с трудностями при сборе отчетов из различных подразделений. Она выделила операционные сложности процессов, такие как разнообразие форматов отчетности, ошибки, фальсификации данных и длительное время, необходимое для подготовки информации. Все это приводит к путанице и замедляет процесс принятия решений. В качестве решения Алина рассказала о проекте перехода к автоматизированной отчетности, который позволит значительно упростить и ускорить обработку данных, - создание единого центра сбора и обработки данных на базе Инновационного центра, а также центра BI для всего Транспортного комплекса. Технические особенности проекта презентовала ее коллега Александра, руководитель отдела системной аналитики.

https://habr.com/ru/articles/874448/

#данные #big_data #big_data_analytics #BI #itкомпании #инновации #инновации_в_it #инновации_в_технологиях #безопасный_транспорт #разработка

Гонка за ИИ уже оставляет свой след: Ирландия и её огромные дата-центры — предупреждающий пример

Опасения по поводу отключений электричества заставили ирландского оператора энергосистемы приостановить строительство новых дата-центров вблизи Дублина до 2028 года. Десятки огромных дата-центров на окраинах Дублина потребляют больше электричества, чем все городские дома в Ирландии. Теперь страна, сделавшая себя вычислительной фабрикой для Amazon, Google, Meta, Microsoft и TikTok, задается вопросом, стоило ли это того, поскольку технологические гиганты ищут по всему миру места для постройки еще больше дата-центров, чтобы поддержать следующую волну искусственного интеллекта.

https://habr.com/ru/articles/870676/

#датацентр #данные #ии #искусственный_интеллект #ai #ирландия

Данные — это ископаемое топливо для ИИ. Правда, что мы его исчерпали?

Илья Суцкевер, соучредитель и бывший главный ученый OpenAI, утверждает, что данные — это ископаемое топливо ИИ, и мы его исчерпали. Правда ли это? Это заявление сделано в контексте объяснения того, что ограничение для ИИ (особенно для LLM) заключается в качестве данных, необходимых для имитации интеллекта, — ограничение, часто называемое «энтропийным разрывом».

https://habr.com/ru/articles/870668/

#ии #данные #искусственный_интеллект #нейросети #илья_суцкевер

Как я написал 1400 регламентов и почему это важно для бизнеса

Посмотрев назад на свой длинный путь в бизнесе, могу смело заявить, что я знаю о бизнес-процессах больше, чем кто-либо. Руководя своей командой, я заметил, что мы тратим массу времени на повторяющиеся вопросы и одни и те же проблемы. «Как оформлять счета?», «Какая процедура работы с клиентами?», «Что делать, если клиент недоволен?» — эти вопросы повторялись просто каждый день. Даже очевидные задачи превращались в постоянные созвоны и обсуждения. Это тормозило развитие бизнеса, мешало внедрять автоматизацию и вызывало у сотрудников демотивацию к работе. Так я пришел к идее: нужно структурировать всё. С того момента я написал более 1400 регламентов, охватывающих почти все бизнес-процессы, и это стало настоящей революцией в нашей работе. В этой статье я хочу поделиться, как мне удалось создать систему, которая избавила нас от хаоса, и объясню, почему инструкции — это не формальность, а основа для успеха.

https://habr.com/ru/articles/870136/

#регламенты #инструкции #данные #обучение #команда

Экономика хостера — не, она устроена не так, и зачем действительно мы запускали спутник

Я тут иногда рассказываю про то, как устроен хостинг в блоге VDS-хостинга (знаю, для многих это уже неожиданно), а вы часто спрашиваете, почему у меня волосы на груди окрасились зачем нужны промотарифы за 40 и 130 рублей. И ещё: Зачем хостинг запускает свой спутник. Дидосим ли мы клиентов, чтобы продать им услугу DDoS-защиты. Сколько мы тратим на рекламу. Волосы на груди у меня окрасились, потому что я пролил на них ракетный окислитель. На рекламу и маркетинг мы тратим 11,21% от общих расходов. Софт — 15,79%. Дата-центры — 11,36%. ФОТ — 10,24%. Железо — 9,62% + кредиты в разных формах на него — 18,97% (я видел отчётность Хетзнера, у них кредитная нагрузка выше). IP-адреса — 5,91%. Налоги — 5,75% (иногда здесь тоже короткий кредит, чтобы не вынимать сумму из оборота). Возможно, неожиданным для вас будет то, что лицензии на ПО стоят примерно столько же, сколько аренда места в ЦОДах по миру, и что айпишники вообще-то занимают существенную долю затрат хостера. Сейчас объясню.

https://habr.com/ru/companies/ruvds/articles/865732/

#ruvds_статьи #экономика #хостер #спутник #хостинг #данные #тарифы

Я не запоминаю имена или логика и данные

Знакомьтесь, загадка памяти: почему мы помним всё, кроме имени? В статье исследуется феномен, знакомый многим: как можно детально запомнить беседу и характеристики нового знакомого, но совершенно забыть его имя спустя считанные минуты? Мы погружаемся в работу мозга, чтобы понять, почему имена оказываются такими непослушными для нашей памяти. От анализа логики работы мозга до рассмотрения других видов личной информации, таких как фамилия, отчество и возраст.

https://habr.com/ru/articles/865286/

#данные #логика #математика #типы_данных #околонаучные_течения #мозг

Миф о чистых данных: почему ваш аналитик похож на сапёра

Миф о чистых данных: почему ваш аналитик похож на сапёра. Как бороться с самым частым убеждением при работе с данными.

https://habr.com/ru/articles/862772/

#данные #очистка_данных #витрина_данных #визуализация_данных #ошибки_в_бизнесе #подготовка_данных #бизнесаналитика #целостность_данных #обработка_данных #data_quality

Качественные данные для среднего бизнеса: почему без промышленной платформы интеграции не обойтись?

Качество данных и его значение для среднего бизнеса. Что такое качество данных? Почему качество данных так важно для среднего бизнеса? Кто относится к среднему бизнесу в России? Основные риски низкого качества данных. Основные рекомендации по выбору решений.

https://habr.com/ru/articles/862476/

#Данные #mdm #mdmсистема #mdm_и_бизнесглоссарий #esb #data #базы_данных #data_quality #dq #datareon

Владимир Дантес признался, есть ли у него бронь от мобилизации
https://www.unian.net/lite/stars/volodimir-dantes-vidpoviv-chi-ye-v-nogo-bron-vid-mobilizaciji-artist-rozpoviv-pro-sviy-pohid-do-tck-12834759.html
#unian #ВладимирДантес #бронь #повестка #войнавУкраине #мобилизация #ТЦК #ВВК #страх #данные

Как мы провели ИИ-трансформацию стратегических процессов Сбера

Привет, Хабр! Меня зовут Андрей, я технологический предприниматель, работаю CTO в ИИ-стартапах и помогаю внедрять ИИ в компаниях. Одним из громких кейсов для меня стала ИИ-трансформация Сбера. Сегодня хочу рассказать, как проходила ИИ-трансформация, и какие уроки стоит извлечь из этого опыта. До ИИ-трансформации банка (2020 год) я работал в роли Chief Data Officer и Chief Data Scientist стратегического блока Сбера. Тогда ChatGPT еще не было, а об ИИ-революции всерьез почти не рассуждали. Конечно, в банках ИИ и ML активно использовались в кредитном скоринге и рекомендательных системах. В наши задачи входило макроэкономическое стресс-тестирование банка, анализ и прогнозирование банковских рынков, вывод новых продуктов на рынок, ресурсное планирование, анализ эффективности сотрудников, а также контроль над всеми процессами банка. Ежегодно наш блок формировал новую стратегию развития банка и экосистемы. Одним из первых ИИ-проектов нашей команды до ИИ-трансформации была модель для прогнозирования эффективности сотрудников. Для обучения модели мы собрали большое количество данных из кадровых систем, систем контроля и учета доступов, социально-демографические показатели, психометрию, оценки сотрудников и другие данные. На тот момент это была единственная ИИ-модель в стратегическом блоке. Направление было новым и использовалось для решения внутренних задач компании. Но все наработки пригодились, когда в компании объявили ИИ-трансформацию.

https://habr.com/ru/articles/862042/

#ai #ии #трансформация #данные #стратегия

[Перевод] Ментальная модель потоков в Node.js

Приходилось ли вам работать с потоками в Node.js? Когда я впервые столкнулся с потоками, я, мягко говоря, оказался в растерянности. Эта концепция была совершенно новой для меня. Я полагал, что смогу обойтись и без них, но вскоре понял, что в Node.js они повсюду. Даже такие ключевые модули, как fs и http , используют потоки "под капотом". Поэтому мне пришлось погрузиться в изучение этой темы и разобраться в том, как потоки работают. В этом мне особенно помогло создание устойчивой ментальной модели, основанной на нескольких ключевых концепциях. В этой статье мы подробно рассмотрим эти концепции и сформируем ментальную модель потоков в Node.js.

https://habr.com/ru/companies/timeweb/articles/854330/

#timeweb_статьи_перевод #javascript #nodejs #nodejs #node #streams #stream #потоки #поток #data #данные