Знакомство с докладчиком Денис, разработчик с более чем 10-летним опытом работы в продуктовых IT-компаниях, рассказывает о выживании и переходе на ClickHouse.
Обзор продукта компании Компания работает в формате B2B с 20 000 клиентами в месяц и обрабатывает большой объем продуктов и поисковых запросов.
Технические проблемы В отчете будут рассмотрены технические проблемы, с которыми столкнулись компании при внедрении ClickHouse в свою деятельность.
Продукты торговой площадки Подробная информация о типах товаров, доступных на их торговой площадке, включая бренды, продавцов, поисковые запросы пользователей, размеры, уровень запасов и рейтинги.
Исторические данные о продукте Обсуждение обработки исторических данных перед внедрением ClickHouse для целей аналитики.
Функциональность "сегментирования" Их функциональный подход к сегментированию позволяет эффективно управлять большими объемами данных.
Методы сжатия данных В видео обсуждаются методы сжатия данных, включая использование стандартных и пользовательских кодеков для достижения эффективного сжатия больших объемов данных.
Настройки разделов и коэффициенты сжатия Изучение настроек разделов, таких как LZ4 и Z3, с акцентом на увеличение степени сжатия путем настройки размеров блоков в соответствии с конкретными требованиями.
Оптимизация скорости синтаксического анализа Обсуждение оптимизации скорости синтаксического анализа с использованием LZ4 для обработки в режиме реального времени благодаря его возможностям быстрой декомпрессии. Кроме того, подчеркивается использование различных стратегий, основанных на уровнях рандомизации.
Управление параллелизмом при обработке данных "Управление параллелизмом посредством настройки количества потоков и размеров блоков для оптимизации использования ресурсов при одновременных мутациях".
Оптимизация параметров размера блока "Объяснение процесса выбора параметров максимального размера блока, направленного на достижение оптимальной производительности с учетом системных ресурсов".