Масштабирование в SQL на примере PostgreSQL. Все очень просто - нужно всего лишь написать свою обработку распределенного запроса :)
технические проблемы и идеи, родившиеся в бурных водах реки Abava (а равно как и на ее берегах, далеких и близких), выставленные на всеобщее обсуждение
Showing posts sorted by relevance for query масштабирование. Sort by date Show all posts
Showing posts sorted by relevance for query масштабирование. Sort by date Show all posts
Wednesday, January 14, 2015
Sunday, June 17, 2007
MySQL масштабирование
MySQL начал серию публикаций (примеры сайтов) по масштабированию систем. Общие принципы: асинхронное взаимодействие, горизонтальное масштабирование, разделение read-only и read-write данных, использование по максимуму оперативной памяти, а также примеры того, как это работает в конкретных системах. Интересно, что 154 миллиона посетителей Wikipedia обслуживаются всего 20 серверами.
Wednesday, February 21, 2024
Масштабирование ChatGPT
Интересный материал - как масштабировали ChatGPT
См. также другие ссылки по теме масштабирование
Friday, September 15, 2006
PHP масштабирование
Интересные слайды из презентации Rasmus Lerdorf о призводительности PHP приложений. Как один из отцов-создателей языка и один из ведущих специалистов Yahoo он знает о чем говорит. Основное на чем он концентрируется - это масштабирование. Как обработать больше запросов на той же самой аппаратной конфигурации.
Один из продуктов, который по его словам используется на каждом из серверов Yahoo - это APC - кэширование данных.

Интересно, что в параллельных мирах кэширование динамических страниц уже давно не является чем-то исключительным. Для ASP это было изначально, для Java также существует огромное множество решений (OSCACHE или библиотеки от Coldbeans типа этой).
Один из продуктов, который по его словам используется на каждом из серверов Yahoo - это APC - кэширование данных.
Интересно, что в параллельных мирах кэширование динамических страниц уже давно не является чем-то исключительным. Для ASP это было изначально, для Java также существует огромное множество решений (OSCACHE или библиотеки от Coldbeans типа этой).
Friday, January 11, 2013
Saturday, July 25, 2015
Масштабирование LinkedIn
Интересный практический материал о масштабировании LinkedIn. Они всегда отличались в инженерных решениях очень прагматическим подходом.
Friday, July 19, 2024
Wednesday, February 29, 2012
Масштабирование MySQL
Интересный проект от Google: Vitess - Scaling MySQL databases for the web. Это web-frontend для MySQL. Или веб-монитор транзакций для MySQL. RPC интерфейс, который принимает SQL команды, разбирает их, переупорядочивает и запрашивает, при необходимости, базы данных уже от своего имени. Используется в YouTube.
Monday, May 19, 2008
Масштабирование БД
Интересный обзор систем масштабирования для баз данных. Рассматриваются два основных подхода - кластеризация и внешний кэш. Автор (как технический директор Gigaspaces), конечно, агитирует за кэш. То, что в обзоре еще названо IMDG - In-Memory Data Grids.
Sunday, February 15, 2009
Масштабирование в Digg
Еще одна презентация по архитектуре Web 2.0 приложений. На этот раз - от архитектора Digg.
Интересны замечания по масштабированию баз данных. Digg использует как горизонтальное (строки одной таблицы - на разных машинах), так и вертикальное разделение (столбцы одной таблицы на разных машинах). При этом побочным эффектом такого разделения является денормализация. И, конечно, кэширование. Собственно, еще раз прямо и подчеркнуто - кэшируйте все и навсегда, явно указывая те элементы, которые должны быть обновлены.
Интересны замечания по масштабированию баз данных. Digg использует как горизонтальное (строки одной таблицы - на разных машинах), так и вертикальное разделение (столбцы одной таблицы на разных машинах). При этом побочным эффектом такого разделения является денормализация. И, конечно, кэширование. Собственно, еще раз прямо и подчеркнуто - кэшируйте все и навсегда, явно указывая те элементы, которые должны быть обновлены.
Friday, September 26, 2014
Wednesday, November 05, 2025
Пост-тренировка LLM
Большие языковые модели (LLM) преобразили ландшафт обработки естественного языка и породили разнообразные приложения. Предварительное обучение на обширных данных веб-масштаба заложило основу для этих моделей, однако исследовательское сообщество в настоящее время все чаще смещает фокус на методы постобучения для достижения дальнейших прорывов. В то время как предварительная подготовка обеспечивает широкую лингвистическую базу, методы постобучения позволяют LLM совершенствовать свои знания, улучшать рассуждения, повышать фактическую точность и более эффективно соответствовать намерениям пользователя и этическим соображениям. Тонкая настройка, обучение с подкреплением и масштабирование времени тестирования стали критически важными стратегиями для оптимизации производительности LLM, обеспечения надежности и повышения адаптивности к различным реальным задачам. Этот обзор представляет собой систематическое исследование методологий постобучения, анализ их роли в совершенствовании LLM за пределами предобучения, решении ключевых проблем, таких как катастрофическое забывание, хакерство с вознаграждением и компромиссы во времени вывода. Мы отмечаем новые направления в области согласования моделей, масштабируемой адаптации и рассуждений во время вывода, а также намечаем будущие направления исследований. Мы также предоставляем публичный репозиторий для постоянного отслеживания достижений в этой быстро развивающейся области: https://github.com/mbzuai-oryx/Awesome-LLM-Post-training. - LLM Post-Training: A Deep Dive into Reasoning Large Language Models
Вот еще хороший материал по теме пост-тренировки LLM - Post-training 101
Monday, June 23, 2014
Хранение временных рядов
Масштабирование SQL с использованием Redis. Рассматривают вопрос хранения временных рядов.
Tuesday, October 01, 2013
Масштабирование MySQL
Хорошая презентация, которая суммирует опыт использования MySQL в больших проектах
Tuesday, January 29, 2008
XMPP сервисы
Хороший материал про разработке распределенных сервисов на основе XMPP. Базируется на презентациях от Jive Software - это, пожалуй, основной поставщик Java средств для XMPP (см. напрмер, здесь). Идеи понятны и многократно обуждались - использование HTTP в распределенных системах связано с большими накладными расходами. Это просто реализовать, работать будет везде (порты для HTTP открыты), но это не масштабируется. Все, что базируется на HTTP это (в силу самого протокола) всегда есть некоторый поллинг (попросту - опрос сервера). Все, что касается push - на самом деле просто моделируется с помощью все того же poll. И, соответственно, когда число "опросчиков" растет, то масштабирование становится большой проблемой. Подходы, связанные с использованием протоколов от IM базируются, естественно, на push. XMPP здесь просто выбран как открытый протокол, не зависящий от вендора.
Tuesday, July 08, 2008
Масштабирование для J2EE
Хорошая статья по масштабированию JEE (J2EE - по старому) приложений. Что есть:
- использование lock
- примеры использования java.util.concurrent.atomic
- CAS (compare-and-swap) операции
- Non-Blocking IO vs. Blocking IO. Когда Tomcat работает быстрее, чем Glassfish
- использование lock
- примеры использования java.util.concurrent.atomic
- CAS (compare-and-swap) операции
- Non-Blocking IO vs. Blocking IO. Когда Tomcat работает быстрее, чем Glassfish
Saturday, September 19, 2026
6 сигма для агентов
Большие языковые модели (LLM) демонстрируют впечатляющие возможности, однако остаются по своей сути вероятностными системами, что создает серьезные проблемы с надежностью при их внедрении в корпоративной среде. Мы представляем «Six Sigma Agent» — новую архитектуру, обеспечивающую надежность корпоративного уровня благодаря трем взаимодополняющим компонентам: (1) декомпозиции задачи на дерево зависимостей, состоящее из атомарных действий; (2) выборке с использованием микроагентов, при которой каждая задача выполняется параллельно n раз с привлечением различных LLM для получения независимых результатов; и (3) голосованию для достижения консенсуса с динамическим масштабированием, включающему кластеризацию результатов и выбор ответа из кластера, набравшего наибольшее число голосов. Мы доказываем, что получение n независимых результатов при уровне ошибок p позволяет снизить системную ошибку до уровня O(p^[n/2]), обеспечивая экспоненциальный рост надежности. Даже при использовании менее дорогих моделей с вероятностью ошибки 5% на одно действие голосование с участием 5 агентов снижает уровень ошибок до 0,11%, а динамическое масштабирование до 13 агентов позволяет достичь показателя 3,4 DPMO (дефектов на миллион возможностей), что соответствует стандарту «Шесть сигм». Оценка эффективности на трех корпоративных сценариях использования показала повышение надежности в 14 700 раз по сравнению с выполнением задачи одним агентом при одновременном снижении затрат на 80%. Наша работа подтверждает, что надежность систем искусственного интеллекта достигается за счет обоснованного резервирования и механизма консенсуса, а не только благодаря масштабированию самих моделей. - The Six Sigma Agent: Achieving Enterprise-Grade Reliability in LLM Systems Through Consensus-Driven Decomposed Execution
Sunday, April 17, 2022
Saturday, May 30, 2026
Китайский исследователь
Быстрое развитие базовых моделей катализировало сдвиг парадигмы от систем ИИ, которые помогают исследователям, к агентам, способным проводить исследования автономно. Однако этой новой области не хватает единой аналитической структуры: агенты, работающие с кодом, системы научных открытий и многоагентные исследовательские платформы развивались в значительной степени изолированно, с непоследовательной терминологией и несравнимой оценкой. Данный обзор восполняет этот пробел четырьмя важными вкладами. Во-первых, мы
предлагаем пятиуровневую таксономию автономности (L1–L5) — от автозаполнения кода до полностью самоуправляемых исследовательских программ — которая предоставляет точный словарь для характеристики и сравнения систем. Во-вторых, мы выявляем и анализируем четыре доминирующих архитектурных шаблона (циклы с одним агентом, многоагентное сотрудничество, иерархическая оркестровка и выполнение с использованием инструментов) с помощью сравнительной структуры, оценивающей компромиссы между масштабируемостью, стоимостью, надежностью и человеческим контролем.
В-третьих, мы проводим подробный анализ 17 основных систем в рамках шестимерной матрицы признаков, показывая, что современные передовые системы работают на уровне L4 (многоэтапное автономное выполнение в ограниченных областях), в то время как уровень L5 остается желаемым. В-четвертых, мы выявляем шесть фундаментальных открытых проблем — когнитивные циклы, ограничения контекста, оценка новизны, воспроизводимость, безопасность и стоимость — и предлагаем конкретные направления исследований для каждой из них. Наш анализ показывает, что наиболее критическими барьерами на пути к автономности уровня L5 являются не столько собственные возможности, сколько постоянное накопление знаний, надежная самооценка и принципиальное масштабирование архитектуры агентов. Мы рассматриваем более 95 статей в области машинного обучения, разработки программного обеспечения и научных открытий, предоставляя первое единое рассмотрение автономных исследовательских агентов как целостной области исследований. - From Copilots to Colleagues: A Survey of Autonomous Research Agents
Wednesday, September 18, 2024
Масштабирование уровня данных
Шаблон разделения ответственности запроса команды (CQRS - command query responsibility segregation) отделяет мутацию данных или командную часть системы от части запроса. Вы можете использовать шаблон CQRS для разделения обновлений и запросов, если у них разные требования к пропускной способности, задержке или согласованности.
Subscribe to:
Posts (Atom)

