Showing posts sorted by relevance for query масштабирование. Sort by date Show all posts
Showing posts sorted by relevance for query масштабирование. Sort by date Show all posts

Wednesday, January 14, 2015

Масштабирование в SQL

Масштабирование в SQL на примере PostgreSQL. Все очень просто - нужно всего лишь написать свою обработку распределенного запроса :)

Sunday, June 17, 2007

MySQL масштабирование

MySQL начал серию публикаций (примеры сайтов) по масштабированию систем. Общие принципы: асинхронное взаимодействие, горизонтальное масштабирование, разделение read-only и read-write данных, использование по максимуму оперативной памяти, а также примеры того, как это работает в конкретных системах. Интересно, что 154 миллиона посетителей Wikipedia обслуживаются всего 20 серверами.

LinkStore

Friday, September 15, 2006

PHP масштабирование

Интересные слайды из презентации Rasmus Lerdorf о призводительности PHP приложений. Как один из отцов-создателей языка и один из ведущих специалистов Yahoo он знает о чем говорит. Основное на чем он концентрируется - это масштабирование. Как обработать больше запросов на той же самой аппаратной конфигурации.

Один из продуктов, который по его словам используется на каждом из серверов Yahoo - это APC - кэширование данных.



Интересно, что в параллельных мирах кэширование динамических страниц уже давно не является чем-то исключительным. Для ASP это было изначально, для Java также существует огромное множество решений (OSCACHE или библиотеки от Coldbeans типа этой).

Saturday, July 25, 2015

Масштабирование LinkedIn

Интересный практический материал о масштабировании LinkedIn. Они всегда отличались в инженерных решениях очень прагматическим подходом.

Wednesday, February 29, 2012

Масштабирование MySQL

Интересный проект от Google: Vitess - Scaling MySQL databases for the web. Это web-frontend для MySQL. Или веб-монитор транзакций для MySQL. RPC интерфейс, который принимает SQL команды, разбирает их, переупорядочивает и запрашивает, при необходимости, базы данных уже от своего имени. Используется в YouTube.

Monday, May 19, 2008

Масштабирование БД

Интересный обзор систем масштабирования для баз данных. Рассматриваются два основных подхода - кластеризация и внешний кэш. Автор (как технический директор Gigaspaces), конечно, агитирует за кэш. То, что в обзоре еще названо IMDG - In-Memory Data Grids.

Sunday, February 15, 2009

Масштабирование в Digg

Еще одна презентация по архитектуре Web 2.0 приложений. На этот раз - от архитектора Digg.
Интересны замечания по масштабированию баз данных. Digg использует как горизонтальное (строки одной таблицы - на разных машинах), так и вертикальное разделение (столбцы одной таблицы на разных машинах). При этом побочным эффектом такого разделения является денормализация. И, конечно, кэширование. Собственно, еще раз прямо и подчеркнуто - кэшируйте все и навсегда, явно указывая те элементы, которые должны быть обновлены.

Wednesday, November 05, 2025

Пост-тренировка LLM

Большие языковые модели (LLM) преобразили ландшафт обработки естественного языка и породили разнообразные приложения. Предварительное обучение на обширных данных веб-масштаба заложило основу для этих моделей, однако исследовательское сообщество в настоящее время все чаще смещает фокус на методы постобучения для достижения дальнейших прорывов. В то время как предварительная подготовка обеспечивает широкую лингвистическую базу, методы постобучения позволяют LLM совершенствовать свои знания, улучшать рассуждения, повышать фактическую точность и более эффективно соответствовать намерениям пользователя и этическим соображениям. Тонкая настройка, обучение с подкреплением и масштабирование времени тестирования стали критически важными стратегиями для оптимизации производительности LLM, обеспечения надежности и повышения адаптивности к различным реальным задачам. Этот обзор представляет собой систематическое исследование методологий постобучения, анализ их роли в совершенствовании LLM за пределами предобучения, решении ключевых проблем, таких как катастрофическое забывание, хакерство с вознаграждением и компромиссы во времени вывода. Мы отмечаем новые направления в области согласования моделей, масштабируемой адаптации и рассуждений во время вывода, а также намечаем будущие направления исследований. Мы также предоставляем публичный репозиторий для постоянного отслеживания достижений в этой быстро развивающейся области: https://github.com/mbzuai-oryx/Awesome-LLM-Post-training. - LLM Post-Training: A Deep Dive into Reasoning Large Language Models

Вот еще хороший материал по теме пост-тренировки LLM - Post-training 101

Tuesday, January 29, 2008

XMPP сервисы

Хороший материал про разработке распределенных сервисов на основе XMPP. Базируется на презентациях от Jive Software - это, пожалуй, основной поставщик Java средств для XMPP (см. напрмер, здесь). Идеи понятны и многократно обуждались - использование HTTP в распределенных системах связано с большими накладными расходами. Это просто реализовать, работать будет везде (порты для HTTP открыты), но это не масштабируется. Все, что базируется на HTTP это (в силу самого протокола) всегда есть некоторый поллинг (попросту - опрос сервера). Все, что касается push - на самом деле просто моделируется с помощью все того же poll. И, соответственно, когда число "опросчиков" растет, то масштабирование становится большой проблемой. Подходы, связанные с использованием протоколов от IM базируются, естественно, на push. XMPP здесь просто выбран как открытый протокол, не зависящий от вендора.

Tuesday, July 08, 2008

Масштабирование для J2EE

Хорошая статья по масштабированию JEE (J2EE - по старому) приложений. Что есть:
- использование lock
- примеры использования java.util.concurrent.atomic
- CAS (compare-and-swap) операции
- Non-Blocking IO vs. Blocking IO. Когда Tomcat работает быстрее, чем Glassfish

Saturday, September 19, 2026

6 сигма для агентов

Большие языковые модели (LLM) демонстрируют впечатляющие возможности, однако остаются по своей сути вероятностными системами, что создает серьезные проблемы с надежностью при их внедрении в корпоративной среде. Мы представляем «Six Sigma Agent» — новую архитектуру, обеспечивающую надежность корпоративного уровня благодаря трем взаимодополняющим компонентам: (1) декомпозиции задачи на дерево зависимостей, состоящее из атомарных действий; (2) выборке с использованием микроагентов, при которой каждая задача выполняется параллельно n раз с привлечением различных LLM для получения независимых результатов; и (3) голосованию для достижения консенсуса с динамическим масштабированием, включающему кластеризацию результатов и выбор ответа из кластера, набравшего наибольшее число голосов. Мы доказываем, что получение n независимых результатов при уровне ошибок p позволяет снизить системную ошибку до уровня O(p^[n/2]), обеспечивая экспоненциальный рост надежности. Даже при использовании менее дорогих моделей с вероятностью ошибки 5% на одно действие голосование с участием 5 агентов снижает уровень ошибок до 0,11%, а динамическое масштабирование до 13 агентов позволяет достичь показателя 3,4 DPMO (дефектов на миллион возможностей), что соответствует стандарту «Шесть сигм». Оценка эффективности на трех корпоративных сценариях использования показала повышение надежности в 14 700 раз по сравнению с выполнением задачи одним агентом при одновременном снижении затрат на 80%. Наша работа подтверждает, что надежность систем искусственного интеллекта достигается за счет обоснованного резервирования и механизма консенсуса, а не только благодаря масштабированию самих моделей. - The Six Sigma Agent: Achieving Enterprise-Grade Reliability in LLM Systems Through Consensus-Driven Decomposed Execution

Saturday, May 30, 2026

Китайский исследователь

Быстрое развитие базовых моделей катализировало сдвиг парадигмы от систем ИИ, которые помогают исследователям, к агентам, способным проводить исследования автономно. Однако этой новой области не хватает единой аналитической структуры: агенты, работающие с кодом, системы научных открытий и многоагентные исследовательские платформы развивались в значительной степени изолированно, с непоследовательной терминологией и несравнимой оценкой. Данный обзор восполняет этот пробел четырьмя важными вкладами. Во-первых, мы предлагаем пятиуровневую таксономию автономности (L1–L5) — от автозаполнения кода до полностью самоуправляемых исследовательских программ — которая предоставляет точный словарь для характеристики и сравнения систем. Во-вторых, мы выявляем и анализируем четыре доминирующих архитектурных шаблона (циклы с одним агентом, многоагентное сотрудничество, иерархическая оркестровка и выполнение с использованием инструментов) с помощью сравнительной структуры, оценивающей компромиссы между масштабируемостью, стоимостью, надежностью и человеческим контролем. В-третьих, мы проводим подробный анализ 17 основных систем в рамках шестимерной матрицы признаков, показывая, что современные передовые системы работают на уровне L4 (многоэтапное автономное выполнение в ограниченных областях), в то время как уровень L5 остается желаемым. В-четвертых, мы выявляем шесть фундаментальных открытых проблем — когнитивные циклы, ограничения контекста, оценка новизны, воспроизводимость, безопасность и стоимость — и предлагаем конкретные направления исследований для каждой из них. Наш анализ показывает, что наиболее критическими барьерами на пути к автономности уровня L5 являются не столько собственные возможности, сколько постоянное накопление знаний, надежная самооценка и принципиальное масштабирование архитектуры агентов. Мы рассматриваем более 95 статей в области машинного обучения, разработки программного обеспечения и научных открытий, предоставляя первое единое рассмотрение автономных исследовательских агентов как целостной области исследований. - From Copilots to Colleagues: A Survey of Autonomous Research Agents

Wednesday, September 18, 2024

Масштабирование уровня данных

Шаблон разделения ответственности запроса команды (CQRS - command query responsibility segregation) отделяет мутацию данных или командную часть системы от части запроса. Вы можете использовать шаблон CQRS для разделения обновлений и запросов, если у них разные требования к пропускной способности, задержке или согласованности.