Марковские модели в городе

Марковское моделирование дорожного трафика

Разрыв нейронов

Новая модель объяснения того, как мозг обучается

Тренды в машинном обучении

Согласно Google Cloud’s Applied ML Summit:

Более развитые библиотеки компонентов, которые можно комбинировать.

Снижение ручных усилий: позвольте инструментам выполнять настройку гиперпараметров за вас или даже использовать AutoML, чтобы выполнить всю машинную обработку за вас.

Использование облака для массового параллельного обучения и конвейеров машинного обучения.

Развертывание моделей в TensorFlow Lite и TensorFlow.js.

про то, что все идет к AutoML, мы уже однократно писали

Отсюда

Карта ИИ

Гигантская карта искусственного интеллекта (кликабельна)

Отсюда

Тренды в аналитике данных

Отсюда

Causal Inference и Python

Визуализация каузальности - почему в графическом исполнении

см. также другие публикации, посвященные каузальности

Тайные общества

Поиск сообществ на графах. Новый вариант использования рекуррентной графовой нейронной сети.

Агентное моделирование

Пример агентного моделирования с использование Mesa в Python

Водяные знаки

Пометка изображений с использованием состязательного машинного обучения, так что попытки редактирования защищенного изображения становятся видны.

Нейронные сети с самых основ

Классно сделанный интерактивный учебник по нейронным сетям

Анализ логов

LogMine - извлечение шаблонов из логов

P.S. и интересная дискуссия со ссылками на другие продукты на YC

P.P.S. См. также другие публикации, посвященные анализу логов

Больше смещений, хороших и разных

Какой он бывает - bias

См. также другие публикации по теме bias

Вейвлеты

Простое и толковое описание - How Wavelets Allow Researchers to Transform, and Understand, Data

Почему - по версии Netflix

Вычислительные причинно-следственные выводы - как это понимает Netflix. Вот исходная статья, представляющая программый инструмент для анализа каузальности

см. также другие публикации, посвященные каузальности

Think different

Будущее ИИ - не в новых моделях, а в новом (ином) использовании существующих

Обогащение данных

Об одном подходе к улучшению качества данных. Имея изначально небольшой набор изображений для обучения, автор искусственно создавал изображения, проверял модель на них и добавлял к исходноиму набору данных нераспознанные изображения с правильными, вручную проставленными метками. Фактически - состязательная тренировка для улучшения качества данных.

Наше общее детство прошло на одних букварях

Атаки на система машинного обучения позволяют, в частности, выяснить - а был ли интересующий нас объект в тренировочном наборе? То есть по результатам работы системы можно оценить тренировочный набор данных. Вот пример такой атаки, которая называется Identity Membership Attack. Волшебная технология ...

Открытая наука, том 9, номер 10

Очередной номер журнала INJOIT появился на сайте Киберленинка. В этом номере опубликована, в частности, первая статья из нашего нового цикла работ, посвященного устойчивому машинному обучению.

Это том 9, номер 10 за 2021 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Ядерные методы

Хорошие рассуждения на тему - почему же глубинное обучение работает?

Интерпретация результатов машинного обучения

Интерпретация и объяснения для машинного обучения:

Отчет Cloudera Fast forward labs - Interpretability

XAI методы

Интегрированные градиенты

См. также другие публикации на тему "почему"

State of AI

Еще один отчет по Искусственному интеллекту: AI 2021. Интересен весьма глубокой технической экспертизой. Авторы - из мира венчурного капитала. То есть за выводы им отвечать своими деньгами.

Ключевые темы отчета за 2021 год включают:

ИИ развивается более конкретными способами, в том числе применяется в критически важной инфраструктуре, такой как национальные электрические сети, и в автоматизированной оптимизации складских помещений в супермаркетах во время пандемий.

Подходы, ориентированные на ИИ, взяли штурмом биологию благодаря более быстрому моделированию клеточных механизмов человека (белков и РНК). Это может изменить открытие новых лекарств и здравоохранение.

Трансформеры появились как архитектура общего назначения для машинного обучения, превзойдя современные достижения во многих областях, включая НЛП, компьютерное зрение и даже предсказание структуры белков.

Инвесторы обратили на ИИ внимание: рекордное финансирование в этом году стартапов в области ИИ и два первых в истории IPO компаний, занимающихся открытием новых лекарств, а также блокбастерные IPO для компаний, занимающихся инфраструктурой данных и кибербезопасностью, которые помогают предприятиям переоснащаться для перехода на эру ИИ.

Недостаточные ресурсы усилий по согласованию ИИ со стороны ключевых организаций, которые продвигают ИИ в целом, а также озабоченность по поводу наборов данных, используемых для обучения моделей ИИ, и предвзятость в контрольных показателях оценки моделей поднимают важные вопросы о том, как лучше всего отображать прогресс ИИ.

ИИ теперь представляет собой настоящую гонку вооружений, а не фигуральную форму. Исследователи ИИ традиционно рассматривали гонку вооружений ИИ как образную - имитированные воздушные бои между конкурирующими системами ИИ, проводимые в лабораториях, - но это меняется с сообщениями о недавнем использовании автономного оружия различными вооруженными силами.

В рамках соперничества между США и Китаем примечателен рост качества исследований и подготовки талантов Китая, при этом китайские институты теперь опережают наиболее известные западные. Зависимость мира от полупроводниковой промышленности Тайваня, которая производит микросхемы искусственного интеллекта для глобальных технологических гигантов, является центральной точкой геополитической напряженности.

Как и в случае с другими аспектами так называемого «фрагментированного интернета», происходит появление и национализация крупных языковых моделей.

См. также публикации про альманах искусственного интеллекта

Монография по Байесовской оптимизации

Книга в открытом доступе: Bayesian Optimization Book

См. также другие публикации по теме Байес

Python vs Swift

Проблемы Python, которые Google предлагает решать с помощью Swift

Веб-чат для Telegram

Симпатичный инструмент отправки запросов с сайта в Telegram

Альманах ИИ N 9

Альманах Искусственного интеллекта, посвященный аппаратному обеспечению

За пояснить

Почему это так - модерируемый список по explainability & interpretability для систем машинного обучения

Всех не просканируешь

Использование GAN для медицинских изображений. Для машинного обучения нужны данные (изображения), собирать трудно и дорого. Остается делать их самим.

Использование SHAP

Объяснение на примерах - как использовать SHAP для объяснения результатов машинного обучения. И делать это можно на разных уровнях: на этапе тренировки, при валидации и при использовании

См. также другие ссылки по теме "почему"

Академия графов

Хороший учебный сайт от Neo4j: графовая база данных и алгоритмы на графах

См. также другие публикации, посвященные Neo4j

Дата-журналистика

The Data Journalism Handbook

См. также другие публикации по теме журналистика

А что делать?

Программные инструменты имитации пространства для физического общения

ML поисковик

Мета-поиск по моделям ML и исходному коду. Вот, например, статьи и код по теме adversarial

Парковки в городах

Весма подробный и тольковый обзор решений для парковок в Умном городе

Wi-Fi sensing

Хороший обзор по использованию стандартных Wi-Fi устройств длдя мониторинга активности

См. также другие публикации, посвященные Wi-Fi

Устойчивое машинное обучение

Академические и индустриальные проекты, посвященные устойчивому машинному обучению. Обзорная статья.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Реальный ИИ

Про искусственный интеллект: "Несмотря на утверждения об обратном, у беспилотных автомобилей в настоящее время больше аварий, чем у автомобилей, управляемых людьми, но травмы менее серьезные. В среднем происходит 9,1 ДТП с участием беспилотных автомобилей на миллион пройденных километров, в то время как такой же показатель составляет 4,1 ДТП на миллион миль для обычных транспортных средств."

Отсюда

См. также предыдущую публикацию по этой теме

О нейронных сетях на графах

Пара статей:

1. Обзор GNN

2. О кодировке графов

См. также другие публикации, посвященные GNN

Печальная реальность

Реальное состояние систем искусственного интеллекта - без человека пока никак. Или это должны быть системы с низкой ценой ошибки.

"Жидкие" нейронные сети

Нейронные сети, которые обучаются в процессе работы. Вот здесь есть подробнее об этом проекте из MIT. Выглядит как вариация на тему онлайн обучения. И совсем непонятно, как в такой модели бороться за устойчивость.

Online ML

Онлайн системы машинного обучения. Это ситуация, когда у нас нет полного датасета. Данные поступают последовательно

Состязательная косметика

Наглядный пример атак на систем машинного обучения

Состязательный макияж. Что нового: исследователи из Университета Бен-Гуриона и NEC разработали систему для нанесения естественного макияжа, который делает людей неузнаваемыми по моделям распознавания лиц.

Как это выглядит: работая с 20 добровольцами, исследователи использовали FaceNet, которая изучает сопоставление изображений лиц с компактным евклидовым пространством, для создания тепловых карт, показывающих, какие области лица наиболее важны для идентификации.

Они использовали приложение для виртуального преобразования потребительского уровня YouCam Makeup, чтобы преобразовать тепловые карты в цифровые шаблоны макияжа, наложенные на изображение каждого добровольца. Они скармливали FaceNet копии этих цифровых снимков лица до тех пор, пока объект не стал неузнаваемым. Затем визажист физически нанес эти узоры на настоящие лица в нейтральных тонах.

Добровольцы шли по коридору, сначала без макияжа, а затем с макияжем, пока их снимали две камеры, которые транслировали свои снимки на распознаватель лиц ArcFace. Результаты: ArcFace распознал участников с нанесенным макияжем в 1,2% кадров. Он распознал тех, кто не использовал макияж в 47,6 процентах кадров видео, и тех, кто использовал случайный рисунок макияжа в 33,7 процента кадров.

Почему это важно: эта новая техника требует только обычного ненавязчивого макияжа и отказа от аксессуаров, которые могут вызвать подозрения у сотрудников службы безопасности. Он предлагает, пожалуй, самый простой способ для обычных людей помешать распознаванию лиц - по крайней мере, до тех пор, пока алгоритмы не приспособятся (то есть будут обучены распознавать такие случаи).

См. также другие публикации по теме adversarial, посященные устойчивому машинному обучению

И о статистике

Интересный практический материал - ошибки статистиков. Изложение иллюстрируется соответствующей тетрадкой для непосредственной работы с кодом

Распределитель

Интересная и практическая статья Spatial-Temporal Demand Forecasting and Competitive Supply. Распределение заказов в логистике, такси по клиентам и т.д.

Евро IoT

IoT 2.0 and the INTERNET of TRANSFORMATION (Web of Things and Digital Twins) - технический отчет EU по современному состоянию систем IoT

Ученый рейтинг

Рейтингование исследователей по данным Google Scholar. Вот, например, Computer Science в России за 2021 год

Аппроксимация по перцентилям

Практический метериал: How percentile approximation works (and why it's more useful than averages). Все дело в длинных хвостах.

Свободное место

Поиск свободных парковок по изображениям

МЭМС

МЭМСы. Как устроены современные датчики?. Микроэлектромеханические системы (МЭМС) — устройства, объединяющие в себе микроэлектронные и микромеханические компоненты.

Крайние вещи

Обзор Edge based IoT

Анализ причинных связей

Анализ причинных связей переменных

См. также другие публикации, посвященные каузальности

Автомат перекоса

Регрессия для данных, где много нулевых значений

Ноу криминалити

Общественная палата зачем-то выложила поминутный график электронного голосования в Москве. За одну минуту в 3 часа ночи 18.09 проголосовало 4500 человек. И тут же легли спать - ни до, ни после ничего такого нет. Совсем ноу криминалити. Ну никаких следов взлома.

Данные - отсюда

Декларативный ML

Важная статья. Следующий шаг за AutoML - это декларативный ML

Байесовская оптимизация

Байесовская оптимизация с хорошими иллюстрациями

P.S. см. также другие публикации по теме Байес

Тестирование ML приложений

Важная тема - как тестировать системы машинного обучения.

Правило использования ML

ML strategy tip

When you have a problem, build two solutions - a deep Bayesian transformer running on multicloud Kubernetes and a SQL query built on a stack of egregiously oversimplifying assumptions. Put one on your resume, the other in production. Everyone goes home happy.

Отсюда: Первое правило для машинного обучения - попробуйте без него

Кстати, Google говорит о том же: Rule #1: Don’t be afraid to launch a product without machine learning.

Основы HTTP/3

Толковый перевод статьи по HTTP/3

См. также другие публикации, посвященные HTTP/3

Java 17

Новый релиз Java. Не знаю, как на такие добавления реагировать, точно ли все это нужно?

Как испортить изображение

Модификации данных в системах на базе машинного обучения, которые ломают систему (обманывают классификаторы)

HMM vs LSTM

Для анализа последовательных данных доступно множество инструментов. Один из самых простых, гибких и проверенных временем подходов - это скрытые марковские модели (HMM). Изначально они были разработаны для обработки сигналов, а теперь широко используются в биоинформатике.

В сообществе специалистов по науке о данных есть тенденция отдавать предпочтение вариантам машинного обучения, таким как LSTM. Хотя эти инструменты довольно мощные, они также заведомо сложны и трудны для понимания. В результате вы часто видите, как специалисты по обработке данных изо всех сил пытаются использовать сложный подход, когда простой будет работать лучше.

Скрытые модели Маркова или LSTM?

Атаки на системы распознавания голоса

Как выглядят атаки на системы распознавания речи

Что когда использовать?

Краткое руководство по применению моделей машинного обучения

Пространственно-временные кластеры

Интересная статья: k-NN с учетом времени

Кубик

OLAP Cube - красочное описание

Online ML

River - машинное обучение для потоков данных

CLTC UC Berkeley

Center for Long-Term Cybersecurity University of California, Berkeley. И их исследования в области устойчивого машинного обучения

О маленьком Интернете

Как посторить гиперлокальный Интернет. Ресурсы сети доступны только в некоторой локальной области (в сетевой близости от пользователя). Статья конференции DCCN-2020

Открытая наука том 9, номер 9

Очередной номер журнала INJOIT появился на сайте Киберленинка

Это том 9, номер 9 за 2021 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

ИИ оптимизатор

Deep learning модель, которая оптимизирует нейронные сети

Инциденты с ИИ

База данных Artificial Intelligence Incident.

Вот здесь есть описание проекта от авторов

Являясь центральным систематизированным хранилищем проблем, возникающих в реальном мире в результате применения ИИ, эта краудсорсинговая база данных может помочь специалистам в области ИИ смягчить или избежать повторения плохих результатов в будущем. Откройте для себя ранее предоставленные отчеты об инцидентах или отправьте свои собственные сегодня.

Обобщение в нейронных сетях

Люди понимают мир с помощью абстракции: если вы усвоите концепцию схватывания палки, вы также поймете, как схватить мяч. Новая работа исследует способность систем глубокого обучения делать то же самое - важный аспект их способности делать обобщения.

Что нового: психологи называют такое мышление систематическим рассуждением. Исследователи из DeepMind, Стэнфордского университета и Университетского колледжа Лондона изучали эту способность в моделях глубокого обучения с подкреплением, обученных взаимодействовать с окружающей средой и выполнять задачу.

Ключевой вывод: Феликс Хилл и его коллеги обучили модель помещать объект 1 в точку 1 с примером выполняемого действия. Во время тестирования они попросили модель поместить объект 2 в позицию 2. Объекта 2 и позиции 2 не было в обучающей выборке, поэтому способность модели выполнять задачу указывает на общее понимание того, как положить.

Как это работает: модель получает представление об окружающей среде вместе с описанием задачи (инструкцией по размещению или поиску данного объекта). Модель обрабатывает эти элементы по отдельности, а затем объединяет свое понимание каждого из них, чтобы определить серию действий для выполнения задачи.
Модель состоит из трех компонентов (обычный выбор для обработки изображений, понимания текста и решений последовательности): CNN обрабатывает представление среды, LSTM интерпретирует описание задачи, а выходы CNN и LSTM объединяются в скрытом слое LSTM для отслеживания прогресса. к выполнению задачи.
Модель учится связывать различные объекты с их именами, выполняя задачи put [object] или find [object]. Исследователи разделяют объекты на тестовые и обучающие наборы. Затем они обучают модель ставить или поднимать предметы в обучающую выборку. Чтобы измерить систематичность рассуждений, они просят его поднять или положить предметы в набор для тестирования.

Результаты: исследователи обучили копии модели в смоделированных 2D и 3D средах. В любом случае более 91% удалось поднять новые объекты. Однако успешность размещения новых объектов упала примерно до 50 процентов в обеих средах.

Да, но: удаление описания задачи и компонента LSTM не сильно повлияло на производительность. То есть, хотя такие слова, как положить и найти, могут помочь людям понять, как нейронные сети работают систематически, язык, по-видимому, не имеет решающего значения для их работы.

Почему это важно: нейронные сети могут делать обобщения, но наше понимание того, как они это делают, неполно. Это исследование предлагает способ оценить роль систематических рассуждений. Результаты предполагают, что модели, которые рассуждают систематически, с большей вероятностью будут обобщать.

Вывод: недавняя серия предварительно обученных языковых моделей приобретает знания, которые позволяют им выполнять различные задачи без переобучения с нуля. Понимание систематических рассуждений в нейронных сетях может привести к повышению производительности в областях, отличных от естественного языка.

Отсюда

TensorFlow + Keras

Учебник в colab: TensorFlow + Keras

Data engineering проекты

5 интересных проектов по выбору создателя инфраструктуры Twitter

Что еще можно подслушать?

Умная звуковая колонка позволяет слушать сердцебиение

Радио - это очень просто

По мотивам знаменитой книги. Как передаются сигналы по радио.

Кто это сделал?

Интересная работа по учету вклада отдельных уровней CNN в результат работы сети. Важно в плане генерации возможных состязательных примеров.

См. также другие статьи, посвященные CNN

ML ресурсы

Интересные ссылки по машинному обучению:

https://paperswithcode.com - соответствует названию. Статьи, изложение которых сопровождается кодом. Cвежие решения задач, ссылки на тестирование проектов на разных референсных датасетах.

https://distill.pub - журнал по ML с хорошо иллюстрированными статьями

https://ruder.io - блог NLP разработчика из DeepMind (Sebastian Ruder)

http://colah.github.io - еще один блог (Christopher Olah) с объяснениями разных прооблем ML

Физический интернет

Паллеты и контейнеры в роли IP-пакетов

Сравнение AutoML продуктов

Сравнительный анализ работы AutoML на открытых датасетах

См. также другие публикации по теме AutoML

А пояснить?

Explainability в машинном обучении.

См. также другие публикации на тему "почему"

О неопределенности в машинном обучении

Типичный пример продукта в машинном обучении - MAPIE. Длинное описание, все хорошо, и последнее предложение, которое все убивает: At the moment, MAPIE can only be used on single-output regression problems. Все это - для одной единственной модели. Самой простой :)

Дрифты в машинном обучении

Интересный и практически полезный отчет от Cloudera по оценке смещения в распределении данных. Обучали модель на одних данных, а тестовые данные имеют другое распределение

И это все?

Нейронные сети при распознавании образов - это всего лишь хэш-таблица с нечеткими ключами.

И еще о pandas

Простые примеры использования Pandas. И самый простой способ использования это, конечно, бесплатные облачные блокноты: IBM Watson Studio и Google Colab

См. также другие публикации, посвященные pandas

Больше учебных программ по ИИ

1. Гранты Минобрнауки на разработку учебных программ бакалавриата и программ магистратуры по профилю «Искусственный интеллект», а также на повышение квалификации педагогических работников образовательных организаций высшего образования в сфере искусственного интеллекта - результаты

2. Яндекс на мехмате МГУ

Классификатор ML алгоритмов

63 алгоритма машинного обучения

Современные проблемы компьютерных и информационных наук

24 - 27 ноября 2021 года на факультете вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова состоится Международный конгресс «СОВРЕМЕННЫЕ ПРОБЛЕМЫ КОМПЬЮТЕРНЫХ И ИНФОРМАЦИОННЫХ НАУК». В рамках Конгресса будут проведены пленарные заседания и серия научных мероприятий, соответствующих приоритетным направлениям развития науки, технологий и техники в Российской Федерации в крупнейшей междисциплинарной области современности - информационно-телекоммуникационные системы - которая объединяет представителей математики, информатики, физики и наук о материалах, компьютерных наук, наук о данных и гуманитарных наук из России и зарубежных стран.

Конгресс проводится в рамках программы деятельности Федерального учебно-методического объединения в системе высшего образования по укрупненной группе специальностей и направлений подготовки 02.00.00 «Компьютерные и информационные науки».

Основная программа научных мероприятий Конгресса включает проведение:

VI Международной научной конференции «Конвергентные когнитивно-информационные технологии»;
XVI Международной научно-практической конференции «Современные информационные технологии и ИТ-образование»;
XI Международной конференции-конкурса «Инновационные информационно-педагогические технологии в системе ИТ-образования» – ИП-2021.

Материалы принимаются только в электронном виде через англоязычную или русскоязычную web-форму. Для прикрепления материалов требуется регистрация на сайте конференции.

Рабочими языками Конгресса являются английский или русский.

По результатам работы VI Международной научной конференции «Конвергентные когнитивно-информационные технологии» и XVI Международной научно-практической конференции «Современные информационные технологии и ИТ-образование» научные доклады, рекомендованные программным комитетом, будут опубликованы в Международном научном журнале «Современные информационные технологии и ИТ-образование» (ISSN 2411-1473), который включён в Перечень ВАК Минобрнауки РФ, и проиндексированы в РИНЦ, EBSCO, DOAJ, Ulrichsweb Global Serials Directory, European Reference Index for the Humanities and the Social Sciences (ERIH PLUS), Index Copernicus International.

С целью повышения видимости публикаций конференций для международного научного сообщества избранные научные доклады VI Международной научной конференции «Конвергентные когнитивно-информационные технологии» и XVI Международной научно-практической конференции «Современные информационные технологии и ИТ-образование» будут опубликованы в издательстве Springer в виде отдельных книг (выпусков) в серии Communications in Computer and Information Science (CCIS) и проиндексированы в базе Scopus.

Правила оформления и подачи работ

И о моделях

Все не так хорошо с натренированными моделями машинного обучения. А что плохо - описано здесь. Спойлер - проблема с устойчивостью (как и везде в современном машинном обучении).

Рекомендации в реальном времени

Хороший обзор - как устроены рекомендации в реальном времени

См. также другие публикации, посвященные анализу данных в реальном времени и сессионным рекомендательным системам

R и анализ данный

Все для (и про) анализа данных на R от The Johns Hopkins Data Science Lab

См. также другие публикации, посвященные языку R

Интеллектуальные двойники

Цифровые двойники по-китайски. Intelligent Twins от Хуавей

См. также другие публикации, посвященные digital twins

BIM-блог

Хороший блог, посявященный информационному моделированию

См. также другие публикации, посвященные BIM

Анализ динамических взаимодействий

Социальный граф естественным образом представляется в виде графовой структуры. Узлы - участники социальной сети, например, а ребра - связи между ними. В данной статье рассматриваются динамические сети, которые отображают текущее (меняющееся во времени) взаимодействие (общение) участников.

Куда дальше?

Yoshua Bengio, Geoffrey Hinton и Yann LeCun - проблемы глубинного обучения и куда двинаться дальше. Одно из направлений - System 2 deep learning.

Современные системы машинного обучения основаны на гипотезе независимо и одинаково распределенных (IID - independently and identically distributed) данных. По сути, алгоритмы машинного обучения работают лучше всего, когда их обучающие и тестовые данные относятся к одному и тому же распределению. Это предположение может хорошо работать в простых средах, таких как подбрасывание монет и бросание игральных костей. Но реальный мир запутан, и распределения почти никогда не бывают однородными.

«Когда мы это делаем, мы уничтожаем важную информацию об изменениях в распределении, которые присущи собираемым нами данным», - сказал Yoshua Bengio. «Вместо того, чтобы уничтожать эту информацию, мы должны использовать ее, чтобы узнать, как меняется мир».

Интеллектуальные системы должны иметь возможность делать выводы для различных распределений данных, точно так же, как человеческие дети учатся приспосабливаться к изменениям своего тела и окружающей среды. «Нам нужны системы, которые могут справиться с этими изменениями и осуществлять непрерывное обучение, обучение на протяжении всей жизни и так далее», - сказал Yoshua Bengio в своем выступлении на NeurIPS. «Это давняя цель машинного обучения, но мы еще не нашли решения этой проблемы».

BIM и IoT

Информационное моделирование развивается весьма быстро. Вот статья с обзором литературы по теме использования BIM и Интернета вещей

Робастные модели

Практический пример - почему нужны устойчивые модели машинного обучения: квадратные автомобильные номера не распознаются

Как изучать ИИ в 2021

Очередная подборка учебных материалов по искусственному интеллекту

Отбор признаков

Бесплатные инструменты для feature selection в задачах машинного обучения

См. также другие инструменты для выбора признаков

Кодо-картинки

Хороший пример визуализации репозиториев программ

Статистическое обучение

Книга в свободном доступе: Введение в статистическое обучение. Вторая редакция. С упражнениями и примерами.

Python для ленивых

Техническое: в этом Python playground помимо самого текста программы можно еще и загружать текстовые файлы данных

См. также другие публикации, посвященные Python

Вас здесь не звучало

Новая волна стартапов (сервисов) по генерации голоса. Актеры для озвучки становятся просто не нужны

Интерпретируемый K-means

Практический материал - что отличает один кластер от другого. Как определить самые важные характеристики кластеров при использовании K-Means

Проще - лучше

Новая архитектура для систем машинного зрения на базе многослойного перцептрона проще, чем CNN

Open Source школа от Самсунг

Хотите прокачать скиллы Open Source-разработчика этим летом? Самсунг приглашает разработчиков поступить в бесплатную летнюю онлайн школу Community of Open Source Newcomers (COMMoN). Open Source стал глобальным трендом развития программного обеспечения как для компаний, так и для разработчиков. Все пользуются open source решениями, а у многих ли за плечами опыт успешного котрибьюторства в большие проекты?

Разработчики смогут это сделать в школе COMMoN! Участники проведут 4 недели, обучаясь у опытных контрибьюторов и работая над своим собственным коммитом в один из трех известных open source проектов: ROS, Arenadata DB, DeepPavlov.

И это не всё, лучшие решения получат награду от компаний-партнеров треков.

Сроки работы онлайн школы: 16 августа – 10 сентября 2021 г.

Возраст участников не ограничен. Как поступить: https://sosconrussia.net/common_ru

Как устроены CNN

Объяснение работы Convolutional Neural Networks. И интересная дискуссия на YC

P.S. см. также другие публикации, посвященные CNN

Листая старые страницы

Сборник: РАСПРЕДЕЛЕННЫЕ КОМПЬЮТЕРНЫЕ И ТЕЛЕКОММУНИКАЦИОННЫЕ СЕТИ: УПРАВЛЕНИЕ, ВЫЧИСЛЕНИЕ, СВЯЗЬ (DCCN-2020)

и интересная статья о построении гиперлокальной сети Интернет

Карты значимости

Все нейроны важны, но некоторые важнее. От чего реально зависи вывод нейронной сети? Это, кстати, имеет прямое отношение к устойчивости систем машинного обучения. Значимые нейроны - это то, что и может быть атаковано.

Языковые модели

Как устроены языковые модели

Курсы Kaggle

Курсы от Kaggle по машинному обучению и связанным вопросам

Приложения GNN

Графовые нейронные сети на практике

См. другие публикации, посвященные GNN

Об устойчивом машинном обучении

Базовая проблема для систем машинного обучения: данные на этапе тренировки модели и при практической эксплуатации - разные. И не похожи друг на друга. Другое распределение - distributional shift. Что же делать?

Соревнование от Яндекса: Если сдвиг распределения данных в реальном мире значителен относительно обучающей выборки (например, модель машинного перевода, которая училась на классической литературе, вдруг возьмется переводить твиты), недостаточно надежные модели будут ошибаться. Поэтому, попадая в реальный мир, модели должны быть готовы справляться со сдвигом, который их там ждет.

Этим, однако, дело не ограничивается. Чтобы модель работала эффективно и безошибочно, о вероятности ошибки лучше знать заранее: следовательно, модель должна давать оценку неопределенности относительно своих решений. Поэтому мы хотим добиться от моделей, с одной стороны, устойчивой работы при сдвиге распределения, а с другой — умения оценивать неопределенность.

Это часть NeurIPS 2021 Competition Track. Вот оригинальная страница Shifts Challenge

Все о регрессии

Большая регрессионная книга. Примеры на Python и R

И об потерях

Все о loss-функциях

Системные архитектуры

Толковые лекции по программной архитектуре

P.S. тут у автора еще есть интересные материалы по программной инженерии

Объявляется прием на программу "Разработчик компьютерных технологий"

Объявляется прием на программы профессиональной переподготовки для получения дополнительной квалификации «Разработчик профессионально-ориентированных компьютерных технологий»
(очно-заочная и дистанционная формы обучения) с 14 июля по 20 сентября 2021 г.

Сроки обучения – 2 года
Форма обучения – вечерняя (очно-заочная) и дистанционная.
Обучение осуществляется на договорной основе (50 000 руб. за 1 семестр, вся программа – 200 000 руб.)
Выпускники получают Диплом о профессиональной переподготовке с присвоением дополнительной квалификации установленного образца.

Прием документов и подробная информация на сайте

Зачисление производится приемной комиссией факультета по факту оплаты за 1й семестр.
Телефон для справок: 8(910)553-6487, dpovmk@cs.msu.ru Якушин Алексей Валериевич

/via Магистратура ВМК МГУ

Долой SQL

Довольно интересная атака на SQL. И бурная дискуссия на YC

Copilot

Обзор текущего состояния системы Copilot (генеративная модель для генерации кода). Пока получается не очень хорошо.

Вам, Юлиеводы

Коллекция алгоритмов data science, реализованных на языке Julia

P.S. см. также другие публикации, посвященные языку Julia

Открытая наука, том 9, номер 7

Очередной номер журнала INJOIT появился на сайте Киберленинка

Это том 9, номер 6 за 2021 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

NLP курс

Интересный курс по NLP, целиком реализованный на Google Collab

Fake Detector

Это не его лицо - fake face detector всего с 40 000 параметров

Вот здесь подробнее об этой и других похожих работах

А поговорить?

State of the Art: современное состояние систем синтеза речи

О цифровых двойниках

Событийная платформа для цифровых двойников

Современная статистика

Неплохой учебник по современной статистике в открытом доступе

Госуслуги

502 Bad Gateway
nginx

Символично ...

SNAP и другие

Python-библиотеки для интерпретации результатов машинного обучения

О безопасном ИИ

Манифест от CMU, посвященный устойчивому машинному обучению. С интересной библиографией

GitHub MLOps

Использование Github Actions для DevOps

Онлайн и удаленка

Канал в Zen, посвященный онлайн преподаванию

Пространственные запросы в помещении

Интересная работа по Indoor Spatial Queries: Modeling, Indexing, and Processing

Архитектура распределенных систем

Толковое описание архитектуры распределенных систем

Локальный хэш

Хэш, для поиска ближайших (похожих) данных

И интересная дискуссия на YC

См. также другие публикации с темой хэш

О работе в машинном обучении

1. Что спрашивают при приеме: энциклопедия ML interview

2. Как работать - анализ опросов разработчиков на Kaggle. Чем занимаются, какие инструменты используют работающие в области ML

См. также другие публикации, посвященные интервью при приеме на работу

О трансформерах

Трансформеры - как это работает

О важности очистки данных

Хорошая публикация об очистке данных в системах машинного обучения

См. также другие публикации о системах очистки данных

Где-то на краю ...

Edge/Fog computing и приложения IoT

Упрощение траекторий

Спрямление траеторий путем обучения с подкреплением

Байесовские модели и R

Построение Байесовских моделей с помощью R

См. также дркгие публикации по теме Байес

DataOps

Что представляет собой DataOps

Глубинное обучение на графах

Довольно толклвое введение в глубинное обучение на графах

Статистическое обучение

Введение в статистическое обучение

Промышленные рекомендации

Практика рекомендательных систем: Netflix, YouTube и др.

См. также другие публикации про рекомендательные системы

Практический анализ данных

Очень толковая книга: Reproducible Data Science: Accessible Data Analysis with Open Source Python Tools and Real-World Data

По шагам - что делать с данными. Все сопровождается кодами на Python.

Низкая степень риска

Медизделия в виде программного обеспечения, даже с искусственным интеллектом, приравнены к изделиям с низкой степени риска. Приказ Министерства здравоохранения РФ от 22 апреля 2021 г. N 386н

При этом среди документов, поданных для проведения экспертизы такого ПО, должны быть фотографии электронного носителя ПО и фото интерфейса ПО размером не менее 18 х 24 см. Отсюда

P.S. вспомнилось, как смеялись над фотографией, где следователи картинку на экране рассматривали через увеличительное стекло. Вот, чтобы такого не было - 18x24 ...

Генераторы Gesan

Есть ситуации, когда возникает острая необходимость в использовании дополнительных источников энергии. Например, на временных строительных площадках или в местах, где отсутствуют электросети нужной мощности.

Мобильность и оперативность подключения также не относятся к достоинствам сетей общего пользования. Подобные задачи способны решать лишь полностью автономные источники электропитания — электростанции, работающие на бензине или дизельном топливе.

Распродажа: генераторные установки Gesan из Европы в наличии на складе в Москве

Холодный душ

Революции в анализе медицинских изображений с помощью машинного обучения так и не произошло

Кризис доверия к AI в медицине

Кажется, что понимание фундаментальных проблем машинного обучения (а именно это сейчас - искусственный интеллект) с робастностью растет.

Low code ML

Машинное обучение без программирования. Это русский перевод следующей статьи Top 8 “No-Code” Machine Learning Platforms You Should Use In 2020

О машинном обучении

Хороший учебник, охватывающий практически все аспекты ML: Patterns, predictions, and actions

Вот его версия в arxiv

Короткие рекомендации

Хороший учебный материал по рекомендательным системам для сессий. Как выработать рекомендации, используя только текущую сессию пользователя (действия пользователя только в текущей сессии, без использования долгой истории).

См. также следующую публикацию

P.S. см. другие исследования от Cloudera Fast forward labs

Все вижу и описываю

Аналог GPT-3 для задач обработки изображений

Машинное обучение на войне

Некоторые ссылки по военному искусственному интеллекту:

Первая война с использованием ИИ. Системы ИИ в армии Израиля.

Умный дрон в армии США

Военный ИИ в Евросоюзе. Например: детектор взрывчатых веществ, военный робот

Открытая наука, том 9, номер 6

Очередной номер журнала INJOIT появился на сайте Киберленинка

Это том 9, номер 6 за 2021 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Stanford CS Curriculum 2021

Все курсы по Computer Science из Стенфордского университета

P.S. не все - вот здесь обсуждение и недостающие ссылки

ИБП для медицины

ИБП для медицины призваны обеспечить защиту оборудование от повреждений и нарушения работы вследствие различного рода сбоев в электропитании: провалы, просадки, всплески, искажение или полное отсутствие напряжения. Подробнее - ИБП для медицинского оборудования.

И распродажа генераторов со склада в Москве.

По такой то причине

Учебный курс Introduction to Causal Inference

см. также другие публикации, посвященные каузальности

Фаззинг, как он есть

Толковое объяснение того, что представляет собой фаззинг - подход к автоматизации тестирования. И главное - как это выглядит практически.

и живая дискуссия на YC

См. также другие публикации, посвященные фаззингу

Граф знаний

Хорошая статья с описанием современного состояния Knowledge Graphs

Bluetooth proximity API

Open Source решение от VMWARE - Bluetooth proximity API. Вот здесь есть описание идеи проекта Herald

Наши идеи по network proximity завоевывают мир

О масштабировании

Правила масштабирования программных архитектур. Cache! Cache! And Cache Some More!

Архитектура WhatsApp

Полезная статья - как устроен WhatsApp

О RSCI

Список лучших российских научных журналов. Российский веб оф сайенс. Бессмысленный и беспощадный.

Из презентации проекта: "Отбор журналов будет производиться в два этапа. На первом этапе будет сформирован предварительный список лучших российских журналов, отобранных с помощью библиометрических показателей и формальных критериев. На втором этапе этот список будет уточняться с помощью экспертной оценки и общественного обсуждения. "

Но жизнь круче. Журнал из этого списка - с нулевыми показателями статистики

Тяжелая работа была у экспертов по сравнению показателей и формальных критериев ...

P.S. вот в комментариях прислали еще один - в рейтинге журналов отсутствует. Но в лучшие входит :)

Обмен контактами

RFID метки для обмена окнтактной информацией. Это пример того, что, на самом деле, реализуется с помощью модели (архитектупы) сетевой близости.

FMI

Функциональные интерфейсы - стандарт для обмена информацияе о моделях цифровых близнецов.

Но почему?

Интересная статья по объяснениям для предиктивной аналитики. Например, XGBoost - для предсказания и объяснения с помощью SHAP. Проблема - confounding

Платформы для машинного обучения

Lessons on ML Platforms — from Netflix, DoorDash, Spotify, and more - уроки реального использования ML платформ

См. также другие публикации, посвященные платформам

Выхода нет?

Что делать и чему верить, если генерация фейков становится все дешевле?

Аудио-программирование

Как начать программировать звуки :)

Больше смысла

Интеграция языковых моделей типа GPT-3 и графа знаний. Сами по себе языковые модели могут, естественно, генерить абсолютно неверные, с фактической точки зрения, предложения. Вот пробуют положить этому конец.

Распродажа и скидки

Для дачи, стройки и даже дата-центра - распродажа генераторов с большими скидками

Фейк ньюс

Автоматическая генерация текста и фейковые новости. Отчет CSET об использовании GPT-3 в компаниях по дезинформации.

Deep Learning for compilers

Глубинное обучения и компиляторы - диссертация, посвященная использованию deep lerning в компиляторах. Возможно, название не совсем соответствует содержанию, но раздел, посвященный фаззингу - весьма интересный.

P.S. и интересная дискуссия на YC

P.P.S. см. также другие материалы, посвященные deep learning

Подбор аккумуляторных батарей

Батарейные калькуляторы на сайте absolutech.ru

Микро-ячейки

Small cells в Умном городе. Хорошая технология для network proximity.

Открытая наука, том 9, номер 5

Очередной номер журнала INJOIT появился на сайте Киберленинка

Это том 9, номер 5 за 2021 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

UPS своими руками

Все, что можно сделать из старой швейной машинки Зингера

Ну а здесь - промышленные UPS для медицины и дата-центров

Главные по Computer Science

The 2021 7th edition of Top Scientists Ranking for Computer Science & Electronics. Рейтинг авторов по Computer Science. В выборку попадают те, у кого H-index (он же Хирш) по Google Scholar > 40. В рейтинге по странам Россия - на 43 месте ...

Почему сеть не учится?

Почему не удается обучить нейронную сеть?

P.S. вот есть даже русский перевод 37 причин, почему ваша нейросеть не работает

ML pipe

Пайплайн - практическая поддержка ML проектов

Недолго осталось программировать?

Генерация кода по спецификациям на естественном языке. Основа - GPT-3. Причем авторы ходит это запустить именно как платный сервис. Будет цена за фрагменты кода.

Wired посвятил целую статью системам роботизации программирования. Facebook продвигает свой проект Aroma по рекомендации фрагментов кода (ищет похожие куски кода). MISIM от Intel также занимается сравнением фрагментов кода. А Google (Deepmind) просто хочет переписывать код для большей эффективности.

P.S. см. также другие публикации по теме автоматизация программирования

Данные как сервис

Базовые принципы DaaS

Анализ данных в R

Tidyverse - коллекция пакетов R для анализа данных. И учебник по использованию Tidyverse Skills for Data Science

P.S. см. также другие публикации, посвященные использованию R

Совпадает?

Отличная статья с разъясненями и примерами - как же осуществляется сравнения поисковых запросов с образцом

SQL для анализа данных

Хороший набор примеров по использованию SQL для анализа данных. Примеры - из PostgeSQL

См. также другие публикации, посвященные SQL

Обучение с подкреплением

AI система должна учиться сама. Почему Reinforcement learning - это очень важно.

Практика SAT/SMT

Учебник по S3 - алгебраический решатель

И дискуссия на YC

INJOIT vol. 9, no. 5

Вышел пятый номер журнала INJOIT в 2021 году. И девятый год издания журнала.

Темы статей:

• Бесконечные деревья в алгоритме проверки условия эквивалентности итераций конечных языков. Часть II
• Using topic modeling for communities clusterization in the VKontakte social network
• Критерии распространения различных классов булевых функций и их свойства
• Reconstruction of 2D structure of highly absorbing media
• Отбор информативных операций при построении линейно-неэлементарных регрессионных моделей
• Threat modeling of cloud systems with ontological security pattern catalog
• Особенности разработки информационной системы для учета льготного питания школьников
• Программная система входного профилирования абитуриентов – помощь при выборе будущей профессии
• Разработка информационной системы и приложения по приему и сопровождению заявок службы технической поддержки администрации
• Situational Digitalization of the Population Activities
• Об управлении трафиком в Умном городе

Архив журнала находится здесь.

/via Лаборатория ОИТ

На посадку

Анализ и моделирование посадки пассажиров в вагоны метро

Распределенный кэш

Архитектура распределенного кэша

Веб-безопасность

Простое объяснение: Cross-Site Request Forgery, Cross-Origin Request Sharing и XSS

и масса интересных ссылок в дискуссии на YC

kNN-LM

https://openreview.net/forum?id=HklBjCEKvH - языковая модель, которая подбирает слова в незаконченном предложении поиском в тренировочном наборе данных.

Идея прозрачна - гораздо проще заключить, что два фрагмента текста имеют схожее значение, чем заполнить пропуски. Получив фрагмент предложения и попросив его предсказать следующие слова, алгоритм ищет в обучающем наборе предложения, похожие на этот фрагмент предложения, и использует найденное, чтобы помочь предсказать пропущенные слова. Например, модель может соответствовать цели, начиная с «Диккенс является автором ___» с обучающим предложением «Диккенс написал Оливера Твиста». Затем модель знает, что «Оливер Твист» может быть подходящим для добавления к цели.

Как это работает: авторы предлагают предварительно обученную модель, векторные представления обучающих предложений и алгоритм комбинирования информации при анализе тестового предложения. Их подход работает с любой предварительно обученной моделью нейронного языка, но в большинстве экспериментов они использовали трансформаторные сети.

kNN-LM начинает с генерации векторных представлений каждой последовательности в обучающем наборе. Затем он выполняет поиск в этих векторах векторных представлений k-ближайших соседей новой входной последовательности. Чем ближе вектор обучающей последовательности к входному вектору, тем сильнее он взвешивает следующий токен обучающей последовательности. Модель нейронного языка также напрямую предсказывает следующий токен для ввода. Затем он учитывает как предсказание k-ближайших соседей, так и предсказание языковой модели в окончательном решении. Гиперпараметр определяет, насколько тщательно он учитывает каждый из них.

Результаты: Протестировано на наборе данных статей в Википедии, kNN-LM набрал 15,79 балла в метрике perplexity, что более чем на 10 процентов лучше, чем у предыдущей современной модели.

Почему это важно: языковые модели, вероятно, не будут интерпретировать технические термины, встречающиеся, скажем, в протоколах NuerIPS, если они обучены в Википедии. kNN-LM позволяет им находить меньше связанных слов в обучающих данных, потенциально улучшая обобщение для непонятной темы.

Без батарей

Wiliot - Bluetooth теги без батарей

ML обзоры

Коллекция обзорных работ по машинному обучению

См. другие публикации по теме machine learning

Кто что помнит?

Работа с большими массивами данных в Python. Полезная подборка статей.

См. также другие публикации, посвященные Python

ML в потоке

Машинное обучение в аналитике потоков данных

См. также другие ссылки по stream processing

Архитектура Uber

Довольно интересное описание внутреннего технического устройства Uber

Графы и геномы

Анализ генетической информации в графовой базе данных.

Что почитать?

Интересная модель, которая предсказывает горячие темы в редакционной работе Financial Times

Плохая база

Массовые ошибки в размеченных датасетах могут привести к большим проблемам в системах на базе машинного обучения. Вот, например, статья, которая оченивает влияние ошибок в разметке для ImageNet

Транспортная аналитика

Аналитика данных для транспортных систем

Бесплатные сервисы для разработчиков

Большая коллекция бесплатных сервисов для разработчиков

Микросервисные базы данных

Базы данных и микросервисы

Про API

Сравнение архитектурных моделей: SOAP vs REST vs GraphQL vs RPC

Базы данных In-memory

Tarantool vs Redis

О промышленном Интернете Вещей

Хороший обзор Challenges and recommended technologies for the industrial internet of things: A comprehensive review

WebXR

Смешанная и дополненная реальность в браузере. Новый ресурс от Google для демонстрации WebXR технологий

Гео-запросы

Интересная и практическая статья: Location- and keyword-based querying of geo-textual data: a survey

Deep Learning

Курс Yann LeCun со всеми материалами Deep Learning, DS-GA 1008