Таблизатор

Простой и полезный инструмент работы с таблицами

Покажи это

О визуализации датасетов.

Текст как данные

Хороший учебный курс от Duke University по анализу текстов.

О причинности

Structural Causal Models

см. также другие публикации, посвященные каузальности

Открытая наука

Очередной номер журнала INJOIT на сайте Cyberleninka

Программистское

Не повторяйте одну и ту же ошибку в коде снова и снова. Лучше сделать с ней функцию и просто вызывать, когда нужно.

мудрость из Твиттер

INJOIT vol. 7, no. 5

Вышел новый номер журнала INJOIT. Это пятый номер в 2019 году. Спасибо авторам за интересное содержание.

Темы статей:

• Кластеризация ситуаций при решении прикладных оптимизационных задач (на примерах задач коммивояжёра и восстановления матрицы расстояний)
• Piecewise Linear Bounding Functions in Univariate Global Optimization
• Архитектура промышленных приложений IoT и протоколы AMQP, MQTT, JMS, REST, CoAP, XMPP, DDS
• Path Guidance System For Blind People
• Применение физических признаков видео к задаче классификации
• Transactionality of Digital Transformation within an R&D Organization
• Имитационное моделирование постбиометрического метода аутентификации на основе данных о пользователе
• Evaluation and Recommendation IT Governance in Hospital Base on COBIT Framework
• Умный горожанин в умном городе: обзор подходов в России и за рубежом
• К вопросу о содержании понятия и особенностях онтологии цифровой энергетики и её правового образа
• Онтологии больших данных, машинного обучения, и искусственного интеллекта на цифровой железной дороге
• На пути к физическому интернету: индустрия, логистика и электронная коммерция 4.0. Европейский вариант
• Внедрение цифровых двойников как одно из ключевых направлений цифровизации производства

Архив журнала находится здесь.

/via Лаборатория ОИТ

Мониторинг транспорта

Счетчики машин

За стеной

Wi-Fi видит сквозь стены

См. также другие проекты, посвященные Wi-Fi

Data 100

Книга по базовым элементам Data Science

Долой JavaScript

Python в браузере

MedSoft - 2019

Презентации конференции MedSoft

Анализ данных на Python

Весьма неплохой курс

См. также поиск онлайн-курсов

Что и как?

Сравнительный анализ систем дискретного моделирования

IoT в Сколтехе

Центр компетенций по IoT в Сколтехе опубликовал публичный доклад

Отсюда

Спортивное программирование

Чемпионат по программированию от Яндекс

Orange

Презентация по использованию Orange для анализа данных

Крюки в городе

Интересный проект - ищет места в городе, где для перехода на другую сторону улицы нужно совершить большой крюк. Открытый код.

А потом пришел лесник

AutoML на новом уровне - Google представил полную платформу для машинного обучения

См. также другие публикации по AutoML

Мусорная тема

Новый подход к сборке мусора в JavaScript

OLEP

Как работает Online Event Processing

Журналистика данных

Фантастически красиво сделанная статья в NYT о том, как искали преступника с помощью геолокации от Google.

Открытые сущности

Open Access статьи Springer по теме IoT

Physical Web как расширение для социальных сетей

Тезисы доклада для конференции Ломоносовские чтения 2019: ИСПОЛЬЗОВАНИЕ PHYSICAL WEB КАК РАСШИРЕНИЯ СОЦИАЛЬНЫХ СЕТЕЙ

В работе рассматриваются вопросы представления мобильным пользователям информации из социальных сетей, которая связана (относится) к другим мобильным абонентам, находящимся в данный момент поблизости. Само приложение можно посмотреть здесь

Сервисы на основе близости

Презентация для Fruct-2019 - On content models for Proximity services

First time introduced in Release 12 of the 3GPP specifications, Proximity Services (ProSe in the above-mentioned specification) is a Device-to-Device (D2D) technology that allows two devices to detect each other and to communicate directly without traversing the Base Station or core network. In other words, it is a technology that is oriented (ultimately) on the direct connection of two devices. In this article, we are promoting the idea that proximity services are more than just support for a direct connection (in fact, search for candidates for a direct connection). The paper discusses content models (that is, information dissemination models) based on proximity data. In this case, a direct connection is simply one of the possible options for disseminating information.

Без сервера

Как работают serverless приложения

Кто это писал?

Интересная статья по определению авторства кода

Большая Мода

Еще одна облачная среда для Python & R - mode.com

ProКонтент 2019

Презентации конференции ProКонтент. Второй год проводит эту конференцию Лаборатория Касперского, и весьма симпатичное мероприятие у них получается.

OLEP

интересная статья: Online Event Processing

См. также другие публикации, посвященные Kafka

Самый умный

Мировые практики Умного Города. Каталог от ДИТ Москвы

Умный шопинг

Smart Shopping Malls - интернет вещей в торговле. Обзор.

Мне сверху видно все

Практический пример анализа космоснимков - городские парковки

См. также другие публикации по теме космоснимки

Visual ML

Визуальный анализ моделей машинного обучения без программирования

См. другие публикации, посвященные facets

Не широта и не долгота

Как описать местоположение - Location Encoding

Открытая наука

Очередной номер журнала INJOIT на сайте Cyberleninka

Не просто перестановки

LSTM сети могут выявлять языковые зависимости

см. также другие публикации по LSTM

INJOIT vol. 7, no. 4

Вышел новый номер журнала INJOIT. Это четвертый номер в 2019 году.

Темы статей:

• Some more on the equivalent transformation of nondeterministic finite automata. Part I. Notation and the "combining" algorithm
• High Spatial Image Classification Problem: Review of Approaches
• Определение тематической релевантности сообщений в задаче мониторинга виртуальных социальных сетей для обеспечения информационно-психологической безопасности личности
• On railway stations statistics in Smart Cities
• Оценка эффективности Fork-атаки на протокол “блокчейн”
• Интегрированная сеть связи в Арктической зоне России
• О концепции национальной системы обмена сообщениями
• Introduction to signal processing: spectral representation
• Методы оценки защищенности компьютерных систем информационной поддержки цифровой экономики
• Интеграция гетерогенных сетей: опыт и проблемы
• Об использовании виртуальной и дополненной реальности
• Трансформация бизнес-моделей в условиях цифровой экономики

Архив журнала находится здесь.

/via Лаборатория ОИТ

Теория Ломброзо

Преступниками не становятся, а рождаются

из спам-рассылки:

Сервис по поиску высокооплачиваемой работы Superjob создал нейросеть, которая заполняет резюме, используя только фотографию соискателя. Кроме того, по фото алгоритм узнает, на какую зарплату может претендовать человек. Эта прорывная технология в интернет-рекрутменте стала возможна после анализа свыше 25 миллионов фото из резюме, которые есть в базе Superjob. Так, с вероятностью 98% алгоритм Superjob может определить наличие или отсутствие у пользователя высшего образования, его пол, возраст и опыт работы.

Вопрос - зачем учиться? Видимо те, кто создал эту "прорывную технологию" и ответили на этот вопрос :)

GEO AR

Дополненная реальность и гео-сервисы

Поиск аномалий

5 Ways to Detect Outliers/Anomalies. С кодом на Python.

См. также другие статьи, посвященные поиску аномалий

Потрясение основ

Статистическая значимость больше не значима

Интеллектуальный транспорт

Стандарты ITU по транспорту

Отладка нейронных сетей

Важный вопрос - как отлаживать нейронные сети

Новости AI

Интегратор новостей по AI

Что в облаке моем?

Интересная статья о том, как должно выглядеть программирование в облаке

Архитектура IoT приложений

IoT Design Patterns

Людской анализ

Анализ и классификация сотрудников в организации

Автомагически

Автоматизация машинного обучения - мифы и реалии

См. также другие публикации по AutoML

Передвижники

Новые алгоритмы GAN - генерация изображений нейронными сетями

См. также другие статьи, посвященные GAN

Не время для сентиментов

Хороший пример использования LTSM.

См. также другие публикации, посвященные LTSM

Потоковые транзакции

ACID транзакции для потоков данных

Глубокая авторегрессия

Deep learning и модели авторегрессии

МЧС

Телекоммуникации при авариях и катастрофах

Графья

Интересная идея - представление матрицы как графа

Цифровые двойники

Цифровые двойники на железной дороге. Еще одно применение AnyLogic.

В зазеркалье

Минстрой России утвердил "стандарт Умного города". А параллельно Росстандарт рассказывает о своих группах, которые работают над стандартом Умного Города. Все это существует параллельно, эти люди присутствуют на одних мероприятиях, и проблем это ни у кого не вызывает.

Тер. вер.

Краткое изложение теории вероятностей. А полное изложение есть в книге Введение в теорию вероятностей

Web AR

Дополненная реальность в веб - хороший обзор современного состояния

А или B?

Руководство по организации A/B тестирования

Открытая наука

Очередной номер журнала INJOIT на сайте Cyberleninka

По данным операторов

Гео-информационные сервисы на основе данных мобильных операторов

Не верьте

Ну или, по крайней мере, не всегда верьте результатам машинного обучения. И автор права

INJOIT vol. 7, no. 3

Вышел новый номер журнала INJOIT. Это третий номер в 2019 году.

Темы статей:

• On the task of extracting the root from the language
• Современные подходы к численному моделированию микросейсмических событий
• Introduction to signal processing: sine wave and complex signals
• Комплексирование сигналов от неравноточных информационных систем с помощью нечеткой логики
• Декомпозиционный алгоритм для задач линейного программирования, не имеющих блочной структуры, в среде Everest
• Semantic model of attacks and vulnerabilities based on CAPEC and CWE dictionaries
• Spectral Inversion in Estimation of Change in the Dominant Frequency of the Wave Field
• MS Excel как система поддержки принятия решений
• На пути к энергетическому Интернету: новые регуляции, бизнес модели, экономические и технические предпосылки
• Умная мобильность

Архив журнала находится здесь.

/via Лаборатория ОИТ

Физический веб и социальные сети

Вот можно протестировать предварительный вариант работы, которую сделал в рамках дипломного проекта один из наших студентов в МГУ (И. Макарычев). Мобильное приложение расширяет социальные сети для физического пространства. Приложение позволяет видеть ссылки на профили в социальной сети (в данном случае - Вконтакте, может быть любая другая сеть) тех, кто находится поблизости от вас в непосредственной (физической) видимости.

Как попробовать:

- скачайте приложение для Android по этой ссылке (http://servletsuite.com/vk-pw.apk)

- запустите приложение после установки. Из прав ему будет нужно разрешить доступ в Интернет и к Bluetooth

- запущенное приложение предложит авторизоваться в социальной сети (Вконтакте). Это именно авторизация средствами этой сети. Приложение не имеет (и не запрашивает, как вы увидите) прав на запись или чтение и служит просто для подтверждения личности.

- после того, как пользователь авторизовался, на появившемся экране он будет видеть ссылки на профайлы в социальной сети других пользователей, которые авторизовались через такое же приложение и находятся где-то рядом. Что-то в таком духе (изображенные пользователи в реальности не авторизовались, конечно, в наших тестах :)

На ссылку можно кликнуть, в браузере откроется страница пользователя в социальной сети, и там уже с ним можно взаимодействовать механизмами этой социальной сети. Приложение этого уже никак не касается. Основной экран периодически обновляется, показывая вновь пришедших и удаляя тех, кто физически отдалился. В социальной сети никакие отметки (типа check-in) не делаются. Приложение в принципе не может туда ничего писать. Соответственно, тестировать нужно на двух телефонах (с кем-то вместе - приложение сближает). Отметим, что соединения телефонов (по Bluetooth) также не происходит. В этом плане все безопасно.

Это один из примеров использования механизмов network proximity, который описан во многих наших работах. Например, одна из последних:

Namiot, Dmitry, and Manfred Sneps-Sneppe. "On Proximity-Based Information Delivery." International Conference on Distributed Computer and Communication Networks. Springer, Cham, 2018.

Фасеты

Визуализация датасетов с помощью Google Facets

Интерактивное программирование

Observable: Программирование на лету. Вот здесь есть руководство пользователя.

Социальный эксперимент

А в Билайн вообще осталась какая-то поддержка? Такое ощущение, что все пропустил, и от этого оператора уже все давно ушли. По телефону - голосовое меню, на вебе нет формы для контактов, твиттер мертвый и т.д. К кому сейчас принято подключаться?

P.S. Чисто для эксперимента: Билайн - говно

Как оно будет в IoT

Driving New Modes of IoT-Facilitated Citizen/User Engagement - довольно интересный обзор о путях развития IoT. ITU справедливо отмечает, что Интернет Вещей - основа для развития Умных Городов

Глубокий Питон

О новом языке программирования для задач deep learning

Архитектура и метрики программного обеспечения

3D визуализация архитектуры и метрик программного обеспечения

В статье приводится обзор методов трехмерной визуализации метрик программного обеспечения. Метрики для программ (пакетов, классов, репозиториев) есть одно из наиболее активных в использовании направлений в программной инженерии. Это направление исследований, которое относится к анализу программного обеспечения, и визуальный анализ здесь является одним из наиболее часто используемых инструментов. Такого рода визуализация является, обычно, частью процесса анализа качества программного обеспечения, может использоваться при обучении, при рефакторинге программ, а также при интегрировании (объединении) отдельных компонент (пакетов) в сложные программные комплексы. Очевидно, что визуализация облегчает и ускоряет процесс понимания структуры программных компонент. Это становится все более и более актуальным, поскольку сейчас многие программные компоненты с открытым кодом (то, что наиболее часто интегрируется в другие системы), например, представляют собой большие и достаточно сложные программные комплексы. Соответственно, их интеграция в новый проект представляет собой весьма непростую задачу. Заметим, что задача интеграции становится еще более сложной, если нет доступа к исходным текстам интегрируемых компонент. В этом случае визуальное представление метрик есть, по сути, основной элемент анализа. Анализ сторонних компонент является не единственной областью применения. Точно такие же проблемы возникают и в корпоративной разработке, когда над большим проектом работают отдельные группы, которые, к тому же, могут часто меняться по составу исполнителей. В данной работе рассматриваются, например, методы визуализации и анализа структуры программы в 3D пространстве, которые основаны на метафоре представления программной компоненты как города, который состоит из отдельных зданий, объединяющихся в районы и т.д. Также мы рассматриваем вопросы использования виртуальной реальности для представления метрик программного обеспечения.

Отсюда

Супер-карты

Интересный открытый инструмент для визуализации больших массивов гео-данных - Kepler

Вот здесь, например, есть пошаговое описание визуализации конкретного датасета

Обработка естественного языка

Материалы курса от Georgia Tech

Людвиг

Очень интересный продукт от Uber - использование deep learning без программирования

см. также другие публикации по теме Auto ML

Рекомендашки

Python-коллекция для построения рекомендательных систем. Между прочим - от Микрософт.

См. также другие публикации, посвященные рекомендательным системам

Работа в анализе данных

Довольно трезвый взгляд на то, что представляет собой data science job сегодня. Очистка и подготовка данных.

Технологии безопасности

Презентации ТБ-форума 2019

Электричество с гарантией

Серия статей о системах гарантированного электроснабжения. UPS, ДГУ и вот это все.

Как это работает?

Эффективность глубинного обучения в определении характеристик

См. также другие статьи, посвященные deep learning

Bluetooth JS

Работа с Bluetooth из JavaScript

Все побежали?

Определение и анализ аномальных перемещений по данным видеонаблюдения

Android Things

Операционная система для IoT от Google ищет свое место

Обработка временных рядов

Хороший пример: time series analysis

См. также другие публикации по работе с временными рядами

Базы временных рядов

Общие требования к базам данных временных рядов. От создателей MemSQL

Автоматизация машинного обучения

Обзор подходов AutoML - A Survey on Automated Machine Learning

См. также другие публикации по Auto ML

AR на практике

Навигация в дополненной реальности от Google

Машинное обучение для всех

Классно сделанный (проиллюстрированный) материал по основам машинного обучения

Отсюда

CBDS

Chromebook Data Science - онлайн-программа обучения анализу данных.

Курсы по анализу данных

Big Data team

См. также поиск онлайн-курсов

Визуализация моделей

Визуализация моделей машинного обучения от Uber

Мини-панда

Что нужно знать, по-минимуму, о Pandas

P.S. См. также другие публикации, посвященные Python.

Тренды AI

Очень подробный отчет от WIPO (это агентство ООН) по технологическим трендам AI.

Поясни за медицину

Обзорная статья - Искусственный интеллект в медицине

О блокчейне

Вполне здравые рассуждения о том, когда Блокчейн не нужен

См. также другие публикации, посвященные блокчейн

Практика RL

Reinforcement Learning Notebooks

См. также другие публикации, посвященные Reinforcement Learning

Статьи с кодом

Академические статьи и прилагаемый к ним код

Обработка потоков сейчас

Что делается с обработкой потоков - академический обзор.

См. также другие статьи, посвященные обработке потоков.

Cisco на связи

Пришло письмо в рассылке от Циско. Орофография и пунктуация оригинала сохранены:

26 и 27 марта в «Экспоцентре» состоится ежегодная ИТ-конференция Cisco Connect 2019. В этом году Cisco предлагает вам выбрать индивидуальный формат участия: Стандарт или Премиум. Регистрируйтесь и будьте на одной цифровой волне с Cisco!

Agenda

XX:XX – XX:XX AM
Lorem ipsum dolor

XX:XX – XX:XX AM
Lorem ipsum dolor

XX:XX – XX:XX AM
Lorem ipsum dolor

XX:XX – XX:XX PM
Lorem ipsum dolor

XX:XX – XX:XX PM
Lorem ipsum dolor

XX:XX – XX:XX PM
Lorem ipsum dolor

XX:XX – XX:XX PM
Lorem ipsum dolor
-->

P.S. нужно идти :)

INJOIT vol. 7, no. 2

Вышел новый номер журнала INJOIT. Это второй номер в 2019 году.

Темы статей:

• The spurious correlation between concentration and creatinine-corrected concentration in urine
• Оценка оптимального количества тематик в тематической модели: подход на основе качества кластеров
• Оценка логарифмической производной функции Кобба-Дугласа по временному ряду со случайными отклонениями
• Математические особенности использования возможностей программного комплекса «Advanced Tester» как инструмента функционального анализа системных данных
• Электронный образовательный ресурс для поиска наиболее значимых причин самовозбуждения колебаний сложных механических систем
• Решение задач динамического программирования в системе Wolfram Mathematica
• Нечеткие модели функционирования гибридной интеллектуальной обучающей среды продукционного типа
• Агент-ориентированное моделирование гипотезы Тибу для 3-х регионов и 2-х видов общественных услуг
• Экономические эффекты автономных (беспилотных) автомобилей
• Онтологии и безопасность автономных (беспилотных) автомобилей
• P2P Lending Review, Analysis and Overview of Lendoit Blockchain Platform

Архив журнала находится здесь.

/via Лаборатория ОИТ

Самокопание

Анализ публикаций по искусственному интеллекту. Что было, что есть, что будет (тут - неизвестно). Зато довольно хорошо прослеживается смена моды в исследованиях. Сейчас, например, модно обучение с подкреплением