Концов не сыщешь

Торговать энергоносителями будут с помощью блокчейн

Рекуррентные нейронные сети

Довольно подробное описание примера использования рекуррентных нейронных сетей для поиска аварий на видео

Кто есть кто в обучении

Ed tech компании - периодическая таблица элементов.

Тепловые карты

Использование тепловых карт в аналитике для розничной торговли

Камера - коммуникатор

Интересная статья об использовании изображений камеры для параллельной передачи информации

Aalto

Data mining группа в финском университете Aalto

Молодые профессионалы

Победитель конкурса на Создание и запуск цифровой платформы обмена знаниями и управления авторскими правами - индивидуальный предприниматель 1994 г.р., который занимается арендой и управлением собственным или арендованным недвижимым имуществом

PGM

Обзор вероятностных графических моделей

Модель физического веба

Тезисы к конференции Тихоновские чтения 2017: О простой модели физического веба

В работе предложена простая схема реализации модели Physical Web, основанная на стандартных протоколах Bluetooth. В качестве тега (маяка) в этой модели выступают мобильные телефоны. В роли идентификатора могут использоваться как URL, так и другие структурированные (например, e-mail) или неструктурированные текстовые объекты. Использование в качестве средства управления тегом мобильного приложения позволяет организовать ретрансляцию идентификаторов, реализовав тем самым, простую одноранговую сеть. Помимо самой реализации, в работе рассмотрены также и модели применения (использования) для предложенной схемы.

Самый быстрый

Интересный алгоритм подсчета частоты употребления в потоке.

P.S. см. также другие публикации по теме stream processing

ML Security

Впечатляющий список: Machine Learning for Cyber Security

Google Cloud & streams

Обработка потоков в Google Cloud.

И интересная дискуссия по этому поводу на YC

P.S. см. также другие публикации по теме stream processing

Графы мошенников

Интересное использование PageRank для выявления мошеннических схем в страховой медицине

Крик

Расширение для Chrome, которое позволяет поделиться ссылкой (URL) в аудио-сигнале.

Предательство

Статья с описанием проекта по мониторингу исходящего трафика для Android приложений. О чем не говорят создатели приложений.

Блокчейн в медицине

Довольно информативная графика о применении блокчейн в медицине

JavaScript в облаке

Облачная среда разработки для JavaScript

Открытая наука в октябре

Последний номер (10, 2017) журнала INJOIT - в Киберленинке

P.S. /via Лаборатория ОИТ

Теперь вместе

FIWARE и TM Forum об умных городах

Бурные потоки

Еще одна традиционная тема: stream processing

1. Apache Spark, Samza & Kafka Streaming

2. Twitter open-sources Херсон Heron, its real-time stream-processing engine

3. Шаблоны потоковой обработки данных

4. Обработка больших данных в реальном времени. Обзор.

5. Обработка данных Hadoop в реальном времени

6. Stream processing & complex event processing (CEP)

7. Книга в свободном доступе: Streaming Architecture

8. Основы потоковой обработки

9. Потоковая обработка. Обзор продуктов и архитектур.

10. Репликация в Kafka

P.S. см. другие публикации по обработке потоков

Умный город Торонто

Городская лаборатория Google строит умный город в Торонто. Вот здесь есть очень детальные предложения от Google по Умному городу.

YOLO

Интересный подход к распознаванию объектов на видео в реальном времени. Вот оригинальная работа авторов: YOLO - You Only Look Once

Big Data журнал

Big Data Journal. Много статей в открытом доступе.

Что в Твиттере твоем?

Интересные работы по анализу данных в Twitter

1. Можно ли верить этим твитам. Актуально в эпоху fake news.

2. Как выглядят полемики и споры в Twitter

3. Что вы знаете о своей Twitter-сети

P.S. см. также другие твиттер-публикации

О вечном

SQL и все вокруг

1. Все NoSQL системы используют (будут использовать) SQL

2. SQL для Kafka. Использование SQL для обработки потоков. И почему это нужно

3. Проектирование схемы данных: реляционная модель vs. NoSQL. На примере Apache Drill

4. SQL над Hadoop

5. Google Cloud Bigtable

P.S. См. также другие публикации по теме SQL

Еще о временных рядах

Несколько интересных материалов по одной из наших любимых тем - временные ряды

1. Представление временных рядов в MongoDB. В одном документе объединяют несколько замеров.

2. Интересный подход к поиску шаблонов во временных рядах

3. Нейронные сетив анализе временных рядов

4. Хороший анализ требований к базам данных для временных рядов. Часто это могут быть просто файловые системы. И интересная дискуссия по этому поводу на YC

5. Еще один подход к требованиям для баз данных временных рядов

6. Использование Apache Crunch для анализа временных рядов. Apache Crunch - это Java библитотека для организации пайплайнов в Hadoop и Spark.

7. Датасет для тестирования алгоритмов поиска аномалий во временных рядах.

P.S. см. также другие публикации по теме временных рядов

Шаблоны взаимодействия

Интересная статья о шаблонах взаимодействия в Twitter. Как распространяется опубликованная информация. И как (когда) ее опубликовать, чтобы был максимальный эффект.

IoT исследования

Хороший пример оформления "научной" страницы - IoT research from Charith Perera

Кто это написал?

Очень практический пример использования NLP для определения авторства текстов.

Бит кубит

Разрушит ли квантовый компьютер биткойны?

Будьте добрее

Анализ твитов с целью выяснения их связи с сердечными заболеваниями. В основе лежит обнаружение "злых" текстов.

P.S. сообщения из этого блога попадают в твиттер @abava как короткие ссылки. Это, очевидно, добрый текст :)

И снова о журналах

Лог - как основа пайплайна данных

См. также следующую публикацию

ML приложения

Хорошая идея - обновляемый список задач, решенных с помощью машинного обучения.

См. также другие публикации по теме machine learning

Не бросай

Не растворяйте втулки. Бумажная экономика :)

DL визуализатор

Визуализация Tensorflow непосредственно в браузере

P.S. см. также другие публикации по Deep Learning

WPA2 - все?

Согласно этой работе, WPA2 больше не защищает трафик. Все можно прочесть. А ведь это основной механизм безопасности для Wi-Fi ...

Документатор

SAP умеет делать законченные полезные продукты - подтверждение целостности документов на основе блокчейн.

GAN

Интересный список приложений, построенных на базе Generative Adversarial Networks. Это то, например, как создают реалистичные изображения, старят фотографии и т.д.

Шаблоны в потоке

Лекция Mining Frequent Patterns from Data Streams из курса Knowledge Discovery and Data Mining

Инфофорум 2017

Материалы форума по информационной безопасности доступны на Яндекс.диске. Общее впечатление: все готовы управлять процессом и все защищать, но вот что нужно делать конкретно - не говорят :)

Один сплошной журнал

Журнал - как основа инфраструктуры данных

Google Data Studio

Визуализации для данных от Google. Много разных данных. Из того что попробовали - визуализация работает для данных в сторонней (доступной через интернет) MySQL базе.

В обсуждениях на YC - много альтернативных решений.

Трансформации Фурье

Практическое применение Fourier transform

Markov Chain Monte Carlo

Хорошее описание Markov Chain Monte Carlo

Косинус Жаккара

Вычисление метрик в Python

В окне

Об использовании функции window в SQL:

Use window functions for time-series percentages

Timeseries Tips For Postgresql

Finding User Sessions with SQL

PostgreSQL: Window function

Практическая аналитика Twitter

Пошаговое руководство по использованию Python и Twitter Stream API для анализа данных в Twitter

Ода MySQL

Прекратите искать "лучшее" решение для хранения данных и полюбите MySQL. Советуют нам инженеры Pinterest.

Гео-паттерны

Как по анонимным данным о перемещениях восстанавливали их владельца

INJOIT том 5, номер 10

Вышел новый номер журнала INJOIT. Это десятый номер в 2017 году. Тема года - цифровая экономика.

Темы статей:

• Задачи дискретной оптимизации с квазиблочными матрицами
• The complete finite automaton
• Применение машинного обучения по ансамблю решающих правил для вычисления прогноза дополнительного коэффициента извлечения нефти
• Arduino Based Blind Solar Tracking Controller
• О телекоммуникациях Пентагона
• Маркетинговое исследование рынка умных домов в цифровой экономике
• Единый цифровой рынок Европейского Союза: текущие состояние и направления развития
• Умная инфраструктура, физические и информационные активы, Smart Cities, BIM, GIS и IoT

Архив журнала находится здесь.

/via Лаборатория ОИТ

Дождевик

Интересная идея: дождь меняет электромагнитное поле. А значит - это можно измерить. С помощью вышек сотовой связи, которые стоят повсюду. Сотовый датчик дождя

Город сенсоров

Как выглядит Умный город в Сингапуре. 3D модель города, которую строит Dassault Systèmes.

О близости

Практическое использование proximity в ритейле

HP попал

HP хотел продавать свои программы в России и согласился на аудит исходных текстов. В России. А этот же софт используется, например, Пентагоном. Как говорит Рейтерс - HP сдал информацию о потенциальной уязвимости свои программ.

Блокчейн на практике

То, что не касается криптовалют в блокчейне, на мой взгляд, имеет больше перспектив для немедленного применения. Вот, например, компания продает билеты на массовые мероприятия. Блокчейн здесь позволяет зафиксировать собственника без назначения какого-то единого центра удостоверения и тем самым, избежать перепродажи с целью спекуляции.

Неистребимо

Прислали требование ВАК собрать и послать им статистику по журналу. Люди на зарплате требуют, чтобы им что-то сделали те, кто бесплатно выпускает бесплатный же журнал. Оцените уровень вопросов:

Доля статей в соавторстве с учеными из стран СНГ (%)

Оцените приблизительно, с вашей точки зрения, процент статей, публикующихся в журнале, по своему содержанию интересных национальному сообществу (%)

oh mein gott ...

Обучение на графах

Что мы читаем. Интересная статья - обзор методов машинного обучения на графах: Representation Learning on Graphs: Methods and Applications

P.S. см. также другие публикации по теме machine learning

ИИ

Коллекция Искусственный интеллект 2017: курсы, статьи, блоги и т.д.

Не за горами ...

Программная система решает, как переиспользовать код из одного проекта в другом. Сама статья - здесь. Конец профессии программиста уже виден?

SQL notebook

Полезный инструмент для анализа данных с помощью SQL непосредственно в браузере

Шелковая железная дорога

Пара публикаций о надеждах России - цифровая железная дорога и шелковый путь. Суждено ли им сбыться?

Прорывные инновационные технологии для инфраструктур. Евразийская цифровая железная дорога как основа логистического коридора нового Шелкового пути

Соображения по проблемам создания цифровой железной дороги для нового шелкового пути трансконтинентального логистического партнерства в целях экономического развития стран входящих в ЕАЭС и России

Искусственный интеллект и государство

Две последние статьи В.И. Дрожжинова:

Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 1. Опыт Великобритании и США

Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 2. Перспективы применения искусственного интеллекта в России для государственного управления

База машинного обучения

Основные алгоритмы машинного обучения с примерами на Python

См. также другие публикации по теме machine learning

OpenStack NFV

OpenStack как база для реализации Virtual Network Functions

Все пошло не так

Еще один материал на тему Machine Learning Done Wrong

Правильная история

Сейчас есть (и появляется) довольно много альтернативных курсов по подготовке к ЕГЭ (ОГЭ). Ничего больше школьной программы они, по факту, не дают. Но, судя по всему, от учеников у них нет отбоя. И вот для таких курсов появляются интересные инструменты в веб. По сути, всю IT систему такой учебный центр может сделать на сторонних инструментах. Очень правильная история:

CRM для учебных центров

Инструментарий для создания тестов

Знаете еще какие-либо подобные инструменты?

CS бакалавр

Собранные вместе бесплатные курсы на программу бакалавра в Computer Science

Computer Science a Full Bachelor Curriculum

Open Source Society University

На русском языке пока такого нет. См. также предыдущие публикации на эту тему: университет на диване

P.S. И интересная дискуссия по этому поводу на YC

/via Поиск онлайн-курсов

Нейронный чеклист

Построенная нейронная сеть - не работает. Что делать? Here's a checklist of what may be going wrong

Больше рядов

Пара ссылок по временным рядам.

1. Riak TS - интересная модель для хранения временных рядов, построенная на архитектуре key-value

2. Хранение временных рядов с нерегулярно поступающими данными.

P.S. другие публикации по теме временных рядов

Вам, предсказатели

Velox - СУБД для предиктивной аналитики. Как это устроено и как работает. Сама система находится здесь.

Уже появился и наследник. Интересная модель интеграции моделей машинного обучения - Clipper

P.S. все проекты AMP Lab

Питон для данных

Бесплатный курс ntro to Python for Data Science

Вот сводная таблица из него

P.S. /via Поиск онлайн-курсов

ЦЕ портал

Еще один портал, посвященный цифровой экономике. Сейчас их будет много появляться.

Как делиться

Типы шардинга в базах данных

Управление памятью в JavaScript

Хорошая статья об управлении памятью в JavaScript

P.S. дискуссия по этому поводу на YC и пара статей в журнале INJOIT: On JavaScript Memory Leaks и On Memory Management in JavaScript Applications

P.P.S. ну и интересный блог о JavaScript от авторов статьи

Каршеринг в Москве

Обзор каршеринг сервисов. Использование - явно на подъеме. Даже визуально это очевидно (количество таких машин вокруг).

Базоология

Хорошая коллекция статей по СУБД и смежным вопросам

Современные информационные технологии и ИТ-образование

Опубликован новый выпуск журнала «Современные информационные технологии и ИТ-образование». Том 13, номер 2, 2017

Пробы ставить некуда

Еще о пассивном Wi-Fi мониторинге: Wi-Fi probes.

P.S. И интересное обсуждение на YC

Открытая книга

Большая коллекция Open Access books

Кого затронет blockchain

Одно из лучших исследований по возможному влиянию blockchain на различные отрасли экономики. Источник - blockchain-центр в MIT

P.S. blockchain - это не только криптовалюты (или даже не столько криптовалюты)

ML anti-patterns

О реальных проблемах, связанных с использованием систем machine learning

Метод сортировки

Рабочее название - в ожидании чуда

Статистика цифровой экономики

Компас цифровой экономики, опубликованный на статистическом портале Statista в апреле 2017 г. Дает обзор глобальных трендов в сферах коннективности, социальных медиа, платформенной экономики, венчурного капитала, искусственного интеллекта. Также формулирует ключевые показатели развития в области э-коммерции, э-услуг, э-туризма, цифровых медиа, финтеха, цифровой рекламы, умного дома, умного автомобиля.

Big Data в нефтянке

О работе с большими данными в нефтяной отрасли России. Спойлер: данные есть, но их никому не покажут и не дадут.

ЦЭ в России

Подготовка программы цифровой экономики в России. Наконец появился документ с датами.

Веселенькие QR-коды

Как в Гонконге рекламируют городские маршруты для туристов

P.S. там еще есть один интересный городской проект - камера на собаке автоматически делает снимки, когда собака виляет хвостом (то есть, камера снимет то, что вызвало радость у собаки :)

Распознавание объектов

Распознавание объектов на изображениях - современное состояние

Электронные библиотеки

Большой список электронных библиотек

P.S. а вот сервис Sci-Hub, к сожалению, больше не работает на территории России. В существующих условиях это был единственный способ читать многие статьи, например, из IEEE. Пока еще остался Libgen

Зачем и почему

Всемирный экономический форум о блокчейн: главное - это понять, кому и зачем это может быть нужно.

AR идеи

Интересный обзор выходящих приложений Augmented Reality

Москва - звонят колокола

С началом нового учебного года на портале mos.ru московские власти в очередной раз поменяли электронный дневник для учащихся. Разобраться как же он работает (или не работает) - решительно невозможно. Не знаю как охарактеризовать людей, которые рисовали там экраны и придумывали какую-то "логику". Эта реновация у них тоже не удалась ...

IoT комплекты

IoT инструменты от MediaTek. Вот здесь есть о них на русском языке

Поиск аномалий

Полезная книга О'Рейли по поиску аномалий в данных в данных

CDR на телефоне

Интересный сервис, который позволяет собирать Call Detail Records записи (информация об активности) непосредственно на мобильном телефоне.

Это из следующей статьи: Smartphone-collected Mobile Network Events for Mobility Modeling

Блок-чтиво

Биткой, блокчейн и связанные технологии - книги в открытом доступе.

Натаниэль Поппер «ЦИФРОВОЕ ЗОЛОТО»

Адам Теппер «БИТКОЙН – ДЕНЬГИ ДЛЯ ВСЕХ»

Андреас Антонопулос «ОВЛАДЕНИЕ БИТКОИНОМ» (MASTERING BITCOIN)

Мобильность в городе

Интересная статья от городской лаборатории Google о важности информирования водителей относительно полной (истинной) стоимости поездки на автомобиле. Это позволит кому-то принять другое решение о выборе транспорта и, следовательно, уменьшит пробки.

P.S. Другие статьи от SideWalk

Абавазрение 02.09.2017

На этот раз - одна из излюбленных тем. Потоки и обработка данных в реальном времени.

1. Кластеризация потоковых данных

2. SAMOA - Data mining для потоков

3. Хорошая статья: Обработка потоков в R

4. Иллюстрированное введение в анализ потоков

5. MapR: обработка данных в реальном времени

6. Презентация по лямбда-архитектуре

Блокчейн и базы данных

Блокчейн - как один из типов распределенных баз данных

INJOIT том 5, номер 9

Вышел новый номер журнала INJOIT. Это девятый номер в 2017 году. Тема года - цифровая экономика.

Темы статей:

• Памяти В.И. Дрожжинова
• Лабораторный стенд для тестирования возможностей интеграции ПКС-сетей и традиционных сетей
• Представление больших наборов динамически изменяющихся удаленных данных в приложениях WPF
• N-Gram Fuzzy Keyword Search On Encrypted User Data in Cloud
• Центральность распада в социальных графах и адаптированный алгоритм Флажоле-Мартена для ее расчета
• Проблема инвестиций в истории экономической мысли
• O внутренней норме прибыли IRR и приоритетности инвестиций
• Методический подход к задаче синтеза и оценке эффективности автоматизированной системы геофизического обеспечения
• Mathematical Modeling of the Fiber-Optic Converter on the Magneto-Optical Faraday Effect
• Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 1. Опыт Великобритании и США
• Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 2. Перспективы применения искусственного интеллекта в России для государственного управления
• Прорывные инновационные технологии для инфраструктур. Евразийская цифровая железная дорога как основа логистического коридора нового Шелкового пути
• Соображения по проблемам создания цифровой железной дороги для нового шелкового пути трансконтинентального логистического партнерства в целях экономического развития стран входящих в ЕАЭС и России

Архив журнала находится здесь.

/via Лаборатория ОИТ

Wi-Fi Aware

Proximity в мире Wi-Fi. Как это виделось: Wi-Fi Aware: A platform for proximity-based Wi-Fi innovation. И что вышло: Wi-Fi Aware.