К отчетности

Последние списки индексируемых журналов: Scopus и Web of Science

Из машины в облако

Открытая специфкация от HERE: как передавать данные от автомобильных сенсоров в облако для отображения на картах

Вот здесь есть резюме проекта

Упакуйте это

Интересный подход к упаковке текстовых данных. В первую очередь - JSON записей с повторяющимися значениями

Material design

Шаблоны и компоненты для веб-дизайна. Примеры использовани есть здесь

Свежий AI

Лучшее по искусственному интеллекту на arxiv в ноябре 2017

Обработка сигналов

Чем занимается профессор на пенсии - практическое руководство по обработке сигналов

Большая цифра

Новый сайт Национального центра цифровой экономики.

P.S. заглавная страница - больше 10 Mb ...

ЖуRналистика

Журналистика данных с языком R

Трясучка

Pairing - как связать два телефона. Здесь предложена оригинальная идея - трясти их в одной руке и установить связь, анализируя данные акселерометра.

Wi-Fi счетчик

Подсчет людей с помощью Wi-Fi

P.S. и живое обсуждение этого на YC

Графы в машинном обучении

Полезная статья - Graphs in machine learning: an introduction

См. также другие публикации по теме machine learning

Apache Spark

Простое введение в Apache Spark. И в эту же тему: краткое введение в Apache Spark

См. также другие публикации по Spark

Боты

О программировании ботов

Открытая наука в декабре

Последний номер (12, 2017) журнала INJOIT - в Киберленинке

P.S. /via Лаборатория ОИТ

Чьих будете?

21 проект, использующий блокчейн для идентификации и аутентификации

ДЗЗ

Интересная конференция по Дистанционному Зондированию Земли

Химхак

Российский стартап с VR продуктом для обучения химии

Google AI

Хорошая презентация от инженера Google по AI

Распределенный лог

Как создать распределенный лог. Простой механизм именования файлов на основании номера записи (смещения по файлу)

P.S. И интересная дискуссия на по этому поводу на YC

CSS Grid

Адаптивные решетки в HTML

Шашечки или ехать?

Криптовалюта без блокчейн.

Учебный предсказатель

Сервер для машинного обучения от Apache - PredictionIO. Вот здесь есть сравнение для серверов аналитики. А здесь можно прочесть про историю PredictionIO

См. также другие публикации по теме machine learning

Хочу все знать

Вопросы для интервью по data science

См. также другие публикации по теме интервью

Город Google

Первое сообщение о создании городской лаборатории Google. И ожидания от нее. Кстати, их (SideWalk) рассылка по цифровой урбанистике - очень интересная.

О шаблонах

Красивые шаблоны для веб-страниц

Mobile landing pages

Как они должны выглядеть, что обеспечивать и что является важным - полезный отчет от Google

О бандитизме

A/B или multi-armed Bandit

Кто они?

Пример объяснительного анализа для электронного магазина - кто пользователи и как они покупают

Как искать?

Хорошее и простое описание ElasticSearch. Это поисковый движок с JSON REST API, использующий Lucene и написанный на Java

Местный чат

Простой чат на карте. И бурное обсуждение на YC

Что почитать?

Для библиографии: интересный автор в теме mobile computing & crowdsensing

Бутик анализа данных

Субботнее чтиво - интересный блог по анализу данных

TLA

TLA - аббревиатура для Temporal Logic of Actions. язык спецификаций, основанный на теории множеств, логике первого порядка и темпоральной логике действий. Руководство по спецификации параллельных систем: Principles of Concurrent Computing and Specification of Concurrent Systems

А судьи кто?

Как отбирать переменные (показатели) в задачах машинного обучения. Супер-важная тема.

Практика BIM

Применение информационного моделирования при железнодорожном строительстве.

NIDays 2017

Материалы конференции National Instruments

Транспортная неделя 2017

Презентации научно-практической конференции «Новые вызовы в управлении мобильностью. Ключевые направления повышения эффективности и безопасности городского транспорта».

SQL Window

Простое описание функции window в SQL

И это блокчейн

Приложения blockchain

Kaggle Kernels

Kaggle Kernels - анализ данных непосредственно из браузера. Бесплатная среда, не требующая установки

Краудсенсинг

Mobile crowdsensing. Для библиографии: Emiliano Miluzzo и Nic Lane

Через призму покупок

Интересная статья - сравнение и классификация городов на основе того, как жители тратят деньги. Самый большой вопрос в таких работах - это, конечно, где взять данные.

ML коллекция

Материалы для обучения по теме machine learning. Из блога Jack Simpsons

См. также другие публикации по теме машинного обучения

RNN

Хорошее объяснение сути нейронных рекуррентных сетей

см. также другие публикации, посвященные рекуррентным сетям

CAP теорема

Из первых уст - интервью с автором CAP теоремы.

И интересная дискуссия по этому поводу на YC

Обработка гео-данных

Интересные презентации и учебные материалы по обработке гео-данных

App generator

Генератор мобильных приложений из веб-сайтов

NIPS - 2017

Интересные обзоры по конференции NIPS-2017: день 1 день 2 день 3

Важнее всего

Исследование от Google - что важнее всего для успеха технологической команды? И это не зарплата. И не наличие экспертизы. А психологическая безопасность (комфорт) участников.

SITITO

Вышел очередной номер журнала Современные информационные технологии и ИТ-образование. В данном выпуске журнала представлены доклады II Международной научной конференции «Конвергентные когнитивно-информационные технологии», прошедшей в Московском государственном университете имени М. В. Ломоносова 24–26 ноября 2017 года.

Big Data журнал

Open Access журнал от Springer: Journal of Big Data

Фундаментальные по содержанию статьи. Например: The core enabling technologies of big data analytics and context-aware computing for smart sustainable cities: a review and synthesis. Впечатляющее исследование о том, что же такое большие данные в Умном городе на практике.

О применении блокчейн

Пара статей, посвященный блокчейн из последнего номера журнала INJOIT:

1. Блокчейн-технологии и их использование в государственной сфере

2. Приложения блокчейн на транспорте

См. также другие публикации по блокчейн

Шумоизмеритель

Измерение шумов с помощью мобильного телефона

Анализ перемещений

Пара интересных работ по моделированию перемещений в умном доме:

1. Перемещения (по данным сенсорного мониторинга) моделируются как последовательности слов. И оцениваются, соответственно, N-граммы

2. Human Behavior Prediction for Smart Homes Using Deep Learning

Отсюда: Cyber-Physical Lab

Маленькая поправка

Из жизни научной редакции. Весьма актуально:

Похитители велосипедов

Практическое использование градиентного бустинга - анализ спроса на прокат велосипедов

Глубокий анализ текста

Глубокое обучение для анализа текстов. Что можно сделать, даже не понимая смысла написанного.

См. также другие публикации по теме deep learning

О предпочтениях

Подробное объяснение анализа предпочтений пользователей в заказах на Airbnb

INJOIT vol. 5, no. 12

Вышел новый номер журнала INJOIT. Это двенадцатый номер в 2017 году. Тема года - цифровая экономика. В данном номере много статей по цифровым моделям на транспорте.

Темы статей:

• Итерации языков и конечные автоматы
• Waterloo-like finite automata and algorithms for their automatic construction
• Использование математического аппарата импликативных матриц при создании и сопровождении информационных систем
• Информационная поддержка задач многомасштабного моделирования композиционных материалов
• Анализ аудио и видео коллекций пользователя социальной сети с целью описания его информационного образа
• Проектирование системы определения группы риска аккаунтов, подверженных влиянию квестовой игры суицидального характера
• Реализация 3-х проходного алгоритма быстрого автоматического дифференцирования
• Численная гидрологическая модель весеннего затопления для территории Волго-Ахтубинской поймы: анализ эффективности двухступенчатого гидрографа
• Возможности развития цифровой железной дороги, как базы мультимодальной транспортной системы умных городов в условиях цифровой экономики
• Интеллектуальная мобильность и мобильность как услуга в Умных Городах
• Блокчейн-технологии и их использование в государственной сфере
• Приложения блокчейн на транспорте

Архив журнала находится здесь.

/via Лаборатория ОИТ

15 лучших

Библиотеки Python для анализа данных

О печальном

Deep learning и дожитие пациентов

См. также другие материалы по deep learning

Очумелые ручки

Python: нейронная сеть своими руками

См. также другие публикации о Python

Железный JavaScript

node.js для Интернета Вещей

Города в цифровую эпоху

Журнал от Siemens: Cities in the digital age

Практика BIM

Презентации по практическому применению информационного моделирования.

Эхо

Открытый пакет на Python для глубокого обучения при анализе электрокардиограм.

Наши рекомендации

Интересная статья о масштабируемой системе рекомендаций для Pinterest

Горячие новости

Технология определения "горячих" новостей. Исходные тексты - здесь.

Значимо или нет?

Хорошее объяснение вычисления размера статистически значимых примеров

ЖД завтрашнего дня

Проект в рамках программы H2020 - Roll2Rail. Вот пример их работы в области беспроводной связи на железной дороге.

На мобиле

Распознавание лиц непосредственно на мобильном телефоне. Технология от Apple

Практика блокчейн

Практическое использование блокчейн - земельный кадастр

См. также другие публикации по блокчейн

INJOIT том 5, номер 11

Вышел новый номер журнала INJOIT. Это одиннадцатый номер в 2017 году. Тема года - цифровая экономика. Данный номер - тематический. Включает избранные статьи конференций ИТМО «Интернет и современное общество» (IMS-2017)

Темы статей:

• Интернет и современное общество: 20 лет развития междисциплинарного научного направления
• Научная и когнитивная графика в информационных системах по атомной спектроскопии
• Предотвращение мошенничества в системах электронных платежей на основе мониторинга и анализа событий в POS-сетях
• Метод автоматизированного извлечения адресов из неструктурированных текстов
• Методы оценки применимости цифровых информационных ресурсов в науковедческих исследованиях (на примере научных идей Г.Ф. Гаузе)
• Научные исследования в контексте цифровой экономики
• Информационная культура как условие реализации дистанционных образовательных программ: сравнительный анализ опыта российских и американских университетов
• Концептуализация понятия «умный город»: социотехнический подход
• Russian text corpora for deception detection studies
• Русско-татарский общественно-политический тезаурус: публикация в облаке лингвистических открытых связанных данных

Архив журнала находится здесь.

/vial Лаборатория ОИТ

Что куда?

Типы нейронных сетей и области их применения

См. также другие публикации по применению нейронных сетей

Сравнилово

Быстрый алгоритм сравнения строк

ДМБ

Disque - distributed message broker. И интересная дискуссия на YC

Крипточейн

Подборка книг в открытом доступе - блокчейн и криптовалюты. На русском языке.

См. также другие публикации по блокчейн

NLP

Довольно подробное руководство по Natural Language Processing

Java сегодня

Обзор нововведений Java 9 и презентации конференции Joker 2017

Базы данных временных рядов

И снова о базах данных для временных рядов:

1. Catena - реализация на Go. Довольно подробное описание архитектуры. И дискуссия на YC

2. Требования к базам данных временных рядов. И интересная дискуссия с массой ссылок на YC.

См. также другие публикации по теме time series

Прямой LTE

LTE без базовых станций. Модель использования: как для iBeacon. Но расстояние будет - до 500 метров. И как это видит Qualcomm

Анализ распространения Wi-Fi сигнала

Android-приложение для анализа распространения Wi-Fi сигнала

Ультразвуковые теги

Использование звука для мониторинга мобильных посетителей

Анализ данных в IoT

Data Science for the Internet of Things

О вероятностном программировании

Недооцененная, как мне кажется, тема - вероятностное программирование.

1. Книга с примерами в открытом доступе: Probabilistic Programming & Bayesian Methods for Hackers

2. Вероятностное программирование для A/B тестов

3. Picture - Язык для вероятностного программирования от MIT

4. Вероятностное программирование - современное состояние

См. также другие ссылки по теме Probabilistic programming

Конвергентные технологии 2017

Опубликован список принятых докладов II Международной научной конференции «Конвергентные когнитивно-информационные технологии»

Экономика IoT

В страховой телематике Интернет Вещей использовался для страхования транспортных средств. А вот продолжение этой темы: Интернет Вещей в страховании жилья

Как это понимать?

В развитие темы интерпретации результатов машинного обучения - интересные мысли о важности переменных для дерева решений

P.S. см. также другие материалы по теме Machine Learning

Как анализировать транспортные карты?

О подходах к анализу данных транспортных карт. Какую информацию можно получить из данных о валидации карт Тройка, например.

MS Time Series

Облачные инструменты Майкрософт для анализа временных рядов

См. также другие материалы, посвященные временным рядам

Концов не сыщешь

Торговать энергоносителями будут с помощью блокчейн

Рекуррентные нейронные сети

Довольно подробное описание примера использования рекуррентных нейронных сетей для поиска аварий на видео

Кто есть кто в обучении

Ed tech компании - периодическая таблица элементов.

Тепловые карты

Использование тепловых карт в аналитике для розничной торговли

Камера - коммуникатор

Интересная статья об использовании изображений камеры для параллельной передачи информации

Aalto

Data mining группа в финском университете Aalto

Молодые профессионалы

Победитель конкурса на Создание и запуск цифровой платформы обмена знаниями и управления авторскими правами - индивидуальный предприниматель 1994 г.р., который занимается арендой и управлением собственным или арендованным недвижимым имуществом

PGM

Обзор вероятностных графических моделей

Модель физического веба

Тезисы к конференции Тихоновские чтения 2017: О простой модели физического веба

В работе предложена простая схема реализации модели Physical Web, основанная на стандартных протоколах Bluetooth. В качестве тега (маяка) в этой модели выступают мобильные телефоны. В роли идентификатора могут использоваться как URL, так и другие структурированные (например, e-mail) или неструктурированные текстовые объекты. Использование в качестве средства управления тегом мобильного приложения позволяет организовать ретрансляцию идентификаторов, реализовав тем самым, простую одноранговую сеть. Помимо самой реализации, в работе рассмотрены также и модели применения (использования) для предложенной схемы.

Самый быстрый

Интересный алгоритм подсчета частоты употребления в потоке.

P.S. см. также другие публикации по теме stream processing

ML Security

Впечатляющий список: Machine Learning for Cyber Security

Google Cloud & streams

Обработка потоков в Google Cloud.

И интересная дискуссия по этому поводу на YC

P.S. см. также другие публикации по теме stream processing

Графы мошенников

Интересное использование PageRank для выявления мошеннических схем в страховой медицине

Крик

Расширение для Chrome, которое позволяет поделиться ссылкой (URL) в аудио-сигнале.

Предательство

Статья с описанием проекта по мониторингу исходящего трафика для Android приложений. О чем не говорят создатели приложений.

Блокчейн в медицине

Довольно информативная графика о применении блокчейн в медицине

JavaScript в облаке

Облачная среда разработки для JavaScript

Открытая наука в октябре

Последний номер (10, 2017) журнала INJOIT - в Киберленинке

P.S. /via Лаборатория ОИТ

Теперь вместе

FIWARE и TM Forum об умных городах

Бурные потоки

Еще одна традиционная тема: stream processing

1. Apache Spark, Samza & Kafka Streaming

2. Twitter open-sources Херсон Heron, its real-time stream-processing engine

3. Шаблоны потоковой обработки данных

4. Обработка больших данных в реальном времени. Обзор.

5. Обработка данных Hadoop в реальном времени

6. Stream processing & complex event processing (CEP)

7. Книга в свободном доступе: Streaming Architecture

8. Основы потоковой обработки

9. Потоковая обработка. Обзор продуктов и архитектур.

10. Репликация в Kafka

P.S. см. другие публикации по обработке потоков

Умный город Торонто

Городская лаборатория Google строит умный город в Торонто. Вот здесь есть очень детальные предложения от Google по Умному городу.

YOLO

Интересный подход к распознаванию объектов на видео в реальном времени. Вот оригинальная работа авторов: YOLO - You Only Look Once

Big Data журнал

Big Data Journal. Много статей в открытом доступе.

Что в Твиттере твоем?

Интересные работы по анализу данных в Twitter

1. Можно ли верить этим твитам. Актуально в эпоху fake news.

2. Как выглядят полемики и споры в Twitter

3. Что вы знаете о своей Twitter-сети

P.S. см. также другие твиттер-публикации

О вечном

SQL и все вокруг

1. Все NoSQL системы используют (будут использовать) SQL

2. SQL для Kafka. Использование SQL для обработки потоков. И почему это нужно

3. Проектирование схемы данных: реляционная модель vs. NoSQL. На примере Apache Drill

4. SQL над Hadoop

5. Google Cloud Bigtable

P.S. См. также другие публикации по теме SQL

Еще о временных рядах

Несколько интересных материалов по одной из наших любимых тем - временные ряды

1. Представление временных рядов в MongoDB. В одном документе объединяют несколько замеров.

2. Интересный подход к поиску шаблонов во временных рядах

3. Нейронные сетив анализе временных рядов

4. Хороший анализ требований к базам данных для временных рядов. Часто это могут быть просто файловые системы. И интересная дискуссия по этому поводу на YC

5. Еще один подход к требованиям для баз данных временных рядов

6. Использование Apache Crunch для анализа временных рядов. Apache Crunch - это Java библитотека для организации пайплайнов в Hadoop и Spark.

7. Датасет для тестирования алгоритмов поиска аномалий во временных рядах.

P.S. см. также другие публикации по теме временных рядов

Шаблоны взаимодействия

Интересная статья о шаблонах взаимодействия в Twitter. Как распространяется опубликованная информация. И как (когда) ее опубликовать, чтобы был максимальный эффект.

IoT исследования

Хороший пример оформления "научной" страницы - IoT research from Charith Perera

Кто это написал?

Очень практический пример использования NLP для определения авторства текстов.

Бит кубит

Разрушит ли квантовый компьютер биткойны?

Будьте добрее

Анализ твитов с целью выяснения их связи с сердечными заболеваниями. В основе лежит обнаружение "злых" текстов.

P.S. сообщения из этого блога попадают в твиттер @abava как короткие ссылки. Это, очевидно, добрый текст :)

И снова о журналах

Лог - как основа пайплайна данных

См. также следующую публикацию

ML приложения

Хорошая идея - обновляемый список задач, решенных с помощью машинного обучения.

См. также другие публикации по теме machine learning

Не бросай

Не растворяйте втулки. Бумажная экономика :)

DL визуализатор

Визуализация Tensorflow непосредственно в браузере

P.S. см. также другие публикации по Deep Learning

WPA2 - все?

Согласно этой работе, WPA2 больше не защищает трафик. Все можно прочесть. А ведь это основной механизм безопасности для Wi-Fi ...

Документатор

SAP умеет делать законченные полезные продукты - подтверждение целостности документов на основе блокчейн.

GAN

Интересный список приложений, построенных на базе Generative Adversarial Networks. Это то, например, как создают реалистичные изображения, старят фотографии и т.д.

Шаблоны в потоке

Лекция Mining Frequent Patterns from Data Streams из курса Knowledge Discovery and Data Mining

Инфофорум 2017

Материалы форума по информационной безопасности доступны на Яндекс.диске. Общее впечатление: все готовы управлять процессом и все защищать, но вот что нужно делать конкретно - не говорят :)

Один сплошной журнал

Журнал - как основа инфраструктуры данных

Google Data Studio

Визуализации для данных от Google. Много разных данных. Из того что попробовали - визуализация работает для данных в сторонней (доступной через интернет) MySQL базе.

В обсуждениях на YC - много альтернативных решений.

Трансформации Фурье

Практическое применение Fourier transform

Markov Chain Monte Carlo

Хорошее описание Markov Chain Monte Carlo

Косинус Жаккара

Вычисление метрик в Python

В окне

Об использовании функции window в SQL:

Use window functions for time-series percentages

Timeseries Tips For Postgresql

Finding User Sessions with SQL

PostgreSQL: Window function

Практическая аналитика Twitter

Пошаговое руководство по использованию Python и Twitter Stream API для анализа данных в Twitter

Ода MySQL

Прекратите искать "лучшее" решение для хранения данных и полюбите MySQL. Советуют нам инженеры Pinterest.

Гео-паттерны

Как по анонимным данным о перемещениях восстанавливали их владельца

INJOIT том 5, номер 10

Вышел новый номер журнала INJOIT. Это десятый номер в 2017 году. Тема года - цифровая экономика.

Темы статей:

• Задачи дискретной оптимизации с квазиблочными матрицами
• The complete finite automaton
• Применение машинного обучения по ансамблю решающих правил для вычисления прогноза дополнительного коэффициента извлечения нефти
• Arduino Based Blind Solar Tracking Controller
• О телекоммуникациях Пентагона
• Маркетинговое исследование рынка умных домов в цифровой экономике
• Единый цифровой рынок Европейского Союза: текущие состояние и направления развития
• Умная инфраструктура, физические и информационные активы, Smart Cities, BIM, GIS и IoT

Архив журнала находится здесь.

/via Лаборатория ОИТ

Дождевик

Интересная идея: дождь меняет электромагнитное поле. А значит - это можно измерить. С помощью вышек сотовой связи, которые стоят повсюду. Сотовый датчик дождя

Город сенсоров

Как выглядит Умный город в Сингапуре. 3D модель города, которую строит Dassault Systèmes.

О близости

Практическое использование proximity в ритейле

HP попал

HP хотел продавать свои программы в России и согласился на аудит исходных текстов. В России. А этот же софт используется, например, Пентагоном. Как говорит Рейтерс - HP сдал информацию о потенциальной уязвимости свои программ.

Блокчейн на практике

То, что не касается криптовалют в блокчейне, на мой взгляд, имеет больше перспектив для немедленного применения. Вот, например, компания продает билеты на массовые мероприятия. Блокчейн здесь позволяет зафиксировать собственника без назначения какого-то единого центра удостоверения и тем самым, избежать перепродажи с целью спекуляции.

Неистребимо

Прислали требование ВАК собрать и послать им статистику по журналу. Люди на зарплате требуют, чтобы им что-то сделали те, кто бесплатно выпускает бесплатный же журнал. Оцените уровень вопросов:

Доля статей в соавторстве с учеными из стран СНГ (%)

Оцените приблизительно, с вашей точки зрения, процент статей, публикующихся в журнале, по своему содержанию интересных национальному сообществу (%)

oh mein gott ...

Обучение на графах

Что мы читаем. Интересная статья - обзор методов машинного обучения на графах: Representation Learning on Graphs: Methods and Applications

P.S. см. также другие публикации по теме machine learning

ИИ

Коллекция Искусственный интеллект 2017: курсы, статьи, блоги и т.д.

Не за горами ...

Программная система решает, как переиспользовать код из одного проекта в другом. Сама статья - здесь. Конец профессии программиста уже виден?

SQL notebook

Полезный инструмент для анализа данных с помощью SQL непосредственно в браузере

Шелковая железная дорога

Пара публикаций о надеждах России - цифровая железная дорога и шелковый путь. Суждено ли им сбыться?

Прорывные инновационные технологии для инфраструктур. Евразийская цифровая железная дорога как основа логистического коридора нового Шелкового пути

Соображения по проблемам создания цифровой железной дороги для нового шелкового пути трансконтинентального логистического партнерства в целях экономического развития стран входящих в ЕАЭС и России

Искусственный интеллект и государство

Две последние статьи В.И. Дрожжинова:

Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 1. Опыт Великобритании и США

Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 2. Перспективы применения искусственного интеллекта в России для государственного управления

База машинного обучения

Основные алгоритмы машинного обучения с примерами на Python

См. также другие публикации по теме machine learning

OpenStack NFV

OpenStack как база для реализации Virtual Network Functions

Все пошло не так

Еще один материал на тему Machine Learning Done Wrong

Правильная история

Сейчас есть (и появляется) довольно много альтернативных курсов по подготовке к ЕГЭ (ОГЭ). Ничего больше школьной программы они, по факту, не дают. Но, судя по всему, от учеников у них нет отбоя. И вот для таких курсов появляются интересные инструменты в веб. По сути, всю IT систему такой учебный центр может сделать на сторонних инструментах. Очень правильная история:

CRM для учебных центров

Инструментарий для создания тестов

Знаете еще какие-либо подобные инструменты?

CS бакалавр

Собранные вместе бесплатные курсы на программу бакалавра в Computer Science

Computer Science a Full Bachelor Curriculum

Open Source Society University

На русском языке пока такого нет. См. также предыдущие публикации на эту тему: университет на диване

P.S. И интересная дискуссия по этому поводу на YC

/via Поиск онлайн-курсов

Нейронный чеклист

Построенная нейронная сеть - не работает. Что делать? Here's a checklist of what may be going wrong

Больше рядов

Пара ссылок по временным рядам.

1. Riak TS - интересная модель для хранения временных рядов, построенная на архитектуре key-value

2. Хранение временных рядов с нерегулярно поступающими данными.

P.S. другие публикации по теме временных рядов

Вам, предсказатели

Velox - СУБД для предиктивной аналитики. Как это устроено и как работает. Сама система находится здесь.

Уже появился и наследник. Интересная модель интеграции моделей машинного обучения - Clipper

P.S. все проекты AMP Lab

Питон для данных

Бесплатный курс ntro to Python for Data Science

Вот сводная таблица из него

P.S. /via Поиск онлайн-курсов

ЦЕ портал

Еще один портал, посвященный цифровой экономике. Сейчас их будет много появляться.

Как делиться

Типы шардинга в базах данных

Управление памятью в JavaScript

Хорошая статья об управлении памятью в JavaScript

P.S. дискуссия по этому поводу на YC и пара статей в журнале INJOIT: On JavaScript Memory Leaks и On Memory Management in JavaScript Applications

P.P.S. ну и интересный блог о JavaScript от авторов статьи

Каршеринг в Москве

Обзор каршеринг сервисов. Использование - явно на подъеме. Даже визуально это очевидно (количество таких машин вокруг).

Базоология

Хорошая коллекция статей по СУБД и смежным вопросам

Современные информационные технологии и ИТ-образование

Опубликован новый выпуск журнала «Современные информационные технологии и ИТ-образование». Том 13, номер 2, 2017

Пробы ставить некуда

Еще о пассивном Wi-Fi мониторинге: Wi-Fi probes.

P.S. И интересное обсуждение на YC

Открытая книга

Большая коллекция Open Access books

Кого затронет blockchain

Одно из лучших исследований по возможному влиянию blockchain на различные отрасли экономики. Источник - blockchain-центр в MIT

P.S. blockchain - это не только криптовалюты (или даже не столько криптовалюты)

ML anti-patterns

О реальных проблемах, связанных с использованием систем machine learning

Метод сортировки

Рабочее название - в ожидании чуда

Статистика цифровой экономики

Компас цифровой экономики, опубликованный на статистическом портале Statista в апреле 2017 г. Дает обзор глобальных трендов в сферах коннективности, социальных медиа, платформенной экономики, венчурного капитала, искусственного интеллекта. Также формулирует ключевые показатели развития в области э-коммерции, э-услуг, э-туризма, цифровых медиа, финтеха, цифровой рекламы, умного дома, умного автомобиля.

Big Data в нефтянке

О работе с большими данными в нефтяной отрасли России. Спойлер: данные есть, но их никому не покажут и не дадут.

ЦЭ в России

Подготовка программы цифровой экономики в России. Наконец появился документ с датами.

Веселенькие QR-коды

Как в Гонконге рекламируют городские маршруты для туристов

P.S. там еще есть один интересный городской проект - камера на собаке автоматически делает снимки, когда собака виляет хвостом (то есть, камера снимет то, что вызвало радость у собаки :)

Распознавание объектов

Распознавание объектов на изображениях - современное состояние

Электронные библиотеки

Большой список электронных библиотек

P.S. а вот сервис Sci-Hub, к сожалению, больше не работает на территории России. В существующих условиях это был единственный способ читать многие статьи, например, из IEEE. Пока еще остался Libgen

Зачем и почему

Всемирный экономический форум о блокчейн: главное - это понять, кому и зачем это может быть нужно.

AR идеи

Интересный обзор выходящих приложений Augmented Reality

Москва - звонят колокола

С началом нового учебного года на портале mos.ru московские власти в очередной раз поменяли электронный дневник для учащихся. Разобраться как же он работает (или не работает) - решительно невозможно. Не знаю как охарактеризовать людей, которые рисовали там экраны и придумывали какую-то "логику". Эта реновация у них тоже не удалась ...

IoT комплекты

IoT инструменты от MediaTek. Вот здесь есть о них на русском языке

Поиск аномалий

Полезная книга О'Рейли по поиску аномалий в данных в данных

CDR на телефоне

Интересный сервис, который позволяет собирать Call Detail Records записи (информация об активности) непосредственно на мобильном телефоне.

Это из следующей статьи: Smartphone-collected Mobile Network Events for Mobility Modeling

Блок-чтиво

Биткой, блокчейн и связанные технологии - книги в открытом доступе.

Натаниэль Поппер «ЦИФРОВОЕ ЗОЛОТО»

Адам Теппер «БИТКОЙН – ДЕНЬГИ ДЛЯ ВСЕХ»

Андреас Антонопулос «ОВЛАДЕНИЕ БИТКОИНОМ» (MASTERING BITCOIN)

Мобильность в городе

Интересная статья от городской лаборатории Google о важности информирования водителей относительно полной (истинной) стоимости поездки на автомобиле. Это позволит кому-то принять другое решение о выборе транспорта и, следовательно, уменьшит пробки.

P.S. Другие статьи от SideWalk

Абавазрение 02.09.2017

На этот раз - одна из излюбленных тем. Потоки и обработка данных в реальном времени.

1. Кластеризация потоковых данных

2. SAMOA - Data mining для потоков

3. Хорошая статья: Обработка потоков в R

4. Иллюстрированное введение в анализ потоков

5. MapR: обработка данных в реальном времени

6. Презентация по лямбда-архитектуре

Блокчейн и базы данных

Блокчейн - как один из типов распределенных баз данных

INJOIT том 5, номер 9

Вышел новый номер журнала INJOIT. Это девятый номер в 2017 году. Тема года - цифровая экономика.

Темы статей:

• Памяти В.И. Дрожжинова
• Лабораторный стенд для тестирования возможностей интеграции ПКС-сетей и традиционных сетей
• Представление больших наборов динамически изменяющихся удаленных данных в приложениях WPF
• N-Gram Fuzzy Keyword Search On Encrypted User Data in Cloud
• Центральность распада в социальных графах и адаптированный алгоритм Флажоле-Мартена для ее расчета
• Проблема инвестиций в истории экономической мысли
• O внутренней норме прибыли IRR и приоритетности инвестиций
• Методический подход к задаче синтеза и оценке эффективности автоматизированной системы геофизического обеспечения
• Mathematical Modeling of the Fiber-Optic Converter on the Magneto-Optical Faraday Effect
• Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 1. Опыт Великобритании и США
• Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 2. Перспективы применения искусственного интеллекта в России для государственного управления
• Прорывные инновационные технологии для инфраструктур. Евразийская цифровая железная дорога как основа логистического коридора нового Шелкового пути
• Соображения по проблемам создания цифровой железной дороги для нового шелкового пути трансконтинентального логистического партнерства в целях экономического развития стран входящих в ЕАЭС и России

Архив журнала находится здесь.

/via Лаборатория ОИТ

Wi-Fi Aware

Proximity в мире Wi-Fi. Как это виделось: Wi-Fi Aware: A platform for proximity-based Wi-Fi innovation. И что вышло: Wi-Fi Aware.

Временные ряды в Informix

The Internet of Things: A time series data challenge

Питон для данных

Python Data Science Handbook

О семантике данных

Как выглядит на практике семантическое представление данных в медицинских проектах

Анализ временных рядов

Хорошая подборка: Time series in Python

Свободный велосипед

Появляется все больше примеров использования в городах прокатных велосипедов без станций.

Осведомитель

Как выглядит push-провайдер

Советчик

Подробное описание устройства рекомендательной системы в Etsy

Причуды JavaScript

Это, конечно, удивительный "язык программирования"

IoT платформы - чего не хватает?

A gap analysis of Internet-of-Things platforms

Information-Centric Networks

Хороший обзор: A Survey of Mobility in Information-Centric Networks: Challenges and Research Directions

Издательство AIRCC

Academy & Industry Research Collaboration Center

И на старуху бывает проруха

Что же такое IBM Watson и почему его все ненавидят.

Практическая кластеризация

Как работает кластеризация данных. С хорошими иллюстрациями.

Wi-Fi сканирование

Кусок из пакета Funf - сканирование и определение узлов Wi-Fi.

A/B тестирование

Хорошее описание A/B тестирования. Частотный подход.

Что почитать?

Продолжая тему machine learning:

Завершена книга Deep Learning. Онлайн-версия - бесплатна

Cheat Sheets for AI, Neural Networks, Machine Learning, Deep Learning & Big Data

Энциклопедия машинного обучения

Отличный проект от Springer: Encyclopedia of Machine Learning and Data Mining

A/B калькулятор

Полезный инструмент для A/B тестирования: Bayesian A/B testing calculator

Открытый стек

Довольно критический взгляд на OpenStack. Наш опыт, честно говоря, это только подтверждает.

Признать очевидное

Если плохо, то это лучше признать. И пережить. От отрицания - станет еще хуже. P.S. интересно, что тема вызвала бурное обсуждение именно на техническом ресурсе

Анализ движения

Интересная статья по поиску аномалий в движениях городского транспорта на основе мобильного краудсенсинга.

Управление памятью

Забавный блитц-курс по управлению памятью.

IoT в России

Отчет PwC о развитии и перспективах Интернета Вещей в России. И выжимки из него.

Технологии умного города

Фундаментальный обзор по IT технологиям и моделям Умного города: Smart Cities: A Survey on Data Management, Security and Enabling Technologies

ICO for dummies

Пара ресурсов на популярную тему:

Пополняемая книга по ICO. На русском языке

Криптовалюты. Введение

Торговля электричеством

Торговля электричеством из России. Дорого. За биткойны.

Шардинг баз данных

Как делить реляционные базы данных.

P.S. и интересная дискуссия по этому поводу на YC.

О цифровой медицине

Интересный проект: создание Open Source системы анализа данных по диагностике рака легких. Работа участников - финансируется.

Деньги на цифровую экономику

Решили собрать с бизнеса. Было бы правильно, чтобы пайщики и решали, что делать и почем.

Истории о данных

Интересный блог - Storytelling with Statistics

Инструмент для урбаниста

Или для анти-урбаниста. Кому что важнее на данный момент. Лаборатория анализа данных в Warwick Business School разработала приложение, которое оценивает степень красоты городской застройки (в целом - ландшафта вообще). Вот ссылка на их работу. В оригинале авторы исследовали то, как окружающий вид влияет на здоровье. Красота спасет мир, иными словами. В реализации использовалась convolutional neural network от MIT, которая и распознавала объекты на изображениях. Для обучения использовался сайт Scenic-Or-Not, где пользователи размечают гео-тегированные фотографии (нравится им вид или нет).

Это могло бы стать хорошим инструментом оценки того, что происходит, например, с городской застройкой в Москве. Количественная оценка реновации, например.

Московский транспорт

Интересная визуализация от Яндекс

Пользователи в сетях

Домашняя страница Dr. Gareth Tyson с интересными статьями о user-facing networked systems

После лямбды

Что должно придти на смену лямбда-архитектуре

AI в России

Российские компании, работающие в области искусственного интеллекта - карта.

INJOIT vol. 5, no. 8

Вышел новый номер журнала INJOIT. Это восьмой номер в 2017 году. Тема года - цифровая экономика.

Темы статей:

• Оптимизация маректинговой стратегии торговой фирмы
• Как измерить эффективность инвестиций: критика рассуждений Пьера Массе
• Об одном способе доставки информации мобильным пользователям
• Использование сканера уязвимостей ZAP для тестирования веб-приложений
• Представление множества натуральных чисел в виде динамической системы дискретного времени
• Выбор генератора псевдослучайных чисел для использования в рендеринге методом трассировки пути
• Graphical spreadsheet tools for learning enzyme kinetics
• Мобильное производство на базе совместной экономики, цифровых технологий и логистики
• Модель данных Всемирной организации интеллектуальной собственности стандарта ST.96
• Цифровые цепи поставок и технологии на базе блокчейн в совместной экономике

Архив журнала находится здесь.

/via Лаборатория ОИТ

Город, управляемый данными

Дизайн городской среды, основанный на данных. Открытая лекция от Urbica

О бесплатных знаниях

Ода сервису, который позволяет бесплатно получать научные статьи. Если еще не пользовались - попробуйте Sci-Hub

Цифровая экономика в ЕАЭС

Программа по цифровой экономике касается не только России. Мы ведь входим в ЕАЭС, а там есть и своя цифровая повестка.

Архитектуры предприятий

Публикации по теме Enterprise Architecture (EA)

Моя улица по английски

Перепроектирование торговых улиц в Лондоне. Вот, например, Oxford Street

P.S. и дело ведь явно не в плитке ...

К общему тренду

Никак нельзя пройти мимо. Нужно же и нам что-то сказать по безумной горячей теме. Вот, например: ясновидящая Элена Гамаюн заряжает видеокарты на майнинг

Потребительский IoT

материалы конференции "Интернет вещей «с человеческим лицом»: выгодно ли инвестировать в технологии потребительского IoT"

Большие данные на транспорте

В Москве прошел Экспертный совет по транспортным вопросам. Его презентации доступны здесь. Есть довольно интересные.

Меш-сети в Android

Обзорная статья по построению меш-сетей на базе Android.

Что почитать?

Что почитать по нейронным сетям?

Базы данных реального времени

Хороший и подробный обзор баз данных реального времени. Архитектура Meteor, RethinkDB, Parse & Firebase.

Как мы ходим

Куда идут данные с фитнес-браслетов и других трекеров. Анализ перемещений по городу.

Электромонитор

Интересный проект по мониторингу расхода электроэнергии

Цифровой индекс

Методология и текущая оценка цифрового индекса по странам. Текущий уровень России меньше ее потенциала ...

Data Streams

Очень подробное и хорошо написанное руководство по data streams от Confluent: часть 1 и часть 2. В основе, естественно, Kafka

См. также другие публикации по теме stream processing

О построении API

Интересный (и полезный) материал по построению RESTful API для приложений

Data Science - собеседование

О чем спрашивать кандидатов в data science

Линейная алгебра

Толковый курс по линейной алгебре.

/via Поиск онлайн-курсов

ML Apple

Machine Learning блог от Apple

О правильном выборе в науке

Как выбирать тему научного исследования

SMACK

Spark, Mesos, Akka, Cassandra, and Kafka - архитектурный стек для больших данных

Визуализация в Python и R

Сравнение R и Python: визуализация данных

Карты сайтов

Руководство по построению Heat maps для веб-сайтов. От готовых инструментов до скриптов для самостоятельного изготовления.

ML Yandex

Машинное обучение от Яндекса - открытая библиотека для градиентного бустинга. И интервью с разработчиками.

См. также другие публикации по теме machine learning

Глобальная SIM-карта

M2M устройство с глобальным покрытием для облачного хранения данных

Обработка данных в реальном времени

Оживление на рынке систем обработки данных в реальном времени

Супер-кардиолог

CNN, которая предсказывает сердечную аритмию лучше кардиолога

О микросервисах

Практический подход к построению микросервисов

Методы уменьшения размерности

Снижение размерности при анализе данных: PCA, t-SNE, Auto Encoders

Ученый робот

Автоматизация для data science. Для статистической обработки, например, до конца это так и не было решено.

Все - в поток

Потоковая обработка данных

Анализ текстов

Компактный обзор методов машинного обучения в анализе текстов

Блокчейн в медицине

Использование блокчейн для медицинских карт. Работает в Эстонии. По сути - журнал, который отслеживает кто менял записи.

"We are securing the audit log of all actions in the system. So if there's malicious intent or an employee doing something they shouldn't do, we can't prevent that, but we will record it."

Вероятностное программирование

Еще пара ресурсов по теме вероятностного программирования:

Книга в открытом доступе Modeling Agents with Probabilistic Programs

Вероятностное программирование на Python

См. также другие публикации по теме Probabilistic programming