Один сплошной журнал

Журнал - как основа инфраструктуры данных

Google Data Studio

Визуализации для данных от Google. Много разных данных. Из того что попробовали - визуализация работает для данных в сторонней (доступной через интернет) MySQL базе.

В обсуждениях на YC - много альтернативных решений.

Трансформации Фурье

Практическое применение Fourier transform

Markov Chain Monte Carlo

Хорошее описание Markov Chain Monte Carlo

Косинус Жаккара

Вычисление метрик в Python

В окне

Об использовании функции window в SQL:

Use window functions for time-series percentages

Timeseries Tips For Postgresql

Finding User Sessions with SQL

PostgreSQL: Window function

Практическая аналитика Twitter

Пошаговое руководство по использованию Python и Twitter Stream API для анализа данных в Twitter

Ода MySQL

Прекратите искать "лучшее" решение для хранения данных и полюбите MySQL. Советуют нам инженеры Pinterest.

Гео-паттерны

Как по анонимным данным о перемещениях восстанавливали их владельца

INJOIT том 5, номер 10

Вышел новый номер журнала INJOIT. Это десятый номер в 2017 году. Тема года - цифровая экономика.

Темы статей:

• Задачи дискретной оптимизации с квазиблочными матрицами
• The complete finite automaton
• Применение машинного обучения по ансамблю решающих правил для вычисления прогноза дополнительного коэффициента извлечения нефти
• Arduino Based Blind Solar Tracking Controller
• О телекоммуникациях Пентагона
• Маркетинговое исследование рынка умных домов в цифровой экономике
• Единый цифровой рынок Европейского Союза: текущие состояние и направления развития
• Умная инфраструктура, физические и информационные активы, Smart Cities, BIM, GIS и IoT

Архив журнала находится здесь.

/via Лаборатория ОИТ

Дождевик

Интересная идея: дождь меняет электромагнитное поле. А значит - это можно измерить. С помощью вышек сотовой связи, которые стоят повсюду. Сотовый датчик дождя

Город сенсоров

Как выглядит Умный город в Сингапуре. 3D модель города, которую строит Dassault Systèmes.

О близости

Практическое использование proximity в ритейле

HP попал

HP хотел продавать свои программы в России и согласился на аудит исходных текстов. В России. А этот же софт используется, например, Пентагоном. Как говорит Рейтерс - HP сдал информацию о потенциальной уязвимости свои программ.

Блокчейн на практике

То, что не касается криптовалют в блокчейне, на мой взгляд, имеет больше перспектив для немедленного применения. Вот, например, компания продает билеты на массовые мероприятия. Блокчейн здесь позволяет зафиксировать собственника без назначения какого-то единого центра удостоверения и тем самым, избежать перепродажи с целью спекуляции.

Неистребимо

Прислали требование ВАК собрать и послать им статистику по журналу. Люди на зарплате требуют, чтобы им что-то сделали те, кто бесплатно выпускает бесплатный же журнал. Оцените уровень вопросов:

Доля статей в соавторстве с учеными из стран СНГ (%)

Оцените приблизительно, с вашей точки зрения, процент статей, публикующихся в журнале, по своему содержанию интересных национальному сообществу (%)

oh mein gott ...

Обучение на графах

Что мы читаем. Интересная статья - обзор методов машинного обучения на графах: Representation Learning on Graphs: Methods and Applications

P.S. см. также другие публикации по теме machine learning

ИИ

Коллекция Искусственный интеллект 2017: курсы, статьи, блоги и т.д.

Не за горами ...

Программная система решает, как переиспользовать код из одного проекта в другом. Сама статья - здесь. Конец профессии программиста уже виден?

SQL notebook

Полезный инструмент для анализа данных с помощью SQL непосредственно в браузере

Шелковая железная дорога

Пара публикаций о надеждах России - цифровая железная дорога и шелковый путь. Суждено ли им сбыться?

Прорывные инновационные технологии для инфраструктур. Евразийская цифровая железная дорога как основа логистического коридора нового Шелкового пути

Соображения по проблемам создания цифровой железной дороги для нового шелкового пути трансконтинентального логистического партнерства в целях экономического развития стран входящих в ЕАЭС и России

Искусственный интеллект и государство

Две последние статьи В.И. Дрожжинова:

Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 1. Опыт Великобритании и США

Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 2. Перспективы применения искусственного интеллекта в России для государственного управления

База машинного обучения

Основные алгоритмы машинного обучения с примерами на Python

См. также другие публикации по теме machine learning

OpenStack NFV

OpenStack как база для реализации Virtual Network Functions

Все пошло не так

Еще один материал на тему Machine Learning Done Wrong

Правильная история

Сейчас есть (и появляется) довольно много альтернативных курсов по подготовке к ЕГЭ (ОГЭ). Ничего больше школьной программы они, по факту, не дают. Но, судя по всему, от учеников у них нет отбоя. И вот для таких курсов появляются интересные инструменты в веб. По сути, всю IT систему такой учебный центр может сделать на сторонних инструментах. Очень правильная история:

CRM для учебных центров

Инструментарий для создания тестов

Знаете еще какие-либо подобные инструменты?

CS бакалавр

Собранные вместе бесплатные курсы на программу бакалавра в Computer Science

Computer Science a Full Bachelor Curriculum

Open Source Society University

На русском языке пока такого нет. См. также предыдущие публикации на эту тему: университет на диване

P.S. И интересная дискуссия по этому поводу на YC

/via Поиск онлайн-курсов

Нейронный чеклист

Построенная нейронная сеть - не работает. Что делать? Here's a checklist of what may be going wrong

Больше рядов

Пара ссылок по временным рядам.

1. Riak TS - интересная модель для хранения временных рядов, построенная на архитектуре key-value

2. Хранение временных рядов с нерегулярно поступающими данными.

P.S. другие публикации по теме временных рядов

Вам, предсказатели

Velox - СУБД для предиктивной аналитики. Как это устроено и как работает. Сама система находится здесь.

Уже появился и наследник. Интересная модель интеграции моделей машинного обучения - Clipper

P.S. все проекты AMP Lab

Питон для данных

Бесплатный курс ntro to Python for Data Science

Вот сводная таблица из него

P.S. /via Поиск онлайн-курсов

ЦЕ портал

Еще один портал, посвященный цифровой экономике. Сейчас их будет много появляться.

Как делиться

Типы шардинга в базах данных

Управление памятью в JavaScript

Хорошая статья об управлении памятью в JavaScript

P.S. дискуссия по этому поводу на YC и пара статей в журнале INJOIT: On JavaScript Memory Leaks и On Memory Management in JavaScript Applications

P.P.S. ну и интересный блог о JavaScript от авторов статьи

Каршеринг в Москве

Обзор каршеринг сервисов. Использование - явно на подъеме. Даже визуально это очевидно (количество таких машин вокруг).

Базоология

Хорошая коллекция статей по СУБД и смежным вопросам

Современные информационные технологии и ИТ-образование

Опубликован новый выпуск журнала «Современные информационные технологии и ИТ-образование». Том 13, номер 2, 2017

Пробы ставить некуда

Еще о пассивном Wi-Fi мониторинге: Wi-Fi probes.

P.S. И интересное обсуждение на YC

Открытая книга

Большая коллекция Open Access books

Кого затронет blockchain

Одно из лучших исследований по возможному влиянию blockchain на различные отрасли экономики. Источник - blockchain-центр в MIT

P.S. blockchain - это не только криптовалюты (или даже не столько криптовалюты)

ML anti-patterns

О реальных проблемах, связанных с использованием систем machine learning

Метод сортировки

Рабочее название - в ожидании чуда

Статистика цифровой экономики

Компас цифровой экономики, опубликованный на статистическом портале Statista в апреле 2017 г. Дает обзор глобальных трендов в сферах коннективности, социальных медиа, платформенной экономики, венчурного капитала, искусственного интеллекта. Также формулирует ключевые показатели развития в области э-коммерции, э-услуг, э-туризма, цифровых медиа, финтеха, цифровой рекламы, умного дома, умного автомобиля.

Big Data в нефтянке

О работе с большими данными в нефтяной отрасли России. Спойлер: данные есть, но их никому не покажут и не дадут.

ЦЭ в России

Подготовка программы цифровой экономики в России. Наконец появился документ с датами.

Веселенькие QR-коды

Как в Гонконге рекламируют городские маршруты для туристов

P.S. там еще есть один интересный городской проект - камера на собаке автоматически делает снимки, когда собака виляет хвостом (то есть, камера снимет то, что вызвало радость у собаки :)

Распознавание объектов

Распознавание объектов на изображениях - современное состояние

Электронные библиотеки

Большой список электронных библиотек

P.S. а вот сервис Sci-Hub, к сожалению, больше не работает на территории России. В существующих условиях это был единственный способ читать многие статьи, например, из IEEE. Пока еще остался Libgen

Зачем и почему

Всемирный экономический форум о блокчейн: главное - это понять, кому и зачем это может быть нужно.

AR идеи

Интересный обзор выходящих приложений Augmented Reality

Москва - звонят колокола

С началом нового учебного года на портале mos.ru московские власти в очередной раз поменяли электронный дневник для учащихся. Разобраться как же он работает (или не работает) - решительно невозможно. Не знаю как охарактеризовать людей, которые рисовали там экраны и придумывали какую-то "логику". Эта реновация у них тоже не удалась ...

IoT комплекты

IoT инструменты от MediaTek. Вот здесь есть о них на русском языке

Поиск аномалий

Полезная книга О'Рейли по поиску аномалий в данных в данных

CDR на телефоне

Интересный сервис, который позволяет собирать Call Detail Records записи (информация об активности) непосредственно на мобильном телефоне.

Это из следующей статьи: Smartphone-collected Mobile Network Events for Mobility Modeling

Блок-чтиво

Биткой, блокчейн и связанные технологии - книги в открытом доступе.

Натаниэль Поппер «ЦИФРОВОЕ ЗОЛОТО»

Адам Теппер «БИТКОЙН – ДЕНЬГИ ДЛЯ ВСЕХ»

Андреас Антонопулос «ОВЛАДЕНИЕ БИТКОИНОМ» (MASTERING BITCOIN)

Мобильность в городе

Интересная статья от городской лаборатории Google о важности информирования водителей относительно полной (истинной) стоимости поездки на автомобиле. Это позволит кому-то принять другое решение о выборе транспорта и, следовательно, уменьшит пробки.

P.S. Другие статьи от SideWalk

Абавазрение 02.09.2017

На этот раз - одна из излюбленных тем. Потоки и обработка данных в реальном времени.

1. Кластеризация потоковых данных

2. SAMOA - Data mining для потоков

3. Хорошая статья: Обработка потоков в R

4. Иллюстрированное введение в анализ потоков

5. MapR: обработка данных в реальном времени

6. Презентация по лямбда-архитектуре

Блокчейн и базы данных

Блокчейн - как один из типов распределенных баз данных

INJOIT том 5, номер 9

Вышел новый номер журнала INJOIT. Это девятый номер в 2017 году. Тема года - цифровая экономика.

Темы статей:

• Памяти В.И. Дрожжинова
• Лабораторный стенд для тестирования возможностей интеграции ПКС-сетей и традиционных сетей
• Представление больших наборов динамически изменяющихся удаленных данных в приложениях WPF
• N-Gram Fuzzy Keyword Search On Encrypted User Data in Cloud
• Центральность распада в социальных графах и адаптированный алгоритм Флажоле-Мартена для ее расчета
• Проблема инвестиций в истории экономической мысли
• O внутренней норме прибыли IRR и приоритетности инвестиций
• Методический подход к задаче синтеза и оценке эффективности автоматизированной системы геофизического обеспечения
• Mathematical Modeling of the Fiber-Optic Converter on the Magneto-Optical Faraday Effect
• Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 1. Опыт Великобритании и США
• Искусственный интеллект как стратегический инструмент экономического развития страны и совершенствования ее государственного управления. Часть 2. Перспективы применения искусственного интеллекта в России для государственного управления
• Прорывные инновационные технологии для инфраструктур. Евразийская цифровая железная дорога как основа логистического коридора нового Шелкового пути
• Соображения по проблемам создания цифровой железной дороги для нового шелкового пути трансконтинентального логистического партнерства в целях экономического развития стран входящих в ЕАЭС и России

Архив журнала находится здесь.

/via Лаборатория ОИТ

Wi-Fi Aware

Proximity в мире Wi-Fi. Как это виделось: Wi-Fi Aware: A platform for proximity-based Wi-Fi innovation. И что вышло: Wi-Fi Aware.

Временные ряды в Informix

The Internet of Things: A time series data challenge

Питон для данных

Python Data Science Handbook

О семантике данных

Как выглядит на практике семантическое представление данных в медицинских проектах

Анализ временных рядов

Хорошая подборка: Time series in Python

Свободный велосипед

Появляется все больше примеров использования в городах прокатных велосипедов без станций.

Осведомитель

Как выглядит push-провайдер

Советчик

Подробное описание устройства рекомендательной системы в Etsy

Причуды JavaScript

Это, конечно, удивительный "язык программирования"

IoT платформы - чего не хватает?

A gap analysis of Internet-of-Things platforms

Information-Centric Networks

Хороший обзор: A Survey of Mobility in Information-Centric Networks: Challenges and Research Directions

Издательство AIRCC

Academy & Industry Research Collaboration Center

И на старуху бывает проруха

Что же такое IBM Watson и почему его все ненавидят.

Практическая кластеризация

Как работает кластеризация данных. С хорошими иллюстрациями.

Wi-Fi сканирование

Кусок из пакета Funf - сканирование и определение узлов Wi-Fi.

A/B тестирование

Хорошее описание A/B тестирования. Частотный подход.

Что почитать?

Продолжая тему machine learning:

Завершена книга Deep Learning. Онлайн-версия - бесплатна

Cheat Sheets for AI, Neural Networks, Machine Learning, Deep Learning & Big Data

Энциклопедия машинного обучения

Отличный проект от Springer: Encyclopedia of Machine Learning and Data Mining

A/B калькулятор

Полезный инструмент для A/B тестирования: Bayesian A/B testing calculator

Открытый стек

Довольно критический взгляд на OpenStack. Наш опыт, честно говоря, это только подтверждает.

Признать очевидное

Если плохо, то это лучше признать. И пережить. От отрицания - станет еще хуже. P.S. интересно, что тема вызвала бурное обсуждение именно на техническом ресурсе

Анализ движения

Интересная статья по поиску аномалий в движениях городского транспорта на основе мобильного краудсенсинга.

Управление памятью

Забавный блитц-курс по управлению памятью.

IoT в России

Отчет PwC о развитии и перспективах Интернета Вещей в России. И выжимки из него.

Технологии умного города

Фундаментальный обзор по IT технологиям и моделям Умного города: Smart Cities: A Survey on Data Management, Security and Enabling Technologies

ICO for dummies

Пара ресурсов на популярную тему:

Пополняемая книга по ICO. На русском языке

Криптовалюты. Введение

Торговля электричеством

Торговля электричеством из России. Дорого. За биткойны.

Шардинг баз данных

Как делить реляционные базы данных.

P.S. и интересная дискуссия по этому поводу на YC.

О цифровой медицине

Интересный проект: создание Open Source системы анализа данных по диагностике рака легких. Работа участников - финансируется.

Деньги на цифровую экономику

Решили собрать с бизнеса. Было бы правильно, чтобы пайщики и решали, что делать и почем.

Истории о данных

Интересный блог - Storytelling with Statistics

Инструмент для урбаниста

Или для анти-урбаниста. Кому что важнее на данный момент. Лаборатория анализа данных в Warwick Business School разработала приложение, которое оценивает степень красоты городской застройки (в целом - ландшафта вообще). Вот ссылка на их работу. В оригинале авторы исследовали то, как окружающий вид влияет на здоровье. Красота спасет мир, иными словами. В реализации использовалась convolutional neural network от MIT, которая и распознавала объекты на изображениях. Для обучения использовался сайт Scenic-Or-Not, где пользователи размечают гео-тегированные фотографии (нравится им вид или нет).

Это могло бы стать хорошим инструментом оценки того, что происходит, например, с городской застройкой в Москве. Количественная оценка реновации, например.

Московский транспорт

Интересная визуализация от Яндекс

Пользователи в сетях

Домашняя страница Dr. Gareth Tyson с интересными статьями о user-facing networked systems

После лямбды

Что должно придти на смену лямбда-архитектуре

AI в России

Российские компании, работающие в области искусственного интеллекта - карта.

INJOIT vol. 5, no. 8

Вышел новый номер журнала INJOIT. Это восьмой номер в 2017 году. Тема года - цифровая экономика.

Темы статей:

• Оптимизация маректинговой стратегии торговой фирмы
• Как измерить эффективность инвестиций: критика рассуждений Пьера Массе
• Об одном способе доставки информации мобильным пользователям
• Использование сканера уязвимостей ZAP для тестирования веб-приложений
• Представление множества натуральных чисел в виде динамической системы дискретного времени
• Выбор генератора псевдослучайных чисел для использования в рендеринге методом трассировки пути
• Graphical spreadsheet tools for learning enzyme kinetics
• Мобильное производство на базе совместной экономики, цифровых технологий и логистики
• Модель данных Всемирной организации интеллектуальной собственности стандарта ST.96
• Цифровые цепи поставок и технологии на базе блокчейн в совместной экономике

Архив журнала находится здесь.

/via Лаборатория ОИТ

Город, управляемый данными

Дизайн городской среды, основанный на данных. Открытая лекция от Urbica

О бесплатных знаниях

Ода сервису, который позволяет бесплатно получать научные статьи. Если еще не пользовались - попробуйте Sci-Hub

Цифровая экономика в ЕАЭС

Программа по цифровой экономике касается не только России. Мы ведь входим в ЕАЭС, а там есть и своя цифровая повестка.

Архитектуры предприятий

Публикации по теме Enterprise Architecture (EA)