Google Cloud & streams

Обработка потоков в Google Cloud.

И интересная дискуссия по этому поводу на YC

P.S. см. также другие публикации по теме stream processing

Графы мошенников

Интересное использование PageRank для выявления мошеннических схем в страховой медицине

Крик

Расширение для Chrome, которое позволяет поделиться ссылкой (URL) в аудио-сигнале.

Предательство

Статья с описанием проекта по мониторингу исходящего трафика для Android приложений. О чем не говорят создатели приложений.

Блокчейн в медицине

Довольно информативная графика о применении блокчейн в медицине

JavaScript в облаке

Облачная среда разработки для JavaScript

Открытая наука в октябре

Последний номер (10, 2017) журнала INJOIT - в Киберленинке

P.S. /via Лаборатория ОИТ

Теперь вместе

FIWARE и TM Forum об умных городах

Бурные потоки

Еще одна традиционная тема: stream processing

1. Apache Spark, Samza & Kafka Streaming

2. Twitter open-sources Херсон Heron, its real-time stream-processing engine

3. Шаблоны потоковой обработки данных

4. Обработка больших данных в реальном времени. Обзор.

5. Обработка данных Hadoop в реальном времени

6. Stream processing & complex event processing (CEP)

7. Книга в свободном доступе: Streaming Architecture

8. Основы потоковой обработки

9. Потоковая обработка. Обзор продуктов и архитектур.

10. Репликация в Kafka

P.S. см. другие публикации по обработке потоков

Умный город Торонто

Городская лаборатория Google строит умный город в Торонто. Вот здесь есть очень детальные предложения от Google по Умному городу.

YOLO

Интересный подход к распознаванию объектов на видео в реальном времени. Вот оригинальная работа авторов: YOLO - You Only Look Once

Big Data журнал

Big Data Journal. Много статей в открытом доступе.

Что в Твиттере твоем?

Интересные работы по анализу данных в Twitter

1. Можно ли верить этим твитам. Актуально в эпоху fake news.

2. Как выглядят полемики и споры в Twitter

3. Что вы знаете о своей Twitter-сети

P.S. см. также другие твиттер-публикации

О вечном

SQL и все вокруг

1. Все NoSQL системы используют (будут использовать) SQL

2. SQL для Kafka. Использование SQL для обработки потоков. И почему это нужно

3. Проектирование схемы данных: реляционная модель vs. NoSQL. На примере Apache Drill

4. SQL над Hadoop

5. Google Cloud Bigtable

P.S. См. также другие публикации по теме SQL

Еще о временных рядах

Несколько интересных материалов по одной из наших любимых тем - временные ряды

1. Представление временных рядов в MongoDB. В одном документе объединяют несколько замеров.

2. Интересный подход к поиску шаблонов во временных рядах

3. Нейронные сетив анализе временных рядов

4. Хороший анализ требований к базам данных для временных рядов. Часто это могут быть просто файловые системы. И интересная дискуссия по этому поводу на YC

5. Еще один подход к требованиям для баз данных временных рядов

6. Использование Apache Crunch для анализа временных рядов. Apache Crunch - это Java библитотека для организации пайплайнов в Hadoop и Spark.

7. Датасет для тестирования алгоритмов поиска аномалий во временных рядах.

P.S. см. также другие публикации по теме временных рядов

Шаблоны взаимодействия

Интересная статья о шаблонах взаимодействия в Twitter. Как распространяется опубликованная информация. И как (когда) ее опубликовать, чтобы был максимальный эффект.

IoT исследования

Хороший пример оформления "научной" страницы - IoT research from Charith Perera

Кто это написал?

Очень практический пример использования NLP для определения авторства текстов.

Бит кубит

Разрушит ли квантовый компьютер биткойны?

Будьте добрее

Анализ твитов с целью выяснения их связи с сердечными заболеваниями. В основе лежит обнаружение "злых" текстов.

P.S. сообщения из этого блога попадают в твиттер @abava как короткие ссылки. Это, очевидно, добрый текст :)

И снова о журналах

Лог - как основа пайплайна данных

См. также следующую публикацию

ML приложения

Хорошая идея - обновляемый список задач, решенных с помощью машинного обучения.

См. также другие публикации по теме machine learning

Не бросай

Не растворяйте втулки. Бумажная экономика :)

DL визуализатор

Визуализация Tensorflow непосредственно в браузере

P.S. см. также другие публикации по Deep Learning

WPA2 - все?

Согласно этой работе, WPA2 больше не защищает трафик. Все можно прочесть. А ведь это основной механизм безопасности для Wi-Fi ...

Документатор

SAP умеет делать законченные полезные продукты - подтверждение целостности документов на основе блокчейн.

GAN

Интересный список приложений, построенных на базе Generative Adversarial Networks. Это то, например, как создают реалистичные изображения, старят фотографии и т.д.

Шаблоны в потоке

Лекция Mining Frequent Patterns from Data Streams из курса Knowledge Discovery and Data Mining

Инфофорум 2017

Материалы форума по информационной безопасности доступны на Яндекс.диске. Общее впечатление: все готовы управлять процессом и все защищать, но вот что нужно делать конкретно - не говорят :)

Один сплошной журнал

Журнал - как основа инфраструктуры данных

Google Data Studio

Визуализации для данных от Google. Много разных данных. Из того что попробовали - визуализация работает для данных в сторонней (доступной через интернет) MySQL базе.

В обсуждениях на YC - много альтернативных решений.

Трансформации Фурье

Практическое применение Fourier transform

Markov Chain Monte Carlo

Хорошее описание Markov Chain Monte Carlo

Косинус Жаккара

Вычисление метрик в Python

В окне

Об использовании функции window в SQL:

Use window functions for time-series percentages

Timeseries Tips For Postgresql

Finding User Sessions with SQL

PostgreSQL: Window function

Практическая аналитика Twitter

Пошаговое руководство по использованию Python и Twitter Stream API для анализа данных в Twitter

Ода MySQL

Прекратите искать "лучшее" решение для хранения данных и полюбите MySQL. Советуют нам инженеры Pinterest.

Гео-паттерны

Как по анонимным данным о перемещениях восстанавливали их владельца

INJOIT том 5, номер 10

Вышел новый номер журнала INJOIT. Это десятый номер в 2017 году. Тема года - цифровая экономика.

Темы статей:

• Задачи дискретной оптимизации с квазиблочными матрицами
• The complete finite automaton
• Применение машинного обучения по ансамблю решающих правил для вычисления прогноза дополнительного коэффициента извлечения нефти
• Arduino Based Blind Solar Tracking Controller
• О телекоммуникациях Пентагона
• Маркетинговое исследование рынка умных домов в цифровой экономике
• Единый цифровой рынок Европейского Союза: текущие состояние и направления развития
• Умная инфраструктура, физические и информационные активы, Smart Cities, BIM, GIS и IoT

Архив журнала находится здесь.

/via Лаборатория ОИТ

Дождевик

Интересная идея: дождь меняет электромагнитное поле. А значит - это можно измерить. С помощью вышек сотовой связи, которые стоят повсюду. Сотовый датчик дождя

Город сенсоров

Как выглядит Умный город в Сингапуре. 3D модель города, которую строит Dassault Systèmes.

О близости

Практическое использование proximity в ритейле

HP попал

HP хотел продавать свои программы в России и согласился на аудит исходных текстов. В России. А этот же софт используется, например, Пентагоном. Как говорит Рейтерс - HP сдал информацию о потенциальной уязвимости свои программ.