Большие события

Пара интересный статей по publish-subscribe модели для больших данных: модели использования Kafka и обработка событий с помощью связки Kafka - Flume

См. также другие статьи по Kafka

Местный свет

Как замена iBeacons - умные лампы от Philips. Мерцание должно распознаваться камерой мобильного телефона. И по тому, какая это лампа - можно определеть местоположение в здании. Для телефона в кармане не работает по очевидным причинам. В целом - непонятно. Хотя конечная цель очевидна - избавиться от необходимости подготовки инфраструктуры (инсталляции тегов).

Источник случайности

Интересная идея - тег, который вырабатывает случайные данные. Аппаратный источник неопределенности.

Big Data Open Source

Подробное описание инфраструктуры StumbleUpon, построенной на Open Source Big Data продуктах (e.g. Kafka)

Скрипт как сервис

CGI-скрипт как сервис. Можно написать свой скрипт (PHP, Ruby) и получить URL для обращения к нему.

Архитектура веб-почты

Yahoo переводит свою почтовую систему (реализацию веб-доступа) на node.js

Yahoo Mail moving to React from Subramanyan Murali

In Proximity

Пара гео-сервисов, которые ориентированы на работу с пользователями в непосредственной близости к источнику (автору, владельцу) данных:

Closely

HelloWorld

Кажется, что будущее гео-позиционных сервисов именно в таком микро (в смысле расстояния) шаринге.

О размере данных

Согласно данным опросов инженеров, работающих с большими данными, размер - не имеет значения. Вариативность - вот где основная проблема. И это очень верно - нормализация и очистка данных стали занимать очень много времени.

Еще о местных данных

Floating content - модель распространения местных данных.

/via Bluetooth Data Points

Анализ походки

Интересная статья по определению походки (сравнению походок) человека по данным сенсорных измерений. Акселерометр на телефоне - как раз подходящее устройство.

Реклама в поисковой выдаче

Вероятностные модели размещения рекламы в поисковой выдаче. Видео-лекции и слайды презентации.

Мониторинг телефонов

Здесь в статье описывается, скорее, анти-мониторинг. Как распознать на Android-телефоне тот факт, что он присоединился к фальшивой базовой станции.

Хотя более интересно в этой схеме было бы как раз слежение за телефонами. Отслеживать перемещение (присутствие) телефона по "подобию" базовой станции было бы интересным способом пассивного мониторинга. Такая "станция" должна только регистрировать попытку соединения телефона, записывать этот факт и отказывать в соединении, направляя, тем самым, телефон уже к реальной базовой станции.

YC hacks

Интересные продукты из презентаций для YC конференции:

Анализ крови

Синхронизация данных через браузер

Расстановка мебели из ИКЕЯ

Повторитель для операций

Google патенты

Очень интересный свежий список патентов Google.

Мониторинг событий

Весьма удобно использовать twitter для "виртуального" присутствия на компьютерных конференциях. Обычно, участники (и организаторы) весьма подробно комментируют происходящее. Вот, например, на странице Coldbeans ведется обновляемый список событий.

Книги по ML

Еще одна подборка книг по машинному обучению:

Mining the Social Web

Understanding Machine Learning: From Theory to Algorithms

Bayesian Reasoning and Machine Learning

Machine Learning: a Probabilistic Perspective

Computer Vision: Models, Learning, and Inference

Data Mining and Analysis: Fundamental Concepts and Algorithms

The Elements of Statistical Learning

An Introduction to Statistical Learning

Reinforcement Learning: An Introduction

Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems

Algorithms for Reinforcement Learning

/via Coldbeans.

Глубокие рекомендации

Deep Learning в рекомендательном сервисе Spotify.

См. здесь другие материалы по deep learning.

Темные места машинного обучения

Интересная заметка о забытых (пропущенных) областях машинного обучения. Замечание о временных рядах - очень верное.

Авто-API

Google опубликовал первую версию Auto API для Android. Пока - управление аудио устройствами и сообщения. Но понятно, что это только начало.

Кстати, вот здесь есть презентация Cars as Tags. Посвящена использованию Bluetooth Data Points для взаимодействия с автомобилями (пассажирами).

NFV

ETSI довольно значительно продвинулось по пути стандартизации NFV (Network Functions Virtualisation). Вот последние версии документов на портале ETSI.

Еще у них есть хорошие White Papers по NFV: часть 1, часть 2, часть 3.

Twitter Index

Твиттер теперь индексирует все сообщения. Вот здесь описана архитектура этого процесса. Из инструментов: Mesos для управления кластерами и надстройка над Lucene для information retrieval

Модели применения для BDP

К вопросу о моделях применения для Bluetooth Data Points. Пара интересных ссылок:

Personal merketplace. С помощью BDP можно распространять информацию среди находящихся рядом мобильных абонентов. Читай - продавать локально. Кстати, у этого магазина по ссылке - открытый код.

А другая система - это Path Talk. Прямое общение с местным (локальным) бизнесом. Идея о том, как это может выглядеть была реализована еще в Wi-Fi Chat.

О местных данных

Намиот Д. Доступ к локальным данным на основе информации о сетевой близости //Сборник избранных трудов IX Международной научно-практической конференции "Современные информационные технологии и ИТ-образование". — ИНТУИТ.РУ Москва, 2014. — С. 306–311.

В статье рассматриваются вопросы разработки мобильных сервисов с использованием беспроводных тегов. В работе рассматривается новая модель использования (применения) Core Bluetooth устройств. В этой модели Bluetooth устройства служат для определения контекстно-зависимых данных, доступных мобильным пользователям. Основным достижением этой модели является то, что она охватывает все этапы жизненного цикла мобильных сервисов – представление тега (тегов), привязку к ним информационного наполнения и создание прикладных приложений на основе имеющихся тегов. В качестве тегов могут выступать как мобильные телефоны, так и уже существующие устройства с поддержкой Bluetooth. Возможные области применения: приложения для торговых и сервисных организаций, навигация в помещениях, контекстно-зависимые приложения для Smart Cities.

Slush 2014

Мы продолжаем публиковать ссылки на интересные события, отражаемые в Twitter. Сегодня это Slush Conference, Helsinki 2014

Slush 2014

/via Bluetooth Data Points

P.S. много событий публикуется в блоге Coldbeans

Еще о Spark

Еще одно введение в Spark

P.S. См. здесь другие материалы по Spark.

Введение в YARN

Управление Hadoop кластером - YARN

Мобильный интернет

Магический квадрант. Чем заниматься, во что инвестировать:

Учебные приложения (и книги) выглядят привлекательно.

Сетевая медицина

Как устроены облачные системы медицинской диагностики. Весьма подробный обзор.

Архитектура IM

Интересное исследование о масштабируемой архитектуре для Instant Messaging

Анализ графов

Интересный инструмент анализа графов (в основном - для данных их социальных сред) - Discussion Graph Tool. Авторство - Microsoft Research.

Распределенные потоки

Модели обработки потоков в распределенных базах данных.

P.S. Еще про обработку поток можно почитать в хорошей статье от LinkedIn - The Log: What every software engineer should know about real-time data's unifying abstraction

NoSQL 2.0

Что будет в новом поколении NoSQL систем? Переосмысление CAP теоремы, множественные модели данных, глобальные транзакции.

Звуки большого города

Обработка звука есть сильно недооцененный информационный канал для смартфонов. Вот интересный проект по использованию акустических датчиков в умных городах: EAR-IT

Корейский бекон

Samsung опубликовал собственное решение для proximity applications: Samsung Placedge Platform. Идея в том, чтобы владельцы тегов не должны будут распространять какое-либо приложение. Поддержкой определения тегов будет заниматься непосредственно телефон, а рассылкой push-уведомлений - платформа от Samsung.

Вот здесь еще есть о Placedge SDK.

Магистратура в Финляндии

Самая большая магистратура по IT в Финляндии. Весьма впечатляющая программа. И бесплатное обучение ...

Большие потоки

Архитектурные решения для поддержки больших потоков данных. Автор предлагает использовать Kafka.

В этой связи вот еще интересная ссылка:

Kafka + Apache Storm контейнер

Биоинформатика

Курсы по биоинформатике на русском языке.

/via Поиск учебных курсов

Конференция «Современные информационные технологии и ИТ-образование»

Опубликована программа IX Международной конференции «Современные информационные технологии и ИТ-образование». Авторам отобранных докладов предлагаем подготовить расширенные версии для публикации в журнале INJOIT.

Бесплатная регистрация на конференцию - здесь.

Цепи Маркова

Цепи Маркова - визуальное представление. И написано еще весьма хорошим языком.

P.S. вот еще нашлась интересная дискуссия по этому материалу

Моменты истории

Из патента этой леди вырос беспроводной интернет:

/ отсюда

Ericsson IoT

Интересный IoT framework от Ericsson. Код открыт.

Практика Android

Пара хороших статей с разобранным примером создания Android приложения: часть 1, часть 2.

Продвижение и успех в Google Play

Руководство от Google - как обеспечить продвижение своего приложения в Google Play (бывш. Android Market).

Если кажется, что "много букв" в документе, то вот здесь есть неплохая выжимка.

Поиск для IoT

Поисковая система для IoT. Вот, например, метеостанции в Москве.

Рекомендации от LinkedIn

Интересная статья с описанием технического устройства (алгоритмы, программная архитектура) рекомендательных сервисов в LinkedIn

О распределенных системах

Формальные подходы к описанию процессов в распределенных системах. Как, например, описать репликации. Рассматриваются следующие языки (Miscrosoft Research): TLA+ и PlusCal

P.S. вот еще интересная дискуссия по этой теме.

Веб-компоненты

Пара полезных ресурсов с коллекциями веб-компонент:

Component Kitchen (оцените домен !)

Custom Elements

Применение Hadoop

Хорошая презентация (150+ слайдов) по использованию Hadoop:

Strata NY 2014 - Architectural considerations for Hadoop applications tutorial from hadooparchbook

Более полно это рассматривается к книге авторов, посвященной применению Hadoop

О дизайне мобильных приложений

Хороший перевод статьи о современных подходах к организации мобильных приложений. PUSH-уведомления - наше все.

P.S. вот здесь еще можно почитать о push-notifications в информационных системах.

Больше SDN

Еще одна реализация SDN с открытым кодом. За спиной этой лаборатории (и за всем проектом) AT&T.

Обработка веб-логов

Практическая статья - прогнозирование запросов на основе обработки веб-логов.

HTTP/2

Хорошая презентация от Google по HTTP 2.0

Drupal Camp 2014

28 и 29 ноября на базе факультета ВМК МГУ состоится конференция DrupalCamp MSK 2014 — самое ожидаемое и значимое событие для Drupal-сообщества России.

Конференция соберет большое количество разработчиков, веб-мастеров, дизайнеров, менеджеров проектов, владельцев бизнеса и работодателей в сфере диджитал.

Участников ждут доклады от известных российских и зарубежных друпалистов, представителей Майкрософт и Яндекса, тренинги в рамках Drupal Global Training Days, рассказы об интересных моментах амстердамской конференции и о том, чего ждать от Drupal в будущем, а также общение на темы развития Drupal в России.

Студентам и докладчикам вход свободный. Журнал INJOIT предложил докладчикам публикацию их работ.

Все подробности на сайте http://2014.drupalcampmsk.ru/

/via Лаборатория ОИТ

Тихоновские чтения 2014

Конференция Тихоновские чтения 2014: программа и тезисы докладов. О нашем докладе можно почитать здесь: Bluetooth и местные данные.

INJOIT - публикации в области ИТ

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 11-й номер журнала на 2014 год (том 2). Здесь можно посмотреть архив журнала.

/via OIT Lab

Bluetooth и батареи

Сканирование BLE устройств и разряд батареи. Android 5.0 довольно много добавит для удобства фонового сканирования BLE устройств.

О языках программирования

Потрясающая визуализация - граф языков программирования.

К ним

Среда на базе Eclipse для анализа данных - KNIME. Есть GPL лицензия.

Мониторинг беспроводных сетей

Мобильное приложение для мониторинга сотовой связи (а также Wi-Fi сетей). Найдено в интересной статье по мониторингу городского Wi-Fi.