Семинары по базам данных

Московская секция ACM Sigmod. Последний доклад по MPP системам от Avito был весьма интересным.

Форматы биконов

Про-google статья о форматах данных в BLE тегах. Автор рекомендует выбирать Eddystone от Google.

Информационные системы для мобильных пользователей

Статья в журнале T-COMM: Намиот Д.Е., Шнепс-Шнеппе М.А. Об информационных системах для групп мобильных пользователей // T-Comm: Телекоммуникации и транспорт. – 2015. – Том 9. – No10. – С. 33-37

Arduino DB

Базы данных для встраиваемых систем. Для Arduino, например. LittleD - реляционная модель, IonDB - ключ-значение.

Cloud DataLab

Облачное решение от Google для анализа и визуализации данных. Python (notebooks) - поддерживается. Вот здесь еще можно почитать про сравнение DataLab с конкурентами.

Бесплатные сервисы

Хорошая подборка бесплатных онлайн-сервисов.

Android Studio 2.0

Вышла новая версия Android Studio. Судя по описанию - много вкусного.

AINL-ISMW FRUCT 2015

Proceedings of the AINL-ISMW FRUCT 2015

Saint-Petersburg, Russia, 9-14 November 2015
Saint-Petersburg, Russia. FRUCT Oy, Finland. ISBN 978-952-68397-0-7 (paperback) ISBN 978-952-68397-1-4 (PDF), 212p.
Editors: Sergey Balandin, Tatiana Tyutina and Ulia Trifonova

Android P2P

Интересная библиотека для Android и iOS по организации mesh-сетей. Прямое соединение устройств по Wi-Fi (Bluetooth) без использования сетевой инфраструктуры. Кстати, о других таких библиотеках можно прочесть здесь: Namiot D. On Mobile Mesh Networks //International Journal of Open Information Technologies. – 2015. – Т. 3. – №. 4. – С. 38-41.

См. также другие публикации по P2P обмену.

Абавазрение 24.11.2015

Подборка новых материалов по iBeacons, proximity и physical web:

1. Интеграция Wi-Fi узлов и BLE тегов. Но вообще-то, c Wi-Fi узлами можно решать те же задачи, что и с тегам (см., например, WiFi Chat). Да и теги Bluetooth можно не размещать, а открывать непосредственно на мобильном телефоне - Bluetooth Data Points

2. Примеры персонализации информации в ритейле. Как это делают в Австралии.

3. Городские автобусы как Wi-Fi маршрутизаторы. А также общественный транспорт можно использовать в качестве тегов в информационной сети - Cars as tags

4. Двусторонний обмен данными с BLE тегами.

5. ShopKick - как устроена инфраструктура системы тегов

Видео-форматы в веб

HTTP Live Streaming и видео в JavaScript.

Открытое образование

Курсы от российиских вузов - Открытое образование

Сайт онлайн-курсов «Открытое образование», созданный силами ведущих российских университетов, в том числе МГУ, СПбГУ, НИУ «ВШЭ», МФТИ, СПбПУ и МИСиС.

На сайте можно выбрать один из 46 учебных курсов по точным и естественным наукам — от математики, химии и физики до истории и философии. Все курсы бесплатны. По окончании курса можно пройти платный экзамен и получить официальный сертификат. При этом, предмет, сданный таким образом, может быть засчитан в дипломе любого вуза России при согласии администрации заведения. К маю 2016 года «Открытое образование» планирует запустить больше сотни курсов.

/via Поиск учебных курсов

О DevOps

Хорошая подборка от IBM - что же такое DevOps

Такси в городе

Прекрасный пример городского анализа по данным о работе такси. Кстати, код для инстументов открыт. Это еще и пример использования гео-расширения для PostgreSQL.

R и Data Mining

Хороший набор бесплатных инструментов для R

Современные Информационные Технологии и ИТ-образование

X Юбилейная конференция в МГУ "Современные Информационные Технологии и ИТ-образование"

Пара работ:

Ilyushin Е., Namiot D. Javascript memory management // СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ИТ-ОБРАЗОВАНИЕ. — 2015. — Vol. 2, no. 11. — P. 20–25.

Намиот Д. Интерфейсы прикладного уровня в SDN // СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ИТ-ОБРАЗОВАНИЕ. — 2015. — Т. 2, № 11. — С. 26–30.

Bluetooth 2016

Меш-сети - одно из основных направлений развития Bluetooth в 2016 году.

ЕГЭ и ГИА

Очень интересный анализ результатов школьных экзаменов в Москве. И, конечно, полная импотенция информационных технологий в Москве. Те же данные по школам - они ведь изначально и готовятся как таблица, но потом публикуются как текст в PDF. Никаких открытых данных на самом деле нет :(

Гео-анализ

Нечто подобное мы делали для Twitter - Социология по check-in.

А вот - руководство и код (Python) по извлечению и анализу как гео-позиционных данных (Twitter, в первую очередь), так и данных так назвываемой shared-экономики (Uber).

Java 8

Неплохой обзор современного состояния Java

Изучение SQL

Список ресурсов, где можно потренироваться в составлении SQL запросов

/via Лаборатория ОИТ

Память в сетях

Весьма горячая на сегодня тема - нейронные сети с памятью.

IoT в России

Это, конечно, была коммерческая конференция. Науки как бы и ожидалось. Но в целом, материалы конференции, очевидно, скучные и выглядят одинаковыми :(

Все по $10

Смартфон дешевле $10 - вполне реальная вещь.

На смерть XMPP

А ведь действительно, описанное здесь есть просто еще одно свидетельство о смерти некогда популярного протокола XMPP.

Вот здесь еще интересная дискуссия на YC

Методы машинного обучения

Хороший обзор методов машинного обучения. Сравниваются по типу обучения и схожести функционала.

/via Coldtags suite

Поиск правил

Интересная презентация по поиску ассоциативных правил:

Apriori and Eclat algorithm in Association Rule Mining from Wan Aezwani Wab

Любопытно, а пробовал ли кто использовать такие системы для поиска ассоциаций (связей) среди мобильных абонентов (посетителей)?

DL фреймворки

Сравнение библиотек для deep learning

См. здесь другие статьи по теме deep learning

Hadoop и реальное время

Очень интересная статья о моделях применения Hadoop при обработке данных в реальном времени.

Google DL

Google опубликовал собственный инструмент для deep leaning - TensorFlow. Я бы сказал, что это как покойный Yahoo Pipe для построения мэшапов. Вот здесь есть статья, объясняющая принципы работы системы.

См. здесь другие статьи по теме deep learning

Blockchain

Что же это такое и как эта распределенная архитектура влияет на модели Internet of Things

Twitter как замена SMS

Презентация для конференции AINL-FRUCT. Описывает сервис T411. На русском языке описание можно прочесть в статье: Намиот Д. Е. Twitter как транспорт в информационных системах //International Journal of Open Information Technologies. – 2014. – Т. 2. – №. 1. – С. 42-46.

Twitter as a Transport Layer Platform from Coldbeans Software

INJOIT - приглашаем авторов

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 12-й номер журнала на 2015 год (том 3). Здесь можно посмотреть архив журнала INJOIT.

/via Лаборатория ОИТ

API management

Сравнение инструментов управления API

Блокировки в PostgreSQL

Подробное разъяснение блокировок в PostgreSQL

Данные из веба

Web Scraping - как извлекать данные из веб-страниц. В первую очередь, рассматриваются решения без программирования.

Eddystone

Напоминание о проекте открытых Bluetooth Low Energy тегов от Google - Eddystone. На самом деле не упомянут еще один момент - система ориентирована на хранение информации на серверах Google.

Основы Deep Learning

Хороший текст от Nvidia по deep learning

См. здесь другие материалы по deep learning

BLE знакомства

Сервис знакомств для мобильных посетителей поблизости от предустановленных Bluetooth тегов - Tusam. Отметим, что для такого рода задач хорошо подходит модель Bluetooth Data Points. Тогда даже теги размещать не нужно - телефоны участников будут выступать в роли тегов.

IoS Indoor

Apple строит карты помещений с помощью crowdsensing. Процесс, естественно, занимает время, но в конце пути у Apple появятся карты всех интересных помещений (коммерческой недвижимости, например).

INJOIT том 3, номер 11

Вышел новый номер журнала INJOIT. Это одиннадцатый номер в 2015 году.

Темы статей: алгоритм решения NP-полной задачи, если решений нет или их нечётное число, поиск диагоналей в латинском квадрате, программная модель параллельной реализации метода ветвей и границ, развитие телекоммуникаций и наследие Bell Labs, E-Participation Digital Engine

Архив журнала находится здесь.

/via Лаборатория ОИТ

О сборке мусора

Две толковых статьи по сборке мусора в Java: часть 1, часть 2.

А еще об этом можно прочесть в статье, опубликованной в журнале INJOIT: Evgeniy Ilyushin, Dmitry Namiot On Memory Management in JavaScript Applications // International Journal of Open Information Technologies . 2015, Т. 3, №10, С.11-15. (там речь идет о JavaScript)

Samsung IoT

Платформа для Internet of Things от Samsung. Программные интерфейсы описаны.

Курсы MIT

Все учебные курсы MIT. Там и видеолекции и конспекты лекций.

/via Поиск учебных курсов

NLP

Хороший вводный материал по NLP

Инфраструктура анализа данных

Как выглядит современный ландшафт баз данных в data mining. Отсюда

Вещевой веб

Предложения по стандарту для Web of Things. HTTP, Web Sockets, JSON - вот это вот все.

Большие данные на практике

Интересная подборка об инструментах работы с данными, которые используются в конкретных компаниях. Вот здесь еще есть краткое изложение.

Питончики

Коллекция фрагментов кода на Python для задач анализа данных

INJOIT - call for papers

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 11-й номер журнала на 2015 год (том 3). Здесь можно посмотреть архив журнала INJOIT.

/via Лаборатория ОИТ

О контекстно-зависимых сервисах

DOI: 10.14489/vkit.2015.010.pp.018-022
Намиот Д. Е., Шнепс-Шнеппе М. А. "КОНТЕКСТНО-ЗАВИСИМЫЕ СЕРВИСЫ НА БАЗЕ БЕСПРОВОДНЫХ ТЕГОВ"

Рассмотрены вопросы разработки контекстно-зависимых сервисов, базирующихся на использовании беспроводных тегов. Предложена новая модель применения Core Bluetooth устройств, в которой одного мобильного приложения достаточно для поддержки всех этапов жизненного цикла контекстных сервисов. Приложение обеспечивает создание тега, привязку к нему информационного наполнения и просмотр данных, привязанных к другим тегам. Возможные области применения − приложения для информирования мобильных пользователей (посетителей) в помещениях.

Гео-поиск

Простой и полезный бизнес-инструмент от Google - гео-привязка товарного поиска. Владельцы магазинов могут видеть, что ищут в сети пользователи, находящиеся рядом с их торговыми точками.

Протоколы IoT

Интересная статья о протоколах, используемых в IoT

Из MySQL в Neo4J

В связи с ростом интереса к графовым базам (и проектам, которые у нас есть): перенос данных из MySQL в Neo4J

Задачи для собеседований

Пополняемый список задач для собеседований в программистских компаниях.

См. также другие публикации на тему собеседований

ML Python

Хорошее введение в машинное обучение с использованием Python

Большие данные и умные города

Обзор Big Data & Smart Cities. Есть интересные ссылки по таким программам в Азии.

Доступ к сетевым сенсорам из веб-страниц

Презентация для конференции DCCN 2015 - On hyper-local web pages.

On hyper-local web pages from Coldbeans Software

INJOIT том 3, номер 10

Вышел новый номер журнала INJOIT. Это десятый номер в 2015 году.

Темы статей: достоверная фильтрация в «Белом шуме», функциональные требования к современной системе конфигурирования приложений, управление памятью в JavaScript приложениях, конфигурационный фреймворк для Java приложений, основанный на аннотациях.

Архив журнала находится здесь.

/via OIT Lab

Медуслуги

Интересный анализ того, что Apple ResearchKit предлагает для медицинских приложений. По сути - набор компонент, из которых можно будет собирать диагностические системы.

Стек технологий

Впечатляющий стек технологий в компании, занимающейся мобильным маркетингом.

Анализ текстов

Простое введение в анализ текстов: классификация документов.

Язык параллельного программирования

X10 - эффективный язык для параллельного программирования.

Wi-Fi позиционирование

Сантиметровой точности позиционирование с использованием Wi-Fi. Идея заключается в фильтрации отраженных сигналов.

Тихоновские чтения 2015

Конференция Тихоновские чтения 2015 и тезисы доклада, посвященного управлению памятью в JavaScript.

Об одной модели данных для контекстно-зависимых сервисов

Презентация конференции DAMDID/RCDL 2015

On data model for context–aware services from Coldbeans Software

Сама статья: Намиот Д., Шнепс-Шнеппе М. О модели данных для контекстно-зависимых сервисов // Аналитика и управление данными в областях с интенсивным использованием данных. — НИЯУ МИФИ Обнинск, 2015. — С. 71–77

IFTTT

Интересная статья с описанием технической архитектуры сервиса IFTTT

Базы данных для временных рядов

Презентация конференции DAMDID/RCDL 2015:

On time-series databases from Coldbeans Software

Сама статья: Namiot D. Time series databases // Аналитика и управление данными в областях с интенсивным использованием данных. — НИЯУ МИФИ Обнинск, 2015. — P. 244–250.

Данные для обучения

Интересная презентация по построению исходных данных для машинного обучения:

Understanding Feature Space in Machine Learning - Data Science Pop-up Seattle from Domino Data Lab

PostgreSQL и MySQL

Вполне техническая дискуссия по сравнению PostgreSQL vs. MySQL. Без налета религиозных войн, просто коллективный поиск того, что есть в одной системе, но отсутствует в другой.

Язык программирования для Интернета Вещей

Презентация с конференции ICUMT-2015, где был представлен проблемно-ориентированный язык для IoT

Коммутация пакетов и коммутация каналов

Все ли потеряно для коммутации каналов? Дискуссионная презентация грядущей конференции DCCN-2015 - ON THE SYNERGY OF CIRCUITS AND PACKETS

Загрузка веб-страниц

Подробный анализ процессов во время загрузки веб-страниц. Используют Chrome Developer. Очень хороший учебный материал для веб-разработчиков.

Протоколы Internet of Things

Хороший сравнительный анализ беспроводных протоколов для IoT

Cовременные информационные технологии и ИТ-образование

Информация о X Юбилейной международной научно-практической конференции «Современные информационные технологии и ИТ-образование»

X Юбилейная международная научно-практическая конференция «Современные информационные технологии и ИТ-образование» пройдет 20-22 ноября 2015 года в МГУ имени М.В.Ломоносова. Соучредители конференции: Факультет Вычислительной математики и кибернетики Московского государственного университета имени М.В.Ломоносова (ВМК МГУ), Санкт-Петербургский государственный университет (СПбГУ), Нижегородский государственный университет имени Н.И. Лобачевского (ННГУ), Институт проблем информатики РАН (ИПИ РАН), ОАО «Институт электронных управляющих машин имени И.С. Брука» (ОАО «ИНЭУМ имени И.С. Брука»), НОУ «Сетевая Академия Ланит», Академия информатизации образования, Журнал «Прикладная информатика», Фонд «Лига интернет-медиа».

Цели и задачи:

• Способствовать развитию научно-исследовательской и инновационной деятельности в области информационных технологий (ИТ) и ее приложений.
• Способствовать развитию исследований и разработок, связанных с теоретической информатикой, прикладной математикой и компьютерными науками для формирования научных основ области ИТ.
• Способствовать развитию процессов и технологий информатизации образования, учебно-методического обеспечения национальной системы ИТ-образования, а также продвижению инновационных педагогических решений на основе использования ИТ.
• Способствовать исследованиям и обмену опытом в области открытого непрерывного и сетевого образования на основе использования методов и технологий электронного и мобильного обучения, инновационных образовательных и инструментальных технологий.

Планируемые секции и мероприятия:
Секция 1. ИТ-образование: методология, методическое обеспечение.
Секция 2. e-learning и ИТ в образовании.
Секция 3. Образовательные ресурсы и лучшая практика ИТ-образования.
Секция 4. Исследования и разработки в области новых ИТ и их приложений.
Секция 5. Теоретическая информатика и компьютерные науки.
Секция 6. Научное программное обеспечение в образовании и науке.
Секция 7. Школьное образование по информатике и ИТ.
Секция 8. Параллельное и распределенное программирование, грид-технологии, программирование на графических процессорах.
Секция 9. Инновационные информационные педагогические технологии.
Секция 10. Информационные технологии в системах управления.
Секция 11. Большие данные и их приложения.
Секция 12. Экономическая информатика.

Серия мастер-классов, тренингов, видео-конференций под общим названием «Современные учебные курсы и пособия». Круглые столы по актуальным проблемам ИТ-образования. Подведение итогов V Международной Интернет-конференции-конкурса «Инновационные информационно-педагогические технологии в системе ИТ-образования» – ИП-2015. Расширенное заседание методического совета по прикладной математике, информатике и информационным технологиям.

Участие в конференции бесплатное. Регистрация участников конференции обязательна и осуществляется через сайт конференции http://conf.it-edu.ru до 15 ноября 2015г. Места в гостинице МГУ для иногородних участников бронируются через сайт конференции до 12 ноября 2015 г.

На конференцию принимаются материалы в виде статей объемом от 6 до 11 страниц (тезисы не рассматриваются!). Прием статей производится до 1 ноября 2015г.

Требования к оформлению материалов, а также условия публикации представлены на сайте конференции. Сборник трудов издается к началу работы конференции. Сборник является научным изданием, индексируемым в информационной базе РИНЦ, с постатейной загрузкой статей сборника в Научную электронную библиотеку eLIBRARY.RU . Полную информацию о конференции и оперативные новости можно найти на сайте по адресу: http://conf.it-edu.ru/ .

Amazon IoT

Amazon сделал важный шаг в упрощении работы для IoT систем. Простая модель с понятным биллингом - сохранить сообщение и переслать сообщение. Протоколы HTTPS, MQTT.

29 секунд

Именно 29 секунд анализа потоков твитов достаточно, чтобы определить землетрясение

Спортивный анализ

Интересный очет - анализ данных в спорте

AWS Lambda

AWS Lambda – это сервис вычислений, запускающий ваш код при определенных событиях и автоматически управляющий вашими вычислительными ресурсами, что упрощает создание приложений, которые быстро реагируют на поступающую информацию. AWS Lambda запускает ваш код в течение миллисекунд после того как произошло событие (например, загрузка изображения, действие приложения, щелчок по ссылке на веб-сайте или получение данных от подключенного устройства). С помощью AWS Lambda можно также создать новые серверные сервисы, автоматически запускающие вычислительные ресурсы по пользовательским запросам.

А вот возможность поместить таким образом в облако произвольную функцию JavaScript

Мечта SMM-щика

Патент Фейсбука - расчет кредитного рейтинга по профилю в социальной сети.

Параллельное программирование

Курс по параллельному программированию (ВМК МГУ)

/via Поиск учебных курсов

Сенсорные приложения

Приложения на базе сенсоров от Libelium. Сгруппированы по областям применения.

MySensors

MySensors - проект с открытым кодом для построение IoT систем. Используется Arduino. Весьма простой и прагматичный API. А вот здесь описан пример реализации "умного дома" на основе MySensors.

P.S. См. также другие публикации по Arduino.

HTTP 2.0

Толковое описание того, в чем именно заключается возможное ускорение работы с HTTP 2.0

P.S. см. тккже другие публикации по HTTP/2

Разбор естественного языка

Очень хорошее, подробное и обновляемое описание того, как машинное обучение используется в анализе естественного языка.

Визуализация NN

Интересная визуализация нейронных сетей

Журналистика данных

Хороший учебник по Data Journalism с массой интересных инструментов.

Научный Python

Python и его пакеты для анализа данных - SciPy

Мобильные сообщения

Интересное предположение о подходе Google к mobile messaging. По мнению автора, компания заинтересована в поддержке бесплатного обмена сообщениями между Android устройствами на уровне телекомммуникационных операторов.

Открытые данные

Еще один из примеров, как выглядит работа с открытыми данными. На этот раз - Сингапур. Открытые данные, на самом деле, это и есть то, что должно быть государственной политикой в Интернете. Если и есть уж Институт Развития Интернета в России, то заниматься он должен двумя основными вещами - развитием и демократизацией доступа в этот самый Интернет и открытием данных.

Рынок больших данных

Подробный отчет о рынке big data от O'Reilly

U-SQL

Весьма здравая и практичная идея - расширение SQL для анализа данных. Естественно, SQL и так про данные. Здесь же в язык добалены работы по подготовке данных и работа с произвольными типами данных.

Правительственные веб-стандарты

Правительственные веб-стандарты по разработке государственных сайтов. Правительство - американское.

Сети в Google

Интересная публикация о сетевой инфраструктуре в Google

Все по правилам

Весьма разумные соображения об использовании классификации на основе правил и машинного обучения.

P.S. См. также другие ссылки по теме машинное обучение.

Интерфейсы прикладного уровня в SDN

Попытка описания и классификации Application level API для Software Defined Networks

В этой статье мы обсуждаем интерфейсы прикладного уровня для Software Defined Networks. В то время как программные интерфейсы для взаимодействия с сетевой аппаратурой широко обсуждаются в литературе, интерфейсы для прикладных программ получают меньше внимания. Вместе с тем, вполне очевидно, что именно интерфейсы прикладного уровня очень важны. В настоящей работе мы хотим остановиться именно на этом аспекте Software Defined Networks и сравнить предлагаемые подходы с решениями для интерфейсов прикладного уровня в телекоммуникационных приложениях.

Скидки и купоны

Кто-то разоряется, кто-то приходит, но количество купонных сайтов продолжает расти. При кризисе - снова станет актуально. В поисковой системе по скидочным сайтам: поиск по купонам и скидкам уже 113 русскоязычных сайтов. Технически это сделано на базе Google CSE (custom search engine).

А здесь можно скопировать код поисковика по русским купонникам для добавления к своему сайту/блогу.

Безусловный фаворит поиска изменился. Это - crownthai.ru. Что это такое? Видимо, у всех уже есть желтые ботинки.

Об идентификации веб-пользователей

Интересная статья об идентификации каждого веб-пользователя.

Без царя

Matrix - HTTP API для децентрализованного взаимодействия.

JavaScript в NGINX

В Nginx теперь есть своя реализация JavaScript. Для обработки сценария, на кажды запрос запускается своя копия виртуальной машины. Так решают вопрос со сборкой мусора - она просто не нужна в такой схеме.

P.S. большая дискуссия по этому поводу на YC