Новый интернет

Интересный европейский проект по новому интернету для распределенных вычислений. Жизнь после TCP/IP :)

Чикаго

Чикаго выходит на первые позиции в деле сбора и обработки сенсорной информации о городе и жителях

Алгоритмы Data Science

Хорошая книга, где собраны математические основы Data Science

Twitter NLP

Интересный подход к анализу твитов на естественном языке. Пока только английский.

Netty framework

Мульти-протокольный сервер Netty. С учетом поддерживаемой модели событий - это сервер приложений, по сути.

Примеры проектов, использующих Netty: поиск в Twitter, Crate

P.S. когда-то они начинали как проект в составе JBOSS.

Открытые роботы

Материалы конференции Robotics Open Source

Икона Google

Все так - коллекция иконок от Google

Хранилище для дата-центров

Распределенное key-value хранилище с гео-репликацией данных: Cockroach. Интересна также приводимая авторами классификация: SQL - NoSQL - NewSQL

Учебник по Spark

Spark tutorial. И связанные вопросы.

См. здесь другие материалы по Spark

Архитектура Facebook

Интересные заметки о программной архитектуре Facebook. Для хранения всех медиа-данных используется Haystack

P.S. это в целом очень интересный источник по программной архитектуре.

Лямбда-архитектура

Процессы поверх Hadoop (MapReduce) или Storm

Вот еще дискуссия на Y-Combinator с парой интересных ссылок (Samoa, например)

Графы и базы данных

Хороший обзор - базы данных для графов. А также их применение.

Физический сканер

Интересная реализация - поиск товаров по образцу в магазине. Образец сканируется несколькими камерами, создается трехмерное изображение и это является поисковым "запросом".

Амперка

Довольно далеко уже продвинулся конструктор. Нравится этот проект.

Вероятностное программирование

Интересная тема - случайные события являются примитивами языка программирования. Вот что почитать:

Probabilistic Computing Group at MIT

Church - a probabilistic programming language

Venture - a higher-order probabilistic programming platform

Why Probabilistic Programming Matters

Figaro - a Free, Open-source Probabilistic Programming Language for Probabilistic Modeling

Probabilistic Models of Cognition

Статья на русском языке - Вероятностное программирование

Вибро-шпион

Интересный канал для возможной утечки данных с Android-телефона. Пара приложений с разными полномочиями доступа. Одно - вообще не имеет доступа к сети, второе - только к сети и имеет доступ. Первое читает какую-то информацию (SMS сообщения, например) и кодирует их колебаниями акселерометра. Второе - отслеживает данные акселерометра и публикует декодированное сообщение.

Беспорядочно распределенные системы

Язык программирования для распределенных систем - Bloom. Вот здесь можно прочитать подробнее о самом подходе - отход от линейного принципа в традиционных языках программирования и переход к хаотично взаимодействующим объектам.

Глобальная информационная сеть

Презентация на конференции ITU Kaleidoscope 2014:

О программе GIG можно еще почитать в INJOIT

AOP

Введение в aspect-oriented programming

INJOIT - call for papers

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 11-й номер журнала на 2014 год (том 2). Здесь можно посмотреть архив журнала.

/via OIT Lab

Данные измерений

Интересная идея - место, где можно хранить свои потоки данных от устройств. По сути - такой специализированный back-end для приложений. Здесь же другие приложения могут читать эти данные.

Поиск подобного дал еще следующие продукты (сервисы) для хранения данных в IoT:

Streametry

Thing Speak

Xively

Nitrogen

INJOIT vol. 2 no. 10

Вышел новый номер журнала INJOIT.

Темы статей: глобальная информационная сеть (GIG), телекоммуникации для военных нужд, программный комплекс для оценки потенциалов межатомного взаимодействия, разработка информационных систем, программирование в Internet of Things, социальные сети в обучении

Архив журнала находится здесь.

/via OIT Lab

NoSQL для администратора

Бесплатная книга - NoSQL для администратора БД. Больше всего в книге - про Apache Cassandra.

Раскрытие информации

Интересный эксперимент - на веб-странице помещали невидимое изображение, где ссылка ввела на профайл в LinkedIn. В результате, все посетители, кто на момент захода на веб-страницу был авторизован в LinkedId, отмечались как посетившие данный профайл. В блоге автора 35% посетителей оказались пользователями Linkedin

P.S. интересно, сколько пользователей LinkedIn прочло данную заметку ...

Mesh IoT

Mesh-платформа для IoT. Компания Sony.

HTTP/2

Наступает время HTTP/2

А здесь можно посмотреть IETF draft for HTTP 2.0. Идея с зхаголовками - вполне очевидна. В последовательности запросов можно поддерживать таблицу заголовков и менять только то, что реально изменилось. При множестве запросов с одной страницы экономия будет очевидной.

Магистратура по Data Science

Интересная попытка собрать Open Source источники в магистерскую программу по Data Science.

/via Поиск учебных курсов.

Для вас, редакторы

Шаблоны писем для научной редакции при взаимодействии с авторами. Осталось только сделать робота для полной автоматизации процесса :)

О параллелях

Пара хороших переводов о параллелизме в Java 7 и Java 8

Машина - как беспроводной тег

Презентация на конференции Nets4Cars 2014:

Использование Bluetooth Data Points для автомобилей.

Теги вокруг нас

Телефонные будки на улицах Нью-Йорка заполнены установленными BLE тегами. Но чтобы их использовать, нужно ведь каким-то образом уговорить пользователя поставить соответствующее мобильное приложение. Получается, что здесь в итоге будет два бизнес-направления. В первом, некоторая компания-оператор будет просто устанавливать где-только можно свои теги. Которые потом будут "предоставляться" разработчикам приложений (второе направление). То есть теги становятся инфраструктурным элементом. В конце концов будут коммерческие помещения строить сразу с инсталлированными тегами.

P.S. а вот если их еще будут втайне устанавливать при ремонте ...

Устройство FireChat

Очень интересные заметки о техническом устройстве Firechat. Непосредственное взаимодействие мобильных устройств по Bluetooth (Wi-Fi) без мобильной сети.

Есть Open Source аналог, о котором мы уже как-то упоминали: Serval Project. Исходные тексты - здесь. См. также предыдущую заметку об Ad-hoc сетях.

/via Bluetooth Data Points

Журнал INJOIT - собираем статьи

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 10-й номер журнала на 2014 год (том 2). Здесь можно посмотреть архив журнала.

/via OIT Lab

Классификация текстов по Байесу

Хороший материал - Байесовская классификация текстов

См. также другие материалы здесь.

Yo-yo

Еще о сервисе Yo. На этот раз - интеграция Yo и IFTTT

Шаблоны проектирования

Несколько бесплатных книг (статей), посвященных рассмотрению шаблонов проектирования:

Principles Wiki

Software Engineering for Internet Applications

Game Programming Patterns

Microsoft Application Architecture Guide Software Design by Martin Fowler

The Architecture of Open Source Applications

Печальный прогноз

Довольно пессимистичная оценка для BLE тегов: 60 млн. в 2019 году.

/via Bluetooth Data Points

Yo

прекоасный пример, как продвижение мобильного приложения победило все - и технику и здравый смысл: Почему вы установите это приложение

Распределенные акторы

Проект Orleans - распределенные акторы для работы в облачной среде.

См. также в этой связи Akka

Где бы еще поискать?

Поиск по физическим объектам. Весьма актуально для IoT. Проект от Google.

Еще о распределенных системах

Серия публикаций о распределенных системах - Jepsen. В настоящий момент автор, похоже, приостановил работу над новыми публикациями. Но имеющийся контент - весьма полезен и интересен.

ETSI LTN

Довольно важный шаг для M2M. Новая серия стандартов от ETSI для сетей с малой пропускной способностью.

ZooKeeper

Техническая статья о lock manager от Apache - ZooKeeper: Wait-free coordination for Internet-scale systems.

Вот еще по этой теме:

Curator - API для Zookeeper

Еще одно описание ZooKeeper

О распределенных системах

Хорошая книга по распределенным системам в открытом доступе (и даже в разных форматах): Distributed systems for fun and profit

Mesh-сети на практике

Протестующие в Гонконге стимулировали интерес к mesh-сетям. Они используют их для обмена данными на смартфонах, когда нет ни мобильной сети, ни Wi-Fi.

Вот здесь можно прочесть про Multipeer на iPhone. А это - сайт самой компании Open Garden.

P.S. вот еще на русском написали про FireChat

И о технологиях

Есть ли будущее у технологических стартапов? В более общей постановке - у тех, чей продукт не продает что-то непосредственно конечным клиентам. Вот здесь автор (венчурный инвестор) считает, что есть. И заключается это будущее в предоставлении технических решений для других проектов.

Context awareness

Интересные материалы об использовании контекстно-зависимых вычислений в организации рабочего пространства.

/via Bluetooth Data Points

Редактирование статей

Интересная идея - профессиональный редактор для текстов: 300editors. И реализация любопытная - как плагин для Google Docs.

Hive и Hadoop

Практическая статья по совместному использованию Hive и Hadoop. Рассматривается пример задачи технического мониторинга.

PostgreSQL vs. MongoDB

PostgreSQL обогнал по производительности MongoDB

P.S. И эпическая дискуссия по этому поводу. NoSQL хорош хотя бы тем, что активизировались производители баз данных.

Масштабирование NoSQL

Виртуализация - это зло для NoSQL

Умная розетка 2.0

Вот есть GSM розетка. Она позволяет, например, отключать электроприборы по SMS. А в EverMind взглянули на проблему под другим углом. Этот адаптер, наоборот, посылает SMS когда через него что-то подключается. Цель - слежение за пожилыми людьми дома. Не включается телевизор, не посылается SMS - повод забеспокоиться. Электроплита, например, может быть подключена через такой адаптер. И тогда о том, что электроплитой воспользовались, будет приходить SMS.

А если SMS (email) будет отправляться через некоторое промежуточное ПО, то тогда еще можно будет анализировать поведение - а в то же время, что и обычно включен электрический чайник или нет? И так далее.

О решающих деревьях

Хорошая подборка материалов по использованию Decision Trees. И их практическое построение с использованием RapidMiner.

iBeacons на практике

Как это выглядит - заказ в ресторане с использованием iBeacons

Основания теории вероятностей

Хорошая лекция от А.Шень по основам теории вероятностей. Доступны видео и стенограмма.

/via Поиск учебных курсов.

DINWC - 2015

Конференция в Москве: The Third International Conference on Digital Information, Networking, and Wireless Communications (DINWC2015)

Отслеживание присутствия

Трекер присутствия с помощью iBeacons. Тексты приложения доступны.

P.S. вот еще нашлась интересная дискуссия по этому приложению.

Еще о push-уведомлениях

У нас в последнее время было несколько работ, посвященных использованию push-уведомлений. См., например, работы А.Павлова: INJOIT vol.2, No. 8 (2014) или INJOIT vol.2, No. 7 (2014)

Вот еще одна работа, выполненная магистрантом А. Пустобаевым: Сервис push-уведомлений. Та же самая идея - использование push notification в информационных сервисах без программирования.

Самовоспроизводство

Тема, которая всегда была интересна - мобильное веб-приложение для создания мобильных веб приложений.

Еще интересней было бы увидеть такую систему во встраиваемом варианте. Как веб-компоненту, которая позволяла бы создать сайт, URL которого тут же был бы использован в приложении.

Программирование по шаблонам

Язык программирования Egison - pattern matching

Цепи Маркова

Хорошее объяснение - Цепи Маркова.

Применения iBeacons

Аккуратно подобранные модели использования (применения) iBeacons. Автор - оптимист :)

/via Bluetooth Data Points

О параллельном программировании

Хорошая книга Seven Concurrency Models in Seven Weeks.

Да и сам ресурс весьма интересный - IT Ebooks

Deep Learning

Аннотированная библиография по теме deep learning. Свежие статьи.

См. также другие публикации по теме deep learning

Картинки

Flickr открыл наборы изображений для исследователей.

Чаты

Конфигурируемые чаты для приложений.

В более простом варианте на сайте Coldbeans есть chat-engine. Используется, например, внутри Wi-Fi chat

Большой make

Система для сборки проектов, написанных на разных языка программирования - Pants

Tizen все?

Сообщение от организаторов конкурса: "Russia Tizen App Challenge: изменились условия конкурса. В связи с тем, что запуск смартфона Samsung Z отложен на неопределённый срок, мы вынуждены поменять условия конкурса."

Сенсоры для логистики

Интересный GPS-трекер для логистики. Libelium делает интересные продукты. Мы используем, например, их устройство для мобильного мониторинга.

Микро-сервисы

Горячая на сегодняшний день тема - архитектура IT систем на базе микро-сервисов. Вместо монолитного куска - конгломерация сервисов с четко обозначенными API. Вот хорошая подборка ресурсов по теме микро-сервисов.

Можно еще также посмотреть статью в INJOIT: Namiot, D., & Sneps-Sneppe, M. (2014). On Micro-services Architecture. International Journal of Open Information Technologies, 2(9), 24-27.

Экосистема для Spark

Разработчики big data полны решимости полностью заменить MapReduce - Spark и сопутствующие продукты.

См. другие материалы по Spark.

Социальная торговля

Social Retail. Интересно - подключенный к сети планшет в примерочной, чтобы делали селфи.

Параллельное программирование

Chapel - язык для параллельного программирования. От Cray.

Конструкция языка:

begin
{
    здесь код
}

просто запускает указанный фрагмент кода как отдельную задачу.

Реактивное программирование

Введение в программирование асинхронных потоков - reactive programming. Это то, что должно стать рабочим инструментом для IoT, например. Потоки данных от сенсоров как раз асинхронны. В следующем номере INJOIT должна быть статья об этом.

P.S. вот здесь еще нашлась интересная дискуссия по FRP

Все для администратора

Полезные подборки инструментов для системного администратора:

Awesome Sysadmin. Возможно, лучшее по полноте

Software Recommendations Stack Exchange

First AID Kit

Lean Stack

Био-очки

Как можно использовать Google Glass для оценки состояния человека. Анализ сенсорных данных (акселерометра). Есть ссылка на статью авторов (MIT Media Lab).

MTS

Интересная статья по сравнению временных рядов Multivariate Time Series Similarity Searching

Докер

Отерытая платформа для распределенных приложений - Docker. Контейнер в данном случае - это по сути виртуальная машина, только без супервизора. Проект поддерживает Google.

Вот весьма содержательная критика.

Счетчик посетителей на BLE

Как может быть устроен подсчет посетителей на основе iBeacons

Эхо-локатор

Навигация в помещении на основе эхо-локации. По аналогии с Wi-Fi навигацией, где создается радиокарта помещения, здесь создается звуковая карта (как видятся отраженные сигналы в конкретной точке)

Что будет с NFC?

Достоверно, конечно, никто знать не может. но все зависит от поддержки сильных игроков рынка. Вот Apple, например, обещает обратить внимание на NFC. Вот здесь есть хорошая подборка патентов Apple в области NFC и мобильных платежей.

Отозванные статьи

Ресурс, который отслеживает статьи, отозванные из научных журналов. Причины отзыва - различные нарушения научной этики.

P.S. Было такое и в истории INJOIT - одну статью удалили через неделю после публикации. Обнаружился плагиат, на который указал один из читателей.

Бесплатная почта

Принципы компьютерной рекламы - в реальную жизнь. Бесплатные почтовые системы (Yahoo, Gmail - показывают рекламу при открытии письма. А вот здесь предлагают бесплатно рассылать обычную почту, докладывая рекламу в конверт.

Анализ данных измерений

Практический материал (учебник) - анализ данных сенсоров с помощью Hadoop

Конференция "Современные информационные технологии и ИТ-образование"

Продолжается примем работ на IX Международную научно-практическую конференцию «Современные информационные технологии и ИТ-образование». Конференция пройдет 14-16 ноября 2014 года в МГУ имени М.В.Ломоносова. Помимо публикации докладов в сборнике конференции, авторам лучших презентаций будет предложено опубликовать свои работы в журнале INJOIT

/via Лаборатория ОИТ

Custom check-in

Мы много писали о так называемых custom check-in. Это сервис, который позволяет создавать собственные формы для отметок (check-in) в Facebook. Check-in - это просто некая специальная запись на стене пользователя, в его ленте и т.д. Отметки при этом совсем не обязательно привязывать только к местоположению. Их можно привязать к выдаче каких-либо преференций пользователю (отметьтесь и получите скидку и т.п.)

Вот хороший пример использования custom check-in для присоединения к Wi-Fi сети.

Оставленные сообщения

Сервис, который позволяет оставить сообщения своим друзьям. Сообщения будут видным тем, кто оказался поблизости.

Такую схему можно реализовать с альтернативным опеределением местоположения - на основе network proximity. Это хорошая модель для использования BDP, например.

Java 8

Что нового в Java 8. Лямбда-выражения и другие изменения.

Поиск аномалий

Простой (и наглядный) поиск отклонений на графиках. Еще один пример практического применения машинного обучения.

Google квантум

Интересный материал о планах Google, связанных с квантовым компьютером

Обработка потоков

Статья, объясняющая stream processing в Google Data Flow

Архитектура M2M

Об архитектуре программного обеспечения для M2M:

Namiot, D., & Sneps-Sneppe, M. (2014). On M2M Software Platforms. International Journal of Open Information Technologies, 2(8), 29-33.

Практика SDN

Как SDN используется в Google. Но детали протокольного стека не раскрывают.

Google Cloud

Впечатляющий список продуктов. Самый интересный из них - это, пожалуй, Data Flow

БД для графов

Интересная дискуссия вокруг графических баз данных. Суть в том, что многие реляционные базы данных стали поддерживать клаузу WITH RECURSIVE в запросах. А это позволяет записать запрос "по дереву" на обычном SQL

На смерть Map-Reduce

Патетический материал о кончине применения Map-Reduce в Google. Соответственно, и для Hadoop Map-Reduce уже не является эксклюзивным фреймворком. Apache Spark, например, использует Directed Acyclic Graph. Вот здесь, например, можно прочитать про преимущества Spark по сравнению с MapReduce (отсутствие синхронизации).

P.S. вот в связи с этой статьей нашлась связанная с ней дискуссия о распределенных файловых системах

P.P.S. из других альтернативных (по отношению к MapReduce) систем см., например, Apache Hama и графовую модель GPS

Поиск по исходным текстам

Поисковая система по исходным текстам. Ищет по исходным текстам в Github, Bitbucket, Google Code, Codeplex, Sourceforge, Fedora Project и т.п.

После некоторого поиска, вот еще что обнаружилось:

1. Поиск по Java коду. Для Android, например GrepCode
2. Поиск для Ruby Ruby Code Search
3. Python, JavaScript, Go Source Graph
4. Поиск по исходным текстам Open Hub
5. Поиск с открытым кодом Krugle
6. Google Code Search Chromium Code Search

P.S. Мета-поисковики - это всегда интересно. Вот пара имеющихся у нас: поиск учебных курсов и поиск по купонам и скидкам.

Эрлангомания

Все про Эрланг. Хороший ресурс для интересующихся параллельным программированием.

INJOIT - call for papers

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 10-й номер журнала на 2014 год (том 2). Здесь можно посмотреть архив журнала.

/via OIT Lab

Обман века

Интересная статья, доказывающая что подсчет ROI в интернет-рекламе не является корректным. Шум превышает полезный сигнал.