Google Spark

Hadoop и Spark сервисы от Google Cloud Dataproc

Open NASA

Коллекция открытых программ и данных от NASA

P.S. Ждем Роскомос ?

Введение в R

Интерактивный учебник по языку R

См. также другие публикации по языку R

Скорость загрузки веб-страниц

Хорошая статья о производительности веб-приложений

Современная Java

Как сейчас нужно писать на Java

INJOIT - собираем статьи

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 10-й номер журнала на 2015 год (том 3). Здесь можно посмотреть архив журнала INJOIT.

/via Лаборатория ОИТ

Простые Bluetooth теги

Bluetooth устройства в качестве тегов как базис для контекстно-зависимых сервисов: Д.Е. Намиот, М.А. Шнепс-Шнеппе "Контекстно-зависимые сервисы на базе беспроводных тегов"

KV SQL

Простая и эффективная модель преобразования реляционных таблиц в формат ключ-значение.

MS Linux

Когда-то это было шуткой. Но жизнь продолжается - Микрософт разработал свой Linux

Анализ данных на R и Python

Хорошая серия учебников для программистов по анализу данных с использованием R и Python. Все тексты - на Github. У того же автора есть и учебник по Spark

Размер имеет значение

Именно размер обучающей выборки определяет применимость машинного обучения в анализе текстов.

Случайные деревья

Реально один из эффективнейших способов классифификации. Подборка материалов:

Random Forest Wiki

The Unreasonable Effectiveness of Random Forests

Модель Random Forest для классификации

Датчик расхода воды

Ультразвуковой датчик расхода воды. Не нужно резать трубы.

Диаграммы из текста

Замечательный JavaScript пакет, который строит UML диаграммы из текстовых описаний. То есть, имея вот такое вот текстовое описание:

Andrew->China: Says Hello
Note right of China: China thinks\nabout it
China-->Andrew: How are you?
Andrew->>China: I am good thanks!

Мы можем получить следующую картинку:

См. также другие публикации по UML

Учебник по Spark

Учебник по Spark. Удобно тем, что работает прямо в браузере.

См. также другие публикации по Spark

/via Поиск учебных курсов

R10

10 основных алгоритмов анализа данных на языке R. Хорошая вещь и для обучения.

Big Data от Beeline

Big Data конкурс от Beeline. Приз - 500 000 рублей.

Сетевая близость в умном городе

Статья об использовании систем на базе сетевой близости в проектах Smart City: Manfred Sneps-Sneppe, Dmitry Namiot "On the Network Proximity in City-Scale Ubiquitous Systems", Information Technology and Systems 2015. An IITP RAS Interdisciplinary Conference & School September, 7-11, Olympic Village, Sochi, Russia. Proceedings. ISBN: 978-5-901158-28-9

Введение в DL

Хороший материал по основам deep learning

См. также другие публикации по теме deep learning

О PostgreSQL

Подборка ресурсов по PostgreSQL:

1. PostgreSQL Magic

2. Window Functions. Очень полезный инструмент для обработки временных рядов.

3. SQL 99 в PostgerSQL

4. WITH в PostgreSQL

5. Презентации от О.Бартунова

Amazon

Это кто-то должен был сделать - простое описание: что есть что в сервисах Amazon

Ресурсы для образования

Еще одна коллекция образовательных ресурсов.

/via Поиск учебных курсов

Теги из Bluetooth устройств

Core Bluetooth устройства в качестве тегов и модели контекстно-зависимого программирования для таких систем: Д.Е. Намиот, М.А. Шнепс-Шнеппе "Контекстно-зависимые сервисы на базе беспроводных тегов"

Потоковые алгоритмы

Основные алгоритмы в потоковой обработке данных. Актуально, в связи с ростом интереса к обработке данных в реальном времени.

P.S. см. также другие публикации по теме stream processing

О кластеризации

Пара полезных документов по кластеризации:

DBSCAN - как это устроено и как работает

Лекции по кластеризации (CMU)

Библиотеки DL

Свободные библиотеки для deep learning - разбивка по языкам программирования.

См. также другие публикации по deep learning

О поисковых технологиях

Интересный обзор конференции ACM SIGIR 2015

Четырехплан

Патент компании Тойота на летающий автомобиль.

Звонки по Wi-Fi

Wi-Fi calling - что и как.

Открытое образование

Открытое образование - курсы ведущих университетов России

/via Поиск учебных курсов

Чтиво по Data Science

Действительно хороший сайт с новостями по Data Science

Что и для чего в ML

Очень интересный материал - сводная таблица методов машинного обучения, классифицированная по решаемым задачам.

FeatureFu

LinkedIn выложил в открытый доступ свою библиотеку для задач машинного обучения - FeatureFu

Еще почитать о пакете можно здесь и здесь.

Протокольные войны

Может ли HTTP/2 заменить MQTT? В более широком смысле - может ли HTTP/2 заменить все другие pub/sub решения? В реализации HTTP/2 появился Streaming. Получив изначальный GET запрос, сервер HTTP/2 может оставить канал открытым и посылать данные клиенту (PUSH_PROMISE) по мере их готовности.

P.S. см. также публикации об архитектуре сайтов с HTTP/2

V8 TurboFan

Новый релиз JavaScript Engine от Google: здесь и здесь.

PlantUML

Очень полезный и простой инструмент - рисует UML диаграммы по текстовому описанию

Временные ряды в языке R

Хорошая книга по анализу временных рядов в R

См. также другие публикации по анализу временных рядов

Git

Хорошая статья о работе с Git

Скукометр

Определение состояния "скука" для мобильных пользователей.

/via MIT Technology Review

Дизайнерский прототип

Еще один инструмент для прототипирования приложений.

См. здесь другие публикации по теме прототипирование

Из простой таблицы

Интересный сервис - превращает таблицу в мобильное или веб-приложение: App Sheet

Оценка компетентности программистов

Пара проектов, посвященных оценке комптенций программиста:

1. Матрица комптентности

2. CEFR-like approach to measure programming proficiency. Это представляется более интересной моделью. Здесь используется та же градация, что и в европейских оценках степени владения иностранным языком.

Distributed Computing

Лекции из ETH - Principles of Distributed Computing. Все лекции одним файлом есть здесь.

/via Поиск учебных курсов

И хорошее настроение ...

Анализ сентиментов для веб-данных. По сути - это мэшап, который использует инструмент для скачивания (выделения) текстов из веб-страниц и инструментарий для анализа текста (на основе машинного обучения).

Вот еще нашлась интересная дискуссия (с массой ссылок) по поводу данной статьи.

Следы человека

Интересный проект от MIT и Ericsson: анализ звонков и мобильного трафика для разных городов. Эта идея (иссследование шаблонов мобильной активности в разрезе помещений и гео-областей) как раз и начиналась в MIT (reality mining).

INJOIT - call for papers

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 10-й номер журнала на 2015 год (том 3). Здесь можно посмотреть архив журнала.

/via Лаборатория ОИТ

Как работают базы данных

Очень хорошая статья с разбором устройства реляционных баз данных.

INJOIT vol. 3, no.9

Вышел новый номер журнала INJOIT. Это девятый номер в 2015 году.

Темы статей: разработка и особенности математической модели ветротурбины Дарье, компьютерные модели скачкообразного и непрерывного увеличения знаний при обучении, распознавание событий в распределенной оптоволоконной сенсорной системе, cреда комплексного анализа производительности алгоритмов балансировки в параллельном методе ветвей и границ, мониторинг использования оперативной памяти в больших программных системах.

Архив журнала находится здесь.

/via Лаборатория ОИТ

Книги по Data Science

Хорошая коллекция бесплатных книг по Data Science

/via Coldtags Suite

О прототипировании

Прототипирование становится практически обязательным для мобильных приложений. Обзор подходов и инструментов.

И снова графы

Шумиха вокруг баз данных для графов. А также, почему это важно.

См. также другие публикации по теме графы, базы данных для графов, анализ графов

Back-end для мобильных приложений

Бесплатный (Open-Source) back-end сервер для мобильных приложений (есть native SDK). Можно сделать свой Parse.

Утечки памяти в JavaScript

Утечки памяти в JavaScript приложениях, сборка мусора и другие проблемы управления памятью в JavaScript приложениях. Проголосовать за презентацию на SECR-2015 можно здесь.

Обзор: базы данных для графов

Графовый язык

Базы данных для графов вызывают большой интерес (очевидно, подогреваемый задачами с различными социальными графами). Вот интересная презентация с языком для опроса графовых моделей (из проекта Apache TinkerPop):

The Gremlin Graph Traversal Language from Marko Rodriguez

Качество жизни

Стартует первый всероссийский конкурс «Инновационные технологии и разработки “Качество жизни 2.0”». Конкурс проводится кластером биомедицинских технологий фонда «Сколково» при поддержке Благотворительного фонда Елены и Геннадия Тимченко.

На конкурс принимаются инновационные проекты и технологические разработки, направленные на улучшение качества жизни пожилых людей, адаптацию старшего поколения к современной урбанистической среде и поддержание полноценной физической активности людей в возрасте старше 50 лет. Прием заявок на участие в конкурсе открыт до 20 сентября 2015 г.

Модели машинного обучения

Книга в свободном доступе - Модели систем машинного обучения. Очень важный момент, на самом деле. Подходов много, а что, как и почему выбирать в каждом конкретном случае - не ясно.

Рекурсия

Любителям закона о забвении: от Google требуют удалить ссылки на страницы о том, как Google удаляет ссылки на страницы. Отсюда

Еще про Python

Пара полезных Python-ресурсов:

Web Scrape. Большая коллекция скриптов для чтения данных с различных веб-сайтов. Из стенфордского курса Computational Journalism

Хороший учебник по Python

UPD: вынесено в сообщение из комментария - A gallery of interesting IPython Notebooks

Машинное обучение для программистов

Хороший материал - машинное обучение для программистов

Wi-Fi супер-роутеры

Еще одна попытка создать удобный "домашний" Wi-Fi маршрутизатор. В эту же серию - и OnHub от Google. Хотя очевидно, что в главном, это борьба за то, кто будет анализировать домашний трафик.

Об управлении памятью в JavaScript

Утечки памяти в JavaScript приложениях, сборка мусора и другие проблемы управления памятью в JavaScript приложениях. Проголосовать за презентацию на SECR-2015 можно здесь.

Автоматы

Курс по конечным автоматам.

/via Поиск учебных курсов

Аномалии во временных рядах

Поиск аномалий во временных рядах по статистической оценке возможной разницы между соседними значениями.

См. также другие материалы по поиску аномалий.

Курсы от Google

Рекомендации по образовательным курсам от Google.

/via Поиск учебных курсов

Применение MongoDB

Учебник: применение MongoDB для Internet of Things

О програмировании

Известная книга об основах программирования.

P.S. И интересная дискуссия об этой книге с массой ссылок

Список списков

Хороший ресурс с почти библейским содержанием - список модерируемых (поддерживаемых) списков на Github.

Анализ новостных сайтов

Пример анализа для новостных сайтов, где "продвижение" новостей осуществляется пользователями. В данном случае - YCombinator. Цели такого рода проектов - определить, что влияет на "популярность" ссылки.

P.S. вот еще один похожий проект.

Deep Learning из университета

Университетский курс по глубокому обучению.

/via Поиск учебных курсов

P.S. см. также другие публикации по теме Deep Learning

Ur/Web

Интересная попытка предложить новый язык для веб-программирования. Точнее - для описания веб-приложений.

Курсы Dataquest

Курсы от Dataquest по анализу данных.

/via Поиск учебных курсов

Курсы Python

Бесплатный курс на русском языке: Программирование на Python

P.S. тут есть еще и общая программа обучения по программированию.

/via Поиск учебных курсов

Рекомендации для контента

Хорошее объяснение работы Latent Dirichlet Allocation в рекомендательных алгоритмах для газеты New York Times.

iBeacons и Android 5.0

Фоновое сканирование BLE тегов в Android 5.0. В истории с тегами часто забывают, что пользователь (мобильный телефон) перемещается быстрее, чем тег будет распознан.

Blockchain

Blockchain технологии - модная тема, хорошие презентации. Что это и как устроено.

Deep Learning

Курсы по глубокому обучению:

Nvidia

Awesome courses

/via Поиск учебных курсов

Open Source мобильные приложения

Весьма полезно для обучения - коллекции Open Source мобильных приложений:

Mobile Gap

Android Experiments

Автоматизация машинного обучения

Сайт BigML автоматизирует процесс машинного обучения. Есть бесплатные аккаунты (ограничены по объему данных). Так вот, одно из интересных применений - это обучение. Можно смотреть, что именно делают разные методы.

/via Поиск учебных курсов

Медуза внутри

Интересный материал - техническое устройство meduza.io

Зрада или перемога?

Классическая модель, реализуемая в виртуальных машинах (JavaScript, Java) состоит (состояла ?) в том, что есть интерпретатор байт-кода, который позволяет быстро запустить исполненение. А далее "горячие" фрагменты кода уже компилируются (Just In Time compiler - JIT). А вот согласно этому проекту Ignition, Google в V8 хочет отказаться от JIT и использовать оптимизированный интерпретатор. Идея в том, что большая часть JavaScript кода до горячего состояния никогда и не доходит.

Вот еще интересная дискуссия по этому поводу на YC

Телефон как iBeacon

Как эмулировать iBeacon тег в телефоне.

Напомним, что с Core Bluetooth любой телефон можно использовать как Bluetooth тег

RNN музыка

Очень интересная статья по обучению нейронной сети, которая будет писать музыку.

ВМК МГУ - дополнительный набор

Прием 2015: дополнительный набор на программы бакалавриата, магистратуры и второго высшего образования

/via Магистратура ВМК МГУ

Сетевой репозиторий

Полезная коллекция сетевых данных (графов) для анализа.

ML API

Список доступных API для машинного обучения. Не самый полный - вот здесь есть больше Machine Learning APIs

Технотрек

Учебный проект mail.ru для Физтеха.

/via Поиск учебных курсов

LLVM

Хороший обзор LLVM. Это лучшее, что доступно для компиляции сейчас.

Потоки 21 века

Интересная статья: Распределеная обработка (Kafka) как аналог Unix pipe

Программы профессиональной подготовки ВМК МГУ

На сайте магистратуры факультета ВМК МГУ объявлен набор на программы профессиональной подготовки:

1. «Разработчик профессионально-ориентированных компьютерных технологий» (очно-заочная форма обучения, 1730 час.)

2. «Разработчик профессионально-ориентированных компьютерных технологий» (дистанционная форма обучения, 1552 час.)

Детали см. здесь.

/via Лаборатория ОИТ

Управление памятью в Android

Хороший технический материал по управлению памятью (поиску утечек) в Android:

часть 1
часть 2

INJOIT - call for papers

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 9-й номер журнала на 2015 год (том 3). Здесь можно посмотреть архив журнала.

/via Лаборатория ОИТ

IBM Open

IBM открывает код для многих своих продуктов. Даже создали специальный портал для этого - developerWorks Open

Глубокое обучение

Хороший обзор терминологии и проблематики Deep Learning

См. также другие публикации по теме deep learning

/via Поиск учебных курсов

Wireless Proximity

Проекты, связанные с стевой близостью, привлекают все больше внимания. То, что мы начинали со SpotEx и BDP - становится трендом.

Контроль за работой водителя

Роман Абрамович вложил $10 млн в американский стартап Driveway, помогающий страховым компаниям собирать информацию о водителях. Driveway занимается мобильной телематикой – объединяет мобильные устройства и системы обработки данных. Разработанное Driveway мобильное приложение устанавливается на смартфон застрахованного водителя и собирает информацию о его поведении на дороге. Приложение интересуют скорость движения, то, как водитель тормозит и ускоряется, поворачивает, какое расстояние проезжает, ездит ли ночью. Собрав информацию о водителях, Driveway использует анализ больших данных для корректировки цен страховой компании: водители с хорошими навыками вождения получают скидки на страховой полис.Отсюда.

А вот описание подобного рода системы в последнем номере журнала INJOIT:   Незнанов И.В., Намиот Д. Е. Контроль транспортных маршрутов с помощью мобильных телефонов //International Journal of Open Information Technologies. – 2015. – Т. 3. – №. 8. – С. 30-39. Статья написана по результатам дипломной работы 2015 года.

INJOIT том 3, номер 8

Вышел новый номер журнала INJOIT. Это восьмой номер в 2015 году.

Темы статей: интенсификация сокращения области поиска в методе неравномерных покрытий, инструментарий для визуализации программного обеспечения в трехмерном пространстве, модель информационной системы на базе push-уведомлений, контроль транспортных маршрутов с помощью мобильных телефонов, телекоммуникационные сервисы и развитие DISN, обработка потоков больших данных

Архив журнала находится здесь.

/via Лаборатория ОИТ

Базы данных и сенсоры

Интересная статья о требованиях к базам данных для хранения сенсорных измерений. В частности, базы данных временных рядов.

Сделай сам

Мастерские и другие рабочие пространства в Москве. Совсем даже не дешево ...

Статистическое машинное обучение

Учебный курс: Statistical Machine Learning

/via Поиск учебных курсов