Python и Data Science

Полная подборка учебников по использованию Python для Data Science

/via Поиск учебных курсов

Микросервисы на практике

Практический пример использования микро-сервисов.

Анонимные функции

Хорошее описание анонимных функций и замыканий.

Еще о микросервисах

Бесплатная книга от O'Reilly Building Microservices

Большая аналитика

Интересная статья об устройстве Trill - процессор запросов для аналитики

Война Алой и Белой розы

Извечный спор: MySQL vs. PostgreSQL

Вот предыдущие публикации на тему MySQL и PostgreSQL

Докер

Весьма толковое объяснение работы контейнеров (Docker) и анализ причин популярности.

M2M стандарты

Намиот Д., Шнепс-Шнеппе М. О международной стандартизации М2М коммуникаций // T-Comm - Телекоммуникации и Транспорт. — 2014. — Т. 8, № 12. — С. 62–67.

Рассматриваются вопросы, связанные со стандартизацией M2M коммуникаций. Целью рассмотрения является анализ попыток выработки единого стандарта, текущее состояние предложений, а также приводится наша оценка этого процесса. Количество возможных подключений различных устройств измеряется миллиардами и, естественно, этот огромный рынок представляет большой интерес для всех участников. При этом необходимо учитывать, что в отличие от ранних работ по стандартизации телекоммуникаций и сетевого взаимодействия, на настоящем этапе стоит вопрос стандартизации сервисов и, что крайне важно, средств разработки. Именно средства разработки должны будут поддерживать создание новых сервисов и, в конечном счете, обеспечивать успех той или иной платформы. А в силу объемов рынка M2M и его изначально большой диверсификации (большого количества производителей различных устройств), масштаб работ по стандартизации является во многом беспрецедентным.

Шаблон для JavaScript

Facebook продвигает свой модель программирования для JavaScript - Flux. Более ясное описание, чем то, что публиковали ранее. Pub/Sub модель. Вот еще интересная дискуссия по этому поводу на YC

См. здесь предыдущие публикации о Flux

О коварном электричестве

Интересный материал об отслеживании местоположения мобильного телефона по расходу энергии батареей. Идея простая - чем дальше от вышки сотовой связи, тем больше энергии тратит батарея.

Утечки данных на Android

Вот только недавно Яндекс поймали за программу Metro на Android, которая отправляла создателю много всего лишнего. Есть такой интересный проект - TaintDroid. Приложение для Android (кстати, код открыт - очень интересное чтение), которое в реальном времени показывает, что и кому отправляет каждое приложение.

Математика

SageMath - альтернатива Wolfram Mathematica, Matlab и т.п. Есть online версия. В облаке можно работать с Python, R, Julia.

Кого нанимают в IT

Hot skills по данным LinkedIn:

О взломанных SIM-картах

Интересная статья, раскрывающая тему с "закладками" на SIM-картах. Согласно тому, что написано, атакующие просто перехватывали ключи, которые производитель (Gemalto) отправлял (по email и ftp) операторам, купившим у него карты. Эти ключи используются при установлении соединения телефона (сим-карты) с сетью оператора.

Вот еще интересная дискуссия по этому поводу на YC

Выбросы

Интересный продукт от Netflix по определению аномалий в больших временных рядах. Использованный математический аппарат описан здесь.

4 и 44

Это в миллиардах долларов. Это влияние iBeacons (тегов вообще) на продажи. 4 млрд - в этом году, 44 - в следующем.

Web Sensors API

Зачем и для чего нужны Web Sensors API

Распределить все

Dynomite - инструмент, который превращает любую базу данных в распределенную.

Java Observer

RxJava - Java библиотека для асинхронного (событийного) программирования. Аккуратная реализация шаблона Observer. Есть версия для Android - там такая модель особенно актуальна (на замену AsynchTask)

HTTP и IoT

Почему HTTP протокол - не лучшая идея для Internet of Things:

Why HTTP Won't Work For The Internet of Things from kellogh

Мониторинг активности

Устройство для мониторинга активности в умном доме. Позволяет отслеживать физическую активность одиноко живущих пожилых людей.

Временные ряды и R

Простое руководство по анализу временных рядов с использованием языка R

Apache Data Flow

Новый проект - Apache NiFi

См. здесь другие ссылки на проекты Apache

Web Intents

Хорошая была идея с Web Intents. Умерла. И причины большей частью совсем не технические. Вот свидетельство о смерти.

Spark изнутри

Весьма толковое описание устройства Spark. И, соответственно, отличия от MapReduce.

См. здесь другие материалы по Spark

Бесплатный Amazon

Бесплатные сервисы от AWS. На 1 год.

INJOIT - собираем статьи

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи во 3-й номер журнала на 2015 год (том 3). Здесь можно посмотреть архив журнала.

/via Лаборатория ОИТ

И ты Брут ...

Ведь был уже Twitter, который отрезал сторонних разработчиков, сыгравших значительную роль в раскрутке сервиса. А вот теперь и LinkedIn решил, что сторонний доступ больше не нужен.

Такая вот жизнь с открытыми (но чужими) API ...

Data Science в Москве

Московская группа по Data Science

/via Поиск учебных курсов

iBeacons в России

Практический пример использования iBeacons в отечественном ритейле - купоны с Passcode

См. здесь другие материалы по BLE и iBeacons

Push vs. SMS

Банки заменяют SMS-уведомления PUSH-нотификациями. Подобного рода продукты описывались в журнале INJOIT:

Павлов А. Д., Намиот Д. Е. Информационные системы на основе push-уведомлений //International Journal of Open Information Technologies. – 2014. – Т. 2. – №. 8. – С. 11-19.

Павлов А. Д., Намиот Д. Е. Системы для поддержки push-уведомлений //International Journal of Open Information Technologies. – 2014. – Т. 2. – №. 7. – С. 37-44.

Схематично

Инструмент для описания схем данных - Apache Avro

Человеко-сенсор

Европейский проект (по программе FI-WARE) CitySense - сбор информации с сенсоров в городских условиях.

Ionic

Еще один веб-фреймворк для мобильной разработки. Можно писать программы на JavaScript для iOS и Android: Ionic

HTTP/2

Chrome переходит на HTTP/2. Вот здесь есть хорошая статья об основных положениях HTTP/2

Современный SQL

Очень полезная презентация по современным возможностям SQL и их влиянию на производительность (с анализом планов запросов):

Modern SQL in PostgreSQL from Markus Winand

Абавазрение 10.02.2015

Некоторые интересные ссылки:

1. Интересная идея - персональная помощь в разработке

2. Практическое использование кастомизированного сканера штрих-кодов - информирование о косметической продукции.

3. Очередные обновления в поисковой системе для учебных курсов.

4. Предсказательная аналитика для IoT. Или такого рода аналитические сервисы просто должны быть часть инсталляции системы IoT.

5. Обновления в поиске по купонам и скидкам. Опять стало суперактуально в текущей экономической ситуации.

Fuzix

Маленькая операционная система - FuzixOS. Кстати, очень интересно и для обучения.

Твит как программа

Wolfram теперь позволяет испольнять программы по запросу в Twitter. Программа (запрос) отправляется на исполнение как обычный твит.

В этой связи укажем еще раз на наш старый сервис T411. Он позволяет создать свой собственный бот для Twitter. Из готовых примеров: погода, спроси Навального, Элиза

Вот еще интересная дискуссия по этому поводу на YC

P.S. см. здесь другие публикации по Wolfram Alpha

Шах и мат

"Продвижение" брендов в Facebook и Twitter - бесполезно. И ничего, кроме потери времени и денег им не дает. Старые ("добрые" :) email рассылки - лучше. Консалтеры из Forrester знают :)

Изучение Data Mining

Вполне себе хороший учебный план по Data Mining от портала KdNuggets.

/via Поиск учебных курсов

Новости образования

Из Гарварда сообщают - основное различие между магистрами и бакалаврами.

Обработка потоков

Big Data - кластеризация данных в потоке

См. здесь другие материалы по использованию Spark

Безопасность в SS7

Презентация с анализом проблем безопасности в сетях SS7.

База тегов

Хорошая идея - собрать базу тегов iBeacons, используемых в аэропортах. Сторонние приложений смогут программно запрашивать информацию из этой базы и работать с конкретными тегами.

Рекламное досье

Патентная заявка на сервер агрегации данных о пользователях в целях показа им релевантной рекламы.

Фото-анализ

Интересная идея - компания научилась распознавать логотипы брендов на selfies.

Python vs. R

Для задач обработки данных Python по популярности побеждает R

Алгоритмы машинного обучения

Хороший классификатор алгоритмов машинного обучения.

См. также другие публикации по machine learning

INJOIT - call for papers

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи во 3-й номер журнала на 2015 год (том 3). Здесь можно посмотреть архив журнала.

/via Лаборатория ОИТ

Лекции по веб-технологиям

Технопарк Mail.ru и МГТУ - лекции по веб-технологиям.

/via Поиск учебных курсов

INJOIT vol. 3, no. 2

Вышел новый номер журнала INJOIT. Это второй номер в 2015 году.

Темы статей: о создании единого информационного пространства общества, оптимизация спуска осесимметричного авторотирующего тела в воздушной среде, интеллектуальный анализ данных для задач CRM, устройство для мониторинга активности в умном доме, sensitivity analysis of Bayesian networks in COTS-based software.

Архив журнала находится здесь.

/via Лаборатория ОИТ

Первый дрон

Голубь-фоторазведчик. Первая мировая война

Обработка временных рядов

Хорошо организованный материал по обработке временных рядов на языке R

Мобильная консоль

Полезный инструмент отладки мобильных веб-приложений: Mobile Console. Вот демо.