Strata Conference

Мы продолжаем публиковать ссылки для отслеживания интересных событий в Twitter. На этот раз - Strata Conference, Santa Clara 2013



/via Geo Messages

P.S. и то же самое в Twi-газете:   StrataConf 2013

Cassandra

Полезная статья IBM DeveloperWorks по основам Apache Cassandra

QR-коды в медицине

Проекты с использованием QR-кодов в медицинских приложениях.

/via QR-code FAQ

Mobile World Congress 2013

Мы продолжаем публиковать ссылки для отслеживания интересных событий в Twitter. На этот раз - Mobile World Congress, Barselona 2013



/via Geo Messages

P.S. и то же самое в Twi-газете:   MWC 2013

Anti-Hive

Решение для обработки данных из Hadoop в реальном времени - CitusDB. Технически - это адаптер для PostgeSQL. Это же может использоваться и как замена для Hive.

Еще о веб-аудио

Еще одна JavaScript библиотека и плагин к jQuery для работы с аудио в веб.

P.S. см. здесь другие решения для web audio

Очки

Что видно в Google Glass:

А согласно этому патенту Google, отображать информацию предполагается, в том числе, и на глазах других людей

Респонзинатор

Инструмент, который позволяет проверить, как выглядит веб-страница на разных устройствах. А проверяется в этом примере как раз одна из free responsive HTML5 templates

Data Mining в Google

Коллекция публикаций от сотрудников Google по тематике Data Mining

Институты больших данных

Пара интересных ссылок на академические инициативы:

1. Institute for Quantitative Social Science (IQSS). Это Гарвард. Кстати, один из их проектов - это система, на которой их собственный сайт построен - OpenScholar. Это основанная на Друпал полнофункциональная CMS для академических институтов. Open Source.

2. Data Science Center. Это Университет Нью-Йорка.

Социальный интегратор

Crowy - интегратор для социальных сетей. На одном экране - Twitter, Facebook, LinkedIn. И это Open Source продукт.

Допрос Яндекса

Инвесторы с пристрастием допрашивают Яндекс. Довольно подробно приходится руководству объясняться.

Коротко: наличных долларов у Яндекса скоро будет миллиард, покупать некого, деньги вернут акционерам, компания надеется на прибыль от Яндекс.Маркет

Apache BigTop

Про проект Apache BigTop. Упрощение развертывания Hadoop инфраструктуры.

Коллекция мэшапов

Новые поступления в коллекции мэшапов. Набор разных приложений: Twitter, Google+, Google Maps, Foursquare, Facebook, LBS, QR-коды, мобильные HTML5 приложения, поиск, рекомендательные системы и т.п. Возможно, что это самый большой набор веб-мэшапов в зоне .ru

Из последних поступлений, например, мобильный веб-мэшап Where Are You Now

Facebook Graph Search

Появились технические детали об устройстве Facebook Graph Search. Интересные моменты в использовании КС-грамматики

Где ты?

Переработан мешап WAYN (Where Are You Now).

Это мобильный веб-мэшап, который позволяет делиться информацией о местоположении в виде подписи к сообщениям. Нет идентификации, нет сторонних серверов, которые хранят всю информацию о пользователях. Прямая отправка данных тому, кому они предназначены. Система не имеет данных об отправителе и получателе, а также никаким образом не влияет на процесс передачи данных.

Некоторые иллюстрации:

1. Простая отправка автоматически определенного (или заданного вручную) местоположения:

2. Адресат видит уже две точки (свое местоположение и местоположение отправителя):

Подробнее можно прочесть на справочной странице сервиса.

P.S. а на случай, когда нужно отслеживать местоположение по нескольким абонентам одновременно, есть сервис Где они. Идея там такая же - обмен информацией о позиционировании на основе peer to peer модели. Разные другие формы реализации представлены на сайте Geo Messages

Медицинские приложения

Хакатон в Media Lab (MIT), посвященный медицинским приложениям. Интересные работы. Вот здесь еще есть хороший обзор мероприятия

О метеорите

Вот для чего нужны местные сайты. Все видео о метеорите на сайте Челябинска

Абавазрение 18.02.2013

Некоторые интересные ссылки:

1. Проверь себя. Вопросы для интервью на позицию data scientist

2. Структуры данных в NoSQL. И, соответственно, какие структуры где будут эффективнее работать.

3. Некоторые публикации по теме Human Dynamics. Использование данных мобильных телефонов для анализа поведения.

4. Ретвиты. Попытка предсказать их распределение от Яндекса. Но все сложнее. Вот интересная статья о помощи шума в распространении информации.

5. Определение контекста для мобильных абонентов. Интересная статья с шаблонами для акселерометра, динамика, etc.

6. Конференции в России

7. На сайте inetique.ru обновлен раздел Новости

M2M приложения

Проекты-финалисты M2M Challenge 2012. Сенсоры наступают.

IT блоги - что почитать?

Обновлен Интегратор IT блогов. Техническая реализация - используется widget от Google, который позволяет загружать RSS фиды со сторонних сайтов. Ну и представление данных вне основной страницы (механизм из сервиса Желтые страницы)

На странице используется также CSE (custom search engine) по IT-блогам.

P.S. другая популярная CSE присутствует на inetique.ru - поиск по скидкам и купонам - 90+ сайтов. Код для поиска можно использовать на собственных сайтах. Вот пример: поиск по скидкам.

Wired Smart Home

Статья в сборнике ICUMT - 2012.

M. Schneps-Schneppe, A. Maximenko, D. Namiot, and D. Malov. Wired smart home: Energy metering, security, and emergency issues. In Ultra Modern Telecommunications and Control Systems and Workshops (ICUMT), 2012 4th International Congress on, pages 405–410. IEEE Conference Publications, 2012

Инфографика и визуализация

Полезная коллекция инструментов для инфографики и визуализации

Asterix

Интересная платформа для анализа тегированных данных

Audio в веб

Интересная библиотека JavaScript для работы с аудио в веб приложениях

Big Data education

Интересная идея - обучение по big data на базе реальных проектов. В основе - Data Science ebook

Е-издатель

Habitat - издательская система для электронных книг

Зарядка для телефона

Интересная идея зарядки для телефона в виде подставки под чашку.

Термогенератор? Что-то вроде модулей Пельтье?

Программирование в онлайне

10 веб-ресурсов для непосредственной проверки вашего кода (или CSS разметки)

Научный Linux

Толковый перевод на IBM DeveloperWorks: Использование Linux в научных вычислениях. В частности, Sage и Python.

Шторм

Big data в реальном времени. Twitter Storm.

P.S. вот здесь еще можно посмотреть другие публикации

Местные новости

OpenBlock - система для местных новостей. Open Source.

А здесь можно посмотреть автоматический подбор местных новостей.

Big Data журнал

Big Data Journal. Редактор: Edd Dumbill, O'Reilly Media.

jQuery Mobile

Обработка событий в jQuery Mobile

P.S. см. здесь другие публикации по jQuery

Абавазрение 09.02.2013

Некоторые интересные ссылки:

1. Low energy Bluetooth devices. Это реальный тренд.

2. На сайте inetique.ru обновлены новости.

3. MoSQL - зеркало для MongoDB в PostgreSQL.

4. Интересный трюк для предотвращения cross-site scripting

5. Предсказание погоды по анализу GSM сигналов. Еще одно использование концепции "телефон как сенсор". Другой пример см., например, здесь

6. WebRTC: видео-чат Chrome - Facebook

7. А все уже пользуются хостингом от Google?

Google Maps Mania.ru - 63

Появились новые записи, и пришло время выпустить очередное обновление для списка русскоязычных проектов (систем), выполненных на базе Google Maps.

Как обычно, символом * отмечены новые поступления со времени публикации предыдущей версии списка. Историю вопроса можно изучить здесь.

Ну а последняя версия доступна на странице Google Maps Mania.RU

In-memory data

Память дешевеет. Соответственно, обработка данных в памяти становится реальностью. Или необходимостью, если нужно реальное время. In memory data grid в системе Cubrid.

Вот еще один обзор по in-memory системам, применительно к задачам реального времени в big data. Кстати, к in-memory systems можно отнести и Spark

Местные новости. Кызыл.

Обновлен мэшап Городские новости. Все местное: видео, фото, новости, рекомендации, твиттеряне. YouTube + Twitter + Yandex + Flickr + Foursquare.

В частности, добавлена страница для города Кызыл. Виртуальный тур, практически. Когда еще будете в Туве ...

Новости вокруг нас

Сервис по печати новостей на кассовых чеках. А что - это ведь еще один носитель. И рекламное место в перспективе. Сейчас в реальном времени подкачивают данные из Associated Press.

О потоках

Конец поиска в сегодняшней форме. Структура веба будет заменена (по крайней мере, в пользовательском представлении) потоками данных. Компания автора - Lifestream похожа на то, что делает Facebook со своим поиском по социальному графу.

Электронные библиотеки

Большой список бесплатных электронных библиотек

Введение в Data Science

Интересный курс от Колумбийского университета Intoroduction to Data Science. Подробные сопутствующие материалы. Курс построен как набор лекций представителей индустрии. Как, например, устроена рекомендательная система в Hunch и т.д.

Wi-Fi спрей

Wi-Fi антенна из балончика со спреем. 7 идей, которые перевернут мир.

Книги по программированию

Полезная коллекция бесплатно доступных книг по программированию

Предсказатель

"Прошлое не повторяется, оно рифмуется" - Марк Твен. Интересная работа Microsoft Research по предсказанию событий на основе веб-источников

Богу - богово

Машинное обучение - это хорошо, но человек - лучше. Twitter будет использовать человеческий мозг для идентификации топиков, которые становятся популярными в поиске.

Глобальный мэшап

Попытка построить единую точку доступа для мэшапов: 100+ API в одной библиотеке.

P.S. Все-таки, Yahoo Pipes был сильно недооцененным продуктом.

Мобильные сенсоры

Еще один пример использования концепции phone as a sensor - сбор информации об атмосферном давлении с помощью телефонов. Получается такая распределенная сеть метео-станций.

Абавазрение 01.02.2013

Некоторые интересные ссылки (в первую очередь - big data и связанные проекты):

1. BigML - как может выглядеть автоматизация анализа на основе machine learning. Ясная схема. Включает программные интерфейсы и даже инструменты работы с системами машинного обучения из командной строки.

2. Сколько может стоить термостат? 800 млн. долларов. Умные приборы - это тренд.

3. MIT Web programming competition. Финалисты.

4. Raspberry PI рассматривается как интеграционный элемент для M2M. Полноценный компьютер с полным набором инструментов разработки. Вот здесь еще можно посмотреть список применений для Raspberry PI

5. Интересное выступление Max Levchin на форуме DLD 2013, посвященное направлениям развития (применения) big data. Цифровизация окружающего мира: "So to conclude: I believe that in the next decades we will see huge number of inherently analog processes captured digitally. Opportunities to build businesses that process this data and improve lives will abound" - отсюда. А мы в AbavaNet давно про это знали.

Семантические данные и веб

Google Data Highlighter и другие инструменты выделения семантических данных без специальной разметки. Это именно инструменты получения данных, а не стандарты для их описания.

Введение в машинное обучение

Курс из CMU Introduction to Machine Learning. Профессор: Alex Smola. Слайды, видеолекции.

Блокнот в браузере

Технический трюк с использованием data URI. Если в браузере вместо URL ввести такой текст: data:text/html, <html contenteditable> то можно будет набирать текст прямо в окне браузера.

Попробуйте следующую ссылку: Notepad

Алгоритмы машинного обучения

Визуальный подбор алгоритмов машинного обучения (картинка кликабельна):

/via scikit-learn: machine learning in Python

Московские данные

IT департамент правительства Москвы представил открытые datasets по городским данным. Здорово - уже что-то двинулось в сторону Smart City. Теперь дело за мэшапами ...

Анализ социальных сетей

Snap - платформа для анализа социальных сетей. И большая коллекция наборов данных для исследований.

MapReduce - учебный курс

Семестровый курс Data-Intensive Computing with MapReduce

Слежение за покупателями

Слежение за мобильными телефонами может оказаться слишком косвенным методом оценки работы магазина, например. Вот здесь предлагают прямо анализировать поведение покупателей. Но, правда, и оборудования нужно больше. В основе - Kinect сенсоры.

Обработка изображений

Лекции по обработке изображений. Vanderbilt University School of Engineering.

Google Prediction API

Практический пример использования Google Machine Learning - Prediction API

Big Data - бесплатное обучение

Собственно говоря, название все объясняет - Free big data education. Там же еще и полезная подбока книг.

О Facebook Graph Search

Коллекция поисковых запросов и ответов в новом поиске Facebook. Очевидно, что ответы зависят от точности заполнения профайлов. Проверьте свой собственный профайл в Facebook - много там заполнено? ;). Другая проблема - идентификация общих объектов. Москва, как город, присутствует много раз с разными ID. То есть формально, внутри Facebook, все эти "Москвы" - разные. То же самое с названиями компаний, университетов и т.д. Если стараться догнать (победить) LinkedIn с его поиском по компаниям и т.п., то это все нужно как-то убирать.

Кстати, тут уже и подоспеет новое SEO, связанное с поиском в Facebook

P.S. а вот посмотрите поиск (точнее - визуализацию или табулизацию) для своего социального круга в Facebook: Social Directory for Facebook.

Флюорография 2.0

Интересная идея - проверять здоровье легких по голосовым сообщениям. Пользователь (пациент) звонит на некоторый номер и оставляет голосовое сообщение. Анализа этой записи оказывается достаточно (по утверждениям разработчиков, конечно), чтобы сделать некие заключения о возможных проблемах с легкими.

Веб - статистика в реальном времени

Realtime Dashboard - как выглядит статистика в реальном времени для контентного проекта. Интересен набор показателей, которые выбрали разработчики (новые/постоянные пользователи, пребывание на странице, социальная вовлеченность)

Еще один социальный API

Или зачем нужны сокращалки для URL. Bit.ly добавил социальные API. Давно замечал - если ссылку на какую-то страницу ужимать, то на эту страницу первым делом заходил бот от bit.ly. Вот теперь они накопили проиндексированных страниц и могут не только считать переходы (сколько раз кликнули по короткой ссылке), но и показывать, например, по каким ключевым словам переходят (куда эти короткие ссылки приземляются). И все это еще геотегировано - можно смотреть как это выглядит по городам.

P.S. заодно выяснилось, что старые API для сжатия/раскрытия уже устарели. Пока работает - но могут и прекратить. Bit.ly движется дорогой Twitter. Теперь все с помощью oAuth. Нужно запрашивать доступ у своего собственного приложения :)

P.P.S. а скоро и Twitter API, работавшие без oAuth работать прекратят.

Да и Google прислал уведомление, что Google Maps API 2.x уже устарели и нужно бы поторопиться с переходом. Свои "плюсы" в работе со сторонними API ...

Data Sets

Обновляемый список тестовых наборов данных для задач машинного обучения

Найдено в Yann LeCun's Goggle+. А собран этот материал был Hilary Mason - chief scientist в bit.ly

Секретные материалы

Обновленная база с паролями по умолчанию для различных программных продуктов. Проверьте свою CMS.

DLD 2013

Мы продолжаем публиковать ссылки для отслеживания интересных событий в Twitter. На этот раз - DLD, Munich 2013



/via Geo Messages

P.S. и то же самое в Twi-газете:   DLD 2013

Web Pair: обмен контактами

Обновлен мобильный сервис pairing for mobile phones. Это модельный сервис, который позволяет связать два мобильных телефона, так что информацию с одного экрана можно отображать на другом. Более точно - связываются два браузера. Не обязательно мобильных. Можно передавать данные с десктопа на телефон, с телефона на умный телевизор, подключенный к сети по Wi-Fi и т.д. Не требуется предварительной загрузки приложений, все работает в браузере.

Как это работает? Перейдите в двух браузерах (на двух телефонах) на следующую страницу: http://pair.linkstore.ru

Можно воспользоваться следующим QR-кодом:

Вы увидите следующее:

Такая же картина будет и во втором браузере (на втором телефоне). Отличаться изображения будут только кодом:

Этот случайный код и нужен для установления связи между экранами. Используется схема, подобная pairing в Bluetooth. На телефоне (экране), который будет отображать информацию (присоединяется к другому, работает в режиме slave) нужно набрать код, указанный для другого экрана:

Этот телефон готов к приему данных:

После ввода соответствующего кода, второй телефон (код которого введен) автоматически перейдет в режим ввода данных (master mode):

Наберите произвольный текст и нажмите кнопку Push на мастер экране. Набранные данные будут отображены на втором устройстве (slave):

Это модельный пример, здесь передаются текстовые данные. Но технически возможно передача любого контента с одного устройства на другое (из одного браузера в другой). Что поддерживается в данной версии:

- если в мастер-режиме набрать текст - он будет отображен на присоединенном экране (или экранах - их ведь может быть несколько)

- если в мастер-режиме набрать произвольный URL (например, http://abavanet.ru) - он будет отображен на присоединенном экране как ссылка

- если в мастер-режиме набрать номер телефона, то он будет отображен на присоединенном экране как ссылка, по которой можно звонить

- если в мастер-режиме набрать следующую команду:   t:имя_в_твиттер (например, t:abava), то она будет отображена на присоединенном экране (экранах) как ссылка на соответствующего пользователя в Twitter (в данном примере - abava)

- если в мастер-режиме набрать следующую команду:   f:имя_в_фейсбук, то она будет отображена на присоединенном экране (экранах) как ссылка на профиль соответствующего пользователя в Facebook

Таким образом - это еще один способ поделиться ссылкой на свой профайл в социальной сети.
 

P.S. Прототипы. Их два - это компоненты в составе Coldtags suite. Они были сделаны еще в до-ajax эру (да - было и такое время :), но тем не менее вполне себе работают. Это Cobrowse и Slide.

Mirror API

Очки дополненной реальности от Google обрели собственный API - Mirror

GM QR-code

Простой и понятный пример практического использования QR-кодов: наклейки на новых автомобилях Шевроле (Volt). При этом мобильных пользователей отправляют не в какую-либо группу в социальной сети (что им там делать? ;-), а на страницу с видео, где рассказывается об этой машине. Самопередвигающаяся реклама получается

/via QR FAQ & How To

Полиглоты в программировании

О том, как в избирательной компании Барака Обамы использовались big data уже много писалось. А вот еще один интересный анализ - об использовании ими средств разработки. Реальные полиглоты. Все в самых разных ипостасях - базы данных, языки программирования, облака. Время монокультурности в больших IT проектах, видимо, окончательно прошло ...

И Open Source продукты на коне. Например, широко использовали Ushahidi. А вот здесь есть еще об их собственном REST API - Narwhal

Бесплатные книги

Всем киндловодам. Поиcковик по бесплатным книгам на Amazon

P.S. вертикальный поиск - хорошая вещь. Судя по статистике, например, число пользователей нашего поиска по купонам только растет

Статус Hadoop

Состояние Hadoop на начало 2013 года. Количество названий в экосистеме становится слабо обозримым ...

О Wi-Fi proximity

Статья в журнале Прикладная Информатика.

Д.Е. Намиот "Использование оценки приближенности к узлам Wi-Fi сети для доставки гиперлокального контента", Прикладная Информатика, N. 5, 2012, стр. 51-58

Искусственный интеллект - современный подход

Реализации алгоритмов из книги Artificial Intelligence - A Modern Approach: Java и Python

Визуализация данных

Интересная подборка инструментов для визуализации данных.

Load balancing

Полезный материал: балансировка нагрузки с помощью Nginx

Веб-симуляторы для телефонов

Полезно для отладки мобильных веб-приложений, для создания скриншотов и т.д. iPhone5 и iPhone4

P.S. вот еще старый TestIphone

Мониторинг трафика

Еще один пример слежения за телефонами. На этот раз - для анализа дорожного трафика. Оценивается скорость перемещения Bluetooth устройства (телефона у водителя, например) между двумя точками замера.

Кстати, то что есть у AbavaNet - может отслеживать не только Wi-Fi, но и Bluetooth.

Генератор web-приложений от Apache

Интересный новый проект - Apache Isis. Автоматическая генерация веб-приложений по описанию. Вот здесь есть демо.

Ужималка текстов

Симпатичный букмарклет, который подсвечивает на веб-страницы фрагменты текста, которыми можно поделиться в Twitter. На техническом уровне - хороший пример динамической загрузки jQuery.

P.S. там еще есть и расширение для Chrome.

/via Коллекция букмарклетов

Big Data 2013

Прогнозы развития big data в 2013 году. Смысл в этих предсказаниях в том, что с их помощью можно понять перспективные области для исследования.

VoltDB

Программирование и масштабирование VoltDB

О Haskell

Курсы по языку Haskell

Большие логи

Пара систем, предназначенных для сохранения машинно-генерируемых данных (логов, замеров): Splunk и InfoBright.

Smart City

Интересная статья - Data mining для городских данных. Там, в частности, упоминаются городские проекты в Амстердаме.

iOS push

Полезная техническая статья от IBM developerWorks: push-уведомления в iOS

Data science

Введение в Data Science с помощью языка R

Google Analytics

Все, что вы хотели знать о Google Analytics. 10 основных отчетов.

Smart Cities

Интересный список "обязательных" приложений для Smart City

Using Network Proximity for Context-aware Browsing

Our new paper: Dmitry Namiot and Manfred Sneps-Sneppe "Using Network Proximity for Context-aware Browsing",International Journal On Advances in Telecommunications, volume 5, numbers 3 and 4, 2012 pp.163-172

Планы Google

Интересно о планах Google и Google X

Машинное обучение

Школа анализа данных Яндекса: лекции по машинному обучению

Книгоиздатель

Создание ebooks. Форматы: PDF/Epub/Kindle

Лего-математика

Из цикла "Я люблю математику": Математический анализ лего-комплектов

Отладка JSON

Полезный инструмент для отладки приложений, использующих JSON: JsonBlob. Легко задать URL, которые возвращают нужные отклики.

О базовых станциях

Продемонстрирована базовая станция GSM на основе свободного программного обеспечения. В статье это обсуждают в связи с безопасностью GSM, но мне кажется есть еще одно более интересное применение. Это может быть основой для системы мониторинга. Вот здесь, например, описано отслеживание мобильных телефонов по Wi-Fi и Bluetooth. А такого рода "станция" позволит делать это для всех GSM телефонов. Связью она вообще не должна заниматься. Принимать запрос на подключение от телефона, регистрировать этот факт (это и будет основой реальной аналитики), а затем тут же отвергать этот запрос. Попытка регистрации - это и есть запись о новом посетителе в данной области. На этом можно будет строить реальную аналитику (a-la Google Analytics, только для реальных мест и реальных посетителей).

Raspberry PI

Что можно сделать из старой швейной машинки Зингера Проекты с использованием Raspberry Pi

Data Science

Хорошая коллекция бесплатных книг по Data Science

Изучаем английский?

Поисковик по купонам и скидкам находит предложения для обучения в сервисе LiguaLeo за 20% стоимости. Все уже так плохо? Вроде живой сервис был.

P.S. стала интересовать тематика обучения