Рекомендации с помощью MapReduce

Практический материал в инженерном блоге Twitter - генерация рекомендаций с помощью MapReduce. Используется Scalding - система, предназначенная для упрощения работы с MapReduce.

LBS privacy

Живой пример на тему LBS privacy:

Блоггер вроде как ведет живой репортаж с Чукотки (второй твит). Но ЖЖ уж очень старая система, чтобы отслеживать что-то. А вот Twitter установленным гео-позиционированием показывает текущее нахождение в Москве. Да и check-in в Foursquare тут не ко времени ... Big fail :-)

P.S. а ведь есть LBS системы, спроектированные именно для учета privacy - Where Are They Now.

Компоновка динамических страниц

Ajax include pattern - как собрать HTML страницу из отдельных фрагментов, доступных через асинхронные вызовы.

P.S. Для JSP можно воспользоваться, например, пользовательской библиотекой тегов Ajax include.

Абавазрение 30.03.2012

Некоторые интересные ссылки:

1. События в Twitter. Как поддерживать события (например, конференции) в Twitter. Практическое руководство.

2. Chico-UI. Набор интерфейсных компонент на базе jQuery

3. JSOS ver. 7.70. Новая версия коллекции Java сервлетов и фильтров.

4. Ссылки за последние 72 часа. Табло из мэшапа Чтиво на сайте linkstore.ru

5. SIM карты должны умереть. Новая атака на операторский бизнес.

6. Построение спам-фильтра с использованием Apache Mahoot.

7. Новые эксперименты с HTML5 видео.

8. О говнокоде. Будьте осторожны при написании комментариев в тексте программы, которую нужно сдавать заказчику :). С комментариями это вообще-то старая история.

Apps for Smart Cities

Мы продолжаем публиковать ссылки для отслеживания интересных событий в Twitter. На этот раз: Apps for Smart Cities, Amsterdam, 2012



/via Geo Messages

И то же самое в Twi-газете: Apps for Smart Cities

P.S. Интересный проект Smart City SDK

Password protected notes

Обновлен мэшап Protected notes. Позволяет создавать и публиковать (Twitter, Email, Facebook) текстовые заметки (сообщения), защищенные паролем. Идея в том, чтобы в общедоступном источнике (например, в своей ленте Twitter) можно было опубликовать сообщения, доступные только ограниченному кругу читателей. Только авторизованные пользователи смогут читать/удалять сообщения.

К сообщениям можно добавлять (присоединять) файлы.

В новой версии поддерживается HTTP API. Создавать защищенные сообщения теперь можно и из приложений, посредством простого HTTP запроса.

Также, если какое-то ваше приложение динамически создает страницы для пользователей, можно непосредственно добавить в выдачу ссылку типа 'Секретное сообщение' для перехода к этому мэшапу (по аналогии с 'поделиться ссылкой', 'twit this' etc.). Формат для ссылки:

http://pn.linkstore.ru?здесь+текст+сообщения

P.S. см. также саморазрушающиеся сообщения.

Mobile UI patterns

Полезная коллекция - шаблоны для мобильного дизайна.

Статистика для программистов

Учебник по математической статистике для программистов(англ). Открытая книга (Creative Common License)

Ссылки из Twitter

Или что еще почитать. Обновлен мэшап Twitter links. Позволяет просматривать ссылки в произвольной ленте Twitter - то есть ссылки, опубликованные друзьями какого-то пользователя.

Достаточно указать произвольный аккаунт на сайте или как параметр для базового URL. Параметры, которые обрабатываются в данной версии:

u - имя в Twitter

Можно, естественно, и собственный круг так просматривать. Вот, например, что друзья @abava выбрали:

http://tlink.linkstore.ru?u=abava

Кстати, так можно вообще не иметь аккаунта в Twitter, только читать выбранные ленты.

P.S. см. также похожий инструмент, который позволяет просматривать списки в Twitter.

Что почитать

Мэшап Чтиво (коллекция пользовательских ссылок за 72 часа) пополнился интегрированным табло, где показываются первые позиции по основным категориям.

Фото-день

"Одна картинка все еще стоит тысячи слов. Обновлен мэшап — День в фотографиях из Twitter. Это тренды Twitter, иллюстрированные картинками из того же Twitter. Кстати, тренды теперь могут быть и русскоязычные" - наш мэшап Day in Twitter на сайте rutwitter.com.

Социальное телевидение

Среди социальных сетей, в которых обсуждают телепередачи лидирует Twitter. С большим отрывом.

Странно, что тевизионщики (в России, по крайней мере) этим не пользуются. Не нужно ждать каких-то специальных телеприемников. Обсуждение передач идет параллельно, на мобильных устройствах. Телепередачам достаточно инициировать этот процесс.

P.S. что сейчас смотрят в телевизоре или смотрим телевизор вместе

Check-in business

Мэшап Places for Facebook позволяет создать мобильную веб-страницу для отметки (check-in). Ее (страницу) можно использовать на собственном мобильном портале, чтобы пользователи просто отметились в нужном заведении или непосредственно представить посетителям в виде QR-кода. За выполненную отметку бизнес может давать пользователям какие-то преференции. Вот еще один пример использования (Оклахома, гербалайф :)

Бизнес может создать свой собственный вариант Foursquare:

вот здесь еще подробнее об отметках в Facebook.

jQuery Mobile прототипирование

Codiqa - онлайновый конструктор мобильных веб-приложений. На базе jQuery mobille.

P.S. см. здесь другие материалы по jQuery mobile

Коллекция мэшапов

В очередной раз обновлена коллекция мэшапов. Большой набор приложений: Twitter, Google+, Google Maps, Facebook, LBS, QR-коды, мобильные HTML5 приложения, поиск и др. Возможно, что это самый большой набор веб-мэшапов в зоне .ru

Java 8

Главные нововведения в Java 8:

Lambda
Jigsaw

Первый проект касается многоядерной обработки и добавляет к языку closures, второй - посвящен модульной структуре JDK.

HTML5 Canvas

В техническом разделе сайта Inetique опубликованы новые эксперименты с HTML5

Игровой контроллер в веб

Интересная идея - управление игрой с использованием акселерометра мобильного телефона. И это - HTML5 веб-приложение.

Фрагмент JavaScript:

//ondevicemotion is fired when iOS device detects motion
window.ondevicemotion = function(e) {

//ax is the movement on the x axis.
//This motion is used to move the ship in the game

ax = event.accelerationIncludingGravity.x * 5;
ay = event.accelerationIncludingGravity.y * 5;
...
}

Мобильный портал

Обновлен мобильный портал

http://m.linkstore.ru

(это - мобильный сайт). В последней версии обновлены списки ИТ-ресурсов и сервисов. Например, добавлен новый сервис Что вокруг.

Скопировать ссылку на свой телефон можно с помощью приведенного QR-кода. Можно также набрать короткий URL http://bit.ly/dc14q (экономия - 2 символа :)

P.S. кстати, сделать свой портал можно с помощью сервиса Мобильные страницы.

GPS Wireless 2012

Мы продолжаем публиковать ссылки для отслеживания интересных событий в Twitter. На этот раз: GPS-Wireless 2012, Palo-Alto, 2012



/via Geo Messages

И то же самое в Twi-газете: GPS-Wireless

Друзья сдадут

Интересная идея - местоположение пользователя, который не выставляет гео-статусов в социальной сети с достаточной точностью можно определить по местоположению двух или трех его друзей.

P.S. в этой связи - поменялось гендерное отношение к гео-позиционированию у пользователей Twitter в Москве. LBS теперь дело женское:

Но есть и неизменные вещи - число твитов с гео-кодингом по-прежнему невелико (4% - вот и вся база для гео-приложений?), а обладатели смартонов (именно они скорее всего и используют Twitter с геолокацией) имеют привычку собираться внутри Садового Кольца (как и раньше).

Big Data в JavaScript

Работа с большими наборами данных из JavaScript

Google Street View Image API

Google опубликовал Google Street View Image API. По аналогии со статическими картами позволяет получит статическую картинку для панорамы.

Вот простой мэшап, с помощью которого можно посмотреть панорамные картинки на мобильном телефоне: http://linkstore.ru/panorama (это - мобильный сайт).

Можно воспользоваться также следующим QR-кодом для загрузки сайта:



Попробуйте с мобильного HTML5 браузера (iPhone, Android, Bada). Мэшап позволяет просматривать панорамы для вашего текущего места (сравните то, что вы видите с тем что знает Google :). Панорамы выводятся для сторон света (север, юг, запад, восток - куда смотрит камера). Как оказалось - много мест в Москве, про которые Google Street View не знает

День глазами Twitter

Одна картинка все еще стоит тысячи слов. Обновлен мэшап - Day in Twitter. Тренды Twitter, иллюстрированные картинками из того же Twitter.

Дополнительные параметры, которые можно использовать для базового URL:

lat - широта места, используемая при поиске картинок
lng - долгота места, используемая при поиске картинок
q - строка с запросом
w - WOIED для поиска трендов

Последний параметр - это так называемый индекс Where on Earth ID. Вот здесь можно поискать индекс WOEID для своего города. Например:

Иллюстрированные тренды для Москвы
Иллюстрированные тренды для Санкт-Петербурга

Технически мэшап базируется на поиске картинок в Twitter.

Akka

Интересная система - событийный подход к программированию на базе JVM (Java, Scala). Вот примеры Java обработчиков - 400 тыс. сообщений в секунду.

Программная модель - акторы (привет, Smalltalk :)

Коллекция веб-мэшапов

Обновлена коллекция мэшапов. Большой набор приложений: Twitter, Google+, Google Maps, Facebook, LBS, QR-коды, мобильные HTML5 приложения, поиск и др. Возможно, что это самый большой набор веб-мэшапов в зоне .ru

Звук в мобильных приложениях

Еще один пример использования звуковых сигналов в мобильных приложениях - SonicNotify. По сравнению с ShopKick новизна в том, что обещают вещать и через телевизионные приемники.

P.S. вспомнилась реклама курсов английского языка с 25-м кадром :)

P.P.S. Кстати, мобильную информационную систему для посетителей магазинов можно делать и без специальных устройств. Именно об этом проект SpotEx. Есть даже основанная на идея SpotEx специальная версия продукта именно для ритейла - InMall.

HTML5 video

Видео на HTML5 страницах. Настройка плейера с помощью jQuery.

P.S. есть и готовый plugin - jPalyer

Кластеризация

Bayon - пакет с открытым кодом по кластеризации данных

Анализ данных

Курсы по machine learning из CalTech

HTML5 Canvas

Интересные примеры использования HTML5 canvas.

См. здесь другие примеры использования Canvas в HTML5

Местные новости. Кострома

Обновлен мэшап Городские новости. Все местное: видео, фото, новости, твиттеряне. YouTube + Twitter + Yandex + Flickr.

Из новых городов добавлена Кострома.

Перспективы Hadoop

Hadoop на пути превращения в application platform for big data

Что вокруг?

Новый мобильный веб-мэшап - FrontPlace. Показывает различные объекты (POI) в ближайшей окрестности (кафе, гостиницы, клубы и т.д.) Можно также быстро посмотреть, что о найденных местах знают Google, Яндекс и Facebook.

Технически используется Location API from Facebook. Но чтобы пользоваться приложением аккаунт в Facebook не обязателен. Если он есть - то это будет просто дополнительное преимущество: можно смотреть кто из друзей здесь был, читать их рекомендации и т.д.

http://linkstore.ru/frontplace

(это - мобильный сайт).

Скопировать ссылку на свой телефон можно с помощью приведенного QR-кода. Можно также набрать короткий URL http://bit.ly/xbf3uc.

P.S. см. также Мобильный веб-чат для общения по-месту

Обработка естественных языков

Базовые элементы NLP - лекция от провайдера Solr/Lucene

Probabilistic Graphical Models

Байесовские сети, цепи Маркова, метод Монте-Карло и смежные вопросы в в бесплатном курсе из Стенфорда

Штрафные стоянки и эвакуаторы

Обновлен мэшап Штрафные стоянки в Москве. Мобильное HTML5 приложение. Вся информация об эвакуаторах, штрафных стоянках и процедуре вызволения автомобиля. Телефон для справок и карта стоянок. Кстати, у городской службы перемещения транспортных средств есть теперь и свой Twitter. Все ссылки и обновленные телефоны - на сайте. Сохраните в закладках, пригодится не дай бог.

http://car.linkstore.ru

(это - мобильный сайт).

Скопировать ссылку на свой телефон можно с помощью приведенного QR-кода. Можно также набрать короткий URL http://bit.ly/dvztVD

P.S. использовались компоненты из проекта Geo Messages

Graph DB

Хороший обзор - NoSQL системы с графовой моделью данных. И это не только Neo4J, которой мы много пользовались.

Мобильный гео-чат

Обновлен мобильный мэшап - Geo chat. HTML5 мобильное веб-приложение, которое позволяет общаться с другими пользователями, находящимися в том же самом месте. С соседями по пробке можно поговорить, например и т.п. Попробуйте с iPhone, Android и т.д.

http://geochat.linkstore.ru

(это - мобильный сайт).

Скопировать ссылку на свой телефон можно с помощью приведенного QR-кода. Можно также набрать короткий URL http://bit.ly/gCbzm3.

Есть схожее приложение City chat - там диалог привязан к определенному месту (объекту) - используются данные из Foursquare. А здесь - то же самое, но для произвольной географической точки (там, где сейчас телефон находится)

Технически - это веб-мэшап, который использует chat engine от Coldbeans.

Из других "городских" приложений - см. также Городские форумы

NoSQL 2.0

Интересная дискуссия на Slashdot о развитии NoSQL

Места в Facebook

Обновлен мэшап Places from Facebook

Можно искать точки по базе Facebook, смотреть их расположение на карте, просматривать активность своих друзей, копировать местоположение на свой мобильный телефон (используя QR-код и мобильную карту), отмечаться в произвольном месте.

Можно искать места в некоторой заданной области. Базовый URL обрабатывает следующие параметры из запроса:

lat - широта места
lng - долгота места
q - запрос для поиска

Например, Facebook в Санкт-Петербурге

Мэшап поддерживает новые возможности Facebook API - гео-кодированные сообщения и позволяет оставлять отзывы о конкретных местах.

Одна из основных возможностей сервиса - создание собственных страниц для отметок (check-in). Например, владелец торгового заведения может создать Check-in страницу для собственного магазина/кафе и т.д. и представить ее посетителям. Для реальных посетителей страницу отметок можно представить с помощью QR-кода, для виртуальных посетителей - в виде ссылки на своем сайте (прямая ссылка - "отметьтесь у нас").

Отличие от стандартной процедуры "отмечания" заключается, в первую очередь, в том, что здесь весь контент (что публикуется в ленте пользователя, что показывается в ответ) определяется автором такой кастомизированной страницы. Еще одна форма рекламы в социальных сетях, между прочим.

Для собственной check-in страницы можно добавить Google Analytics code и следить за результатами.

Еще одна возможность - в качестве подтверждения регистрации можно показывать фото из профайла в Facebook. Пропускная система - отметился с мобильного телефона, получил подтверждение в виде фото из профайла на экране мобильного телефона - предъявил экран для сличения с оригиналом :). Использованы идеи из мэшапа Mobile ID Card.

В качестве реакции на отметку (check-in) можно также задавать собственный текст (картинку). Это прямой способ для любого бизнеса (или рекламного агентства, например) сделать свою версию "Foursquare". Бэджи (реакции на check-in) или то, что стимулирует пользователей отмечаться, рекламируя тем самым конкретный бизнес теперь можно определять самим. Это и есть по сути, основная модель Foursquare. А потенциальные пользователи - все пользователи Facebook. Кстати, это уже используется на практике. В России, например, это клуб Чайная высота.

P.S. в связи с последней опцией см. также - QRpon - customized check-ins for Facebook.

P.P.S. а здесь можно посмотреть, что Google знает об экономической географии.

Facebook locations

Facebook открыл, наконец, возможность указывать местоположение в постингах. Новый API, который позволяет добавить гео-координаты к любым объектам.

Вот здесь есть еще инженерные заметки по организации Location API в Facebook

Упрощенный Hadoop

Pangool - упрощение разработки Hadoop приложений.

Идея - в использовании схем для данных

Параллельный поиск в Google и Twitter

Обновлен мэшап Got. Параллельный поиск в Google и Twitter. Попробуйте как замену real time поиска, пропавшего из опций Google. Добавлен поиск в Topsy.

P.S. аналогичное приложение для Яндекс + Twitter.

Они нас сосчитали

Twitter продал архивные данные (все твиты, как есть) рекламщикам. Вместе с гео-данными, если вы такое отмечали в своей ленте.

И один из самых нехороших моментов во всем этом деле состоит в том, что у автора сообщений нет никакого способа (даже через API) добраться до своих же (или "своих"?) старых твитов. Поиск показывает данные где-то недельной глубины ...

Чемпионат по обработке данных

Постоянно идущие конкурсы по обработке данных - Kaggle. Компании могут загружать свои наборы данных и устраивать соревнования по их анализу.

Apple Maps

Apple отказывается от Google Maps и переходит на свои карты. И сделаны эти карты на основе OSM, при этом OSM не уведомляли :)

P.S. см. другие материалы об OSM

P.P.S. наряду с Google Maps Mania пора заводить OSM Maps Mania ?

Поиск в реальном времени

Интересно, что согласно этому документу, анонсированный Яндексом поиск в реальном времени это на самом деле Topsy. У этой Topsy Labs есть, кстати, весьма интересный API.

P.S. заодно, можно сравнить теперь уже "новый" поиск от Яндекс с поиском по Twitter: Yandex + Twitter

City Analitics

Интересный проект по Smart City - городская аналитика. Для такого рода проектов как раз и подходит SpotEx

Откуда возник NoSQL

Все очень просто:

/via Geek And Poke

Google Maps Mania.ru - 53

Появились новые записи, и пришло время выпустить очередное обновление для списка русскоязычных проектов (систем), выполненных на базе Google Maps.

Как обычно, символом * отмечены новые поступления со времени публикации предыдущей версии списка. Историю вопроса можно изучить здесь.

Ну а последняя версия доступна на странице Google Maps Mania.RU

Про телеком

Компания CBOSS предлагала в Барселоне девушек

P.S. я видел их стенды на 3GSM World. Они, конечно, отличались от окружающих :)

Моделирование данных

Учебный курс Data-driven modeling. Интересные замечания к лекциям и библиография на странице автора.

MITx

Первый курс от нового онлайн-университета MIT - 6.002x (Circuits and Electronics)

NoSQL Data Modeling

Интересный материал по моделированию данных NoSQL

Инструменты для Machine Learning

Обзор сервисов для Machine Learning. В частности, Precog (по описанию, по крайней мере) выглядит интересно.

Почему-то автор не включил в обзор Google Prediction