Слайд 0
Веб-система агрегации и интеллектуального анализа проектов фриланс-бирж
Докладчик:
Савин И.И.
1
Слайд 1
Состояние фриланса на сегодня
Фриланс – удаленная разовая работа
Фриланс-биржа – веб-площадка публикации заказов
Особенности:
Идеальный путь быстрого заработка и накопления опыта
Широкое распространение с развитием интернета
Максимально гибкие условия работы
Проблемы:
Много источников заказов (фриланс-бирж)
Конкуренция с фриланс-компаниями
Требуется быстрый анализ сложности и бюджета заказа
2
Слайд 2
Существующие помощники фрилансера
3
Слайд 3
Структура комплекса Lancery
4
База
данных
Сборщик проектов
Биржи
Нормализатор
Кластеризатор
Фильтры Кластеры
Проекты
Запуск каждую минуту
Запуск после сборщика
Запуск каждый час
Фрилансер
Оперативный ответ
Слайд 4
Структура комплекса Lancery
5
База
данных
Сборщик проектов
Биржи
Нормализатор
Кластеризатор
Фильтры Кластеры
Проекты
Запуск каждую минуту
Запуск после сборщика
Запуск каждый час
Фрилансер
Оперативный ответ
Слайд 5
Особенности агрегации проектов
Технологии и приемы:
Really Simple Syndication (RSS)
Полиморфизм модулей для индивидуальных правил обработки источника
Особенности:
Независимость модулей бирж друг от друга
Простота модификации и добавления новых источников
Результат работы:
Оперативное добавление новых проектов с бирж в Lancery
6
Слайд 6
Структура комплекса Lancery
7
База
данных
Сборщик проектов
Биржи
Нормализатор
Кластеризатор
Фильтры Кластеры
Проекты
Запуск каждую минуту
Запуск после сборщика
Запуск каждый час
Фрилансер
Оперативный ответ
Слайд 7
Нормализация проектов
8
Этапы нормализации:
Разбиение текста на зоны важности
Разбиение на термы, леммизация
Фильтрация по части речи (сущ., глаг., прил.)
Подсчет частоты термов в документе
Отброс стоп-слов
Итоги нормализации:
Ключевые слова проекта
Поиск по навыкам, технологиям
Векторная модель документа (ВМД) подойдет для более глубокого анализа
Слайд 8
Структура комплекса Lancery
9
База
данных
Сборщик проектов
Биржи
Нормализатор
Кластеризатор
Фильтры Кластеры
Проекты
Запуск каждую минуту
Запуск после сборщика
Запуск каждый час
Фрилансер
Оперативный ответ
Слайд 9
Особенности кластеризации
10
Особенности ВМД:
Объекты имеют различное количество атрибутов
Всех возможных атрибутов много
Метрика Жаккара:
Адекватное сравнение неоднородных множеств
Быстрота вычисления
Итоговая метрика:
Слайд 10
Особенности кластеризации
11
A
B
C
D
Алгоритм ROCK:
Количества общих соседей (ссылок) как мера близости двух объектов
Свойства:
Поиск похожих фактов, изложенных разными словами
Иммунитет к выбросам
Быстрое вычисление итераций кластеризации
Вычислительная сложность этапа подготовки данных О(n?)
Слайд 11
Особенности кластеризации
Проблема: Большая вычислительная сложность вызывает проблемы с масштабированием
(в Lancery уже более 60 000 проектов)
Решение: периодическая кластеризация небольшими порциями
Преимущества:
Каждый объект участвует в нескольких распределениях
Результаты готовы через 2-5 минут
Низкие требования к ресурсам сервера
12
Проекты за 24 часа
3ч 2ч 1ч сейчас
Слайд 12
Результаты кластеризации
Прогноз бюджета проекта на основе наблюдений за схожими проектами того же периода
Возможность прогнозировать любые другие частично неопределенные свойства объектов (сложность, риски)
Составление рекомендаций проектов на основании интересов пользователя
13
Слайд 13
Структура комплекса Lancery
14
База
данных
Сборщик проектов
Биржи
Нормализатор
Кластеризатор
Фильтры Кластеры
Проекты
Запуск каждую минуту
Запуск после сборщика
Запуск каждый час
Фрилансер
Оперативный ответ
Слайд 14
Оперативная реакция
В подавляющем большинстве случаев исполнитель выбирается из авторов первых 1-3 ответов
Система оперативной реакции:
Отправить ответ прямо с ленты проектов Lancery на биржу
Мобильная версия
Автоматическая авторизация на нужной бирже
15
Агрегатор
Страница проекта
Авторизация на бирже
Ответ отправлен
Страница ответа
Слайд 15
Резюме проекта
Методика анализа текста отмечена на конференциях «Телематика 2010», «МИЭМ 2010», «МИЭМ 2011» и других
Участник конкурса «УМНИК-Сколковец»
Победитель программы «У.М.Н.И.К. 2011»
16
Докладчик:
Савин Иван
[email protected]
Спасибо за внимание
Адрес проекта: http://lancery.ru
Мобильная версия: http://m.lancery.ru
