Slide 0
Веб-система агрегации и интеллектуального анализа проектов фриланс-бирж
Докладчик:
Савин И.И.
1
Slide 1
Состояние фриланса на сегодня
Фриланс – удаленная разовая работа
Фриланс-биржа – веб-площадка публикации заказов
Особенности:
Идеальный путь быстрого заработка и накопления опыта
Широкое распространение с развитием интернета
Максимально гибкие условия работы
Проблемы:
Много источников заказов (фриланс-бирж)
Конкуренция с фриланс-компаниями
Требуется быстрый анализ сложности и бюджета заказа
2
Slide 2
Существующие помощники фрилансера
3
Slide 3
Структура комплекса Lancery
4
База
данных
Сборщик проектов
Биржи
Нормализатор
Кластеризатор
Фильтры Кластеры
Проекты
Запуск каждую минуту
Запуск после сборщика
Запуск каждый час
Фрилансер
Оперативный ответ
Slide 4
Структура комплекса Lancery
5
База
данных
Сборщик проектов
Биржи
Нормализатор
Кластеризатор
Фильтры Кластеры
Проекты
Запуск каждую минуту
Запуск после сборщика
Запуск каждый час
Фрилансер
Оперативный ответ
Slide 5
Особенности агрегации проектов
Технологии и приемы:
Really Simple Syndication (RSS)
Полиморфизм модулей для индивидуальных правил обработки источника
Особенности:
Независимость модулей бирж друг от друга
Простота модификации и добавления новых источников
Результат работы:
Оперативное добавление новых проектов с бирж в Lancery
6
Slide 6
Структура комплекса Lancery
7
База
данных
Сборщик проектов
Биржи
Нормализатор
Кластеризатор
Фильтры Кластеры
Проекты
Запуск каждую минуту
Запуск после сборщика
Запуск каждый час
Фрилансер
Оперативный ответ
Slide 7
Нормализация проектов
8
Этапы нормализации:
Разбиение текста на зоны важности
Разбиение на термы, леммизация
Фильтрация по части речи (сущ., глаг., прил.)
Подсчет частоты термов в документе
Отброс стоп-слов
Итоги нормализации:
Ключевые слова проекта
Поиск по навыкам, технологиям
Векторная модель документа (ВМД) подойдет для более глубокого анализа
Slide 8
Структура комплекса Lancery
9
База
данных
Сборщик проектов
Биржи
Нормализатор
Кластеризатор
Фильтры Кластеры
Проекты
Запуск каждую минуту
Запуск после сборщика
Запуск каждый час
Фрилансер
Оперативный ответ
Slide 9
Особенности кластеризации
10
Особенности ВМД:
Объекты имеют различное количество атрибутов
Всех возможных атрибутов много
Метрика Жаккара:
Адекватное сравнение неоднородных множеств
Быстрота вычисления
Итоговая метрика:
Slide 10
Особенности кластеризации
11
A
B
C
D
Алгоритм ROCK:
Количества общих соседей (ссылок) как мера близости двух объектов
Свойства:
Поиск похожих фактов, изложенных разными словами
Иммунитет к выбросам
Быстрое вычисление итераций кластеризации
Вычислительная сложность этапа подготовки данных О(n?)
Slide 11
Особенности кластеризации
Проблема: Большая вычислительная сложность вызывает проблемы с масштабированием
(в Lancery уже более 60 000 проектов)
Решение: периодическая кластеризация небольшими порциями
Преимущества:
Каждый объект участвует в нескольких распределениях
Результаты готовы через 2-5 минут
Низкие требования к ресурсам сервера
12
Проекты за 24 часа
3ч 2ч 1ч сейчас
Slide 12
Результаты кластеризации
Прогноз бюджета проекта на основе наблюдений за схожими проектами того же периода
Возможность прогнозировать любые другие частично неопределенные свойства объектов (сложность, риски)
Составление рекомендаций проектов на основании интересов пользователя
13
Slide 13
Структура комплекса Lancery
14
База
данных
Сборщик проектов
Биржи
Нормализатор
Кластеризатор
Фильтры Кластеры
Проекты
Запуск каждую минуту
Запуск после сборщика
Запуск каждый час
Фрилансер
Оперативный ответ
Slide 14
Оперативная реакция
В подавляющем большинстве случаев исполнитель выбирается из авторов первых 1-3 ответов
Система оперативной реакции:
Отправить ответ прямо с ленты проектов Lancery на биржу
Мобильная версия
Автоматическая авторизация на нужной бирже
15
Агрегатор
Страница проекта
Авторизация на бирже
Ответ отправлен
Страница ответа
Slide 15
Резюме проекта
Методика анализа текста отмечена на конференциях «Телематика 2010», «МИЭМ 2010», «МИЭМ 2011» и других
Участник конкурса «УМНИК-Сколковец»
Победитель программы «У.М.Н.И.К. 2011»
16
Докладчик:
Савин Иван
[email protected]
Спасибо за внимание
Адрес проекта: http://lancery.ru
Мобильная версия: http://m.lancery.ru
