Веб-система агрегации и интеллектуального анализа проектов фриланс-бирж


Презентация изнутри:

Слайд 0

Веб-система агрегации и интеллектуального анализа проектов фриланс-бирж Докладчик: Савин И.И. 1


Слайд 1

Состояние фриланса на сегодня Фриланс – удаленная разовая работа Фриланс-биржа – веб-площадка публикации заказов Особенности: Идеальный путь быстрого заработка и накопления опыта Широкое распространение с развитием интернета Максимально гибкие условия работы Проблемы: Много источников заказов (фриланс-бирж) Конкуренция с фриланс-компаниями Требуется быстрый анализ сложности и бюджета заказа 2


Слайд 2

Существующие помощники фрилансера 3


Слайд 3

Структура комплекса Lancery 4 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ


Слайд 4

Структура комплекса Lancery 5 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ


Слайд 5

Особенности агрегации проектов Технологии и приемы: Really Simple Syndication (RSS) Полиморфизм модулей для индивидуальных правил обработки источника Особенности: Независимость модулей бирж друг от друга Простота модификации и добавления новых источников Результат работы: Оперативное добавление новых проектов с бирж в Lancery 6


Слайд 6

Структура комплекса Lancery 7 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ


Слайд 7

Нормализация проектов 8 Этапы нормализации: Разбиение текста на зоны важности Разбиение на термы, леммизация Фильтрация по части речи (сущ., глаг., прил.) Подсчет частоты термов в документе Отброс стоп-слов Итоги нормализации: Ключевые слова проекта Поиск по навыкам, технологиям Векторная модель документа (ВМД) подойдет для более глубокого анализа


Слайд 8

Структура комплекса Lancery 9 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ


Слайд 9

Особенности кластеризации 10 Особенности ВМД: Объекты имеют различное количество атрибутов Всех возможных атрибутов много Метрика Жаккара: Адекватное сравнение неоднородных множеств Быстрота вычисления Итоговая метрика:


Слайд 10

Особенности кластеризации 11 A B C D Алгоритм ROCK: Количества общих соседей (ссылок) как мера близости двух объектов Свойства: Поиск похожих фактов, изложенных разными словами Иммунитет к выбросам Быстрое вычисление итераций кластеризации Вычислительная сложность этапа подготовки данных О(n?)


Слайд 11

Особенности кластеризации Проблема: Большая вычислительная сложность вызывает проблемы с масштабированием (в Lancery уже более 60 000 проектов) Решение: периодическая кластеризация небольшими порциями Преимущества: Каждый объект участвует в нескольких распределениях Результаты готовы через 2-5 минут Низкие требования к ресурсам сервера 12 Проекты за 24 часа 3ч 2ч 1ч сейчас


Слайд 12

Результаты кластеризации Прогноз бюджета проекта на основе наблюдений за схожими проектами того же периода Возможность прогнозировать любые другие частично неопределенные свойства объектов (сложность, риски) Составление рекомендаций проектов на основании интересов пользователя 13


Слайд 13

Структура комплекса Lancery 14 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ


Слайд 14

Оперативная реакция В подавляющем большинстве случаев исполнитель выбирается из авторов первых 1-3 ответов Система оперативной реакции: Отправить ответ прямо с ленты проектов Lancery на биржу Мобильная версия Автоматическая авторизация на нужной бирже 15 Агрегатор Страница проекта Авторизация на бирже Ответ отправлен Страница ответа


Слайд 15

Резюме проекта Методика анализа текста отмечена на конференциях «Телематика 2010», «МИЭМ 2010», «МИЭМ 2011» и других Участник конкурса «УМНИК-Сколковец» Победитель программы «У.М.Н.И.К. 2011» 16 Докладчик: Савин Иван [email protected] Спасибо за внимание Адрес проекта: http://lancery.ru Мобильная версия: http://m.lancery.ru


×

HTML:





Ссылка: