Без заголовка

Если вы о "маленьком сервере для одного канала" - то, вероятно, можно попробовать. Хотя там много тонкостей - если трафик будет превышать среднестатистический - возможно придётся отдельно договариваться с провайдером; своё программное решение с большой вероятностью будет "наколеночным" и удобство пользования будет существенно ниже чем у готового сервиса, ну и администрировать это всё равно кто-то будет должен. Плюс по-хорошему скорее всего потребуется таки отдельный dedicated сервер (не уверен что VPS потянет по процессору) а не просто скрипт на shared хостинге - тоже отдельные немаленькие деньги. Если речь идёт о "российском сервисе, подобном ustream" - то это куда более глобальная задача с кучей своих серверов, балансировкой нагрузки и опять же отдельными вопросами по трафику. Disclaimer: это всё навскидку на взгляд непрофессионала по эксплуатации видеосервисов. В реальности же всё может быть совсем не так как на самом деле.