TikTok хочет обогнать Anthropic в ИИ

ByteDance, владелец TikTok, готовит одну из крупнейших ИИ-моделей в мире. По данным Financial Times, компания начала предобучение модели размером до 10 триллионов параметров. Для сравнения, крупнейшая китайская открытая модель Kimi K3 насчитывает 2,8 триллиона, а самую мощную модель Anthropic, Mythos 5, в индустрии оценивают примерно в 8 триллионов параметров. Точное устройство модели ByteDance пока неизвестно, а финальный размер определят по ходу обучения.

Для компании это далеко не первый проект в генеративном ИИ. Её подразделение Seed уже выпускает языковые, графические и видеомодели, а самым заметным успехом стала Seedance. Seedance входит в число сильнейших видеогенераторов на рынке. Выпущенная в феврале версия Seedance 2.0 прославилась роликами с Томом Крузом, Брэдом Питтом и героями голливудских франшиз. Настолько, что в Голливуде заволновались и обвинили компанию в нарушении авторских прав.

Теперь ByteDance, видимо, хочет проделать то же самое с большой языковой моделью. В Seed уже работает около 2 тысяч человек, а сама компания последние годы вкладывает миллиарды долларов в дата-центры и ускорители. Часть вычислений даже приходится выносить за пределы Китая из-за американских ограничений, например, в Малайзии ByteDance получила доступ к крупному кластеру на Nvidia B200. Такие мощности ей будут очень кстати – Financial Times пишет, что одно только предварительное обучение новой модели займёт от трёх до шести месяцев.

По 10 триллионам параметров рано судить, насколько хорошей получится модель. На итоговый результат не меньше влияют архитектура, данные и само обучение, которое у ByteDance пока находится на ранней стадии. Те же DeepSeek много экспериментируют с тем, как повышать возможности моделей без роста необходимых вычислений, так что подходы в индустрии очень отличаются.