Microsoft работает над созданием малых языковых моделей. Первую модель назвали Phi 1.
https://ru.freepik.com/
Microsoft разрабатывает малые языковые модели. Компания считает, что они могут быть не менее эффективными, чем большие языковые модели.
IT гигант представил языковую модель Phi 1, которая обладает 1.3 млрд параметров сравнительные тесты модели продемонстрировали более высокие показатели точности, превзойдя производительность GPT 3.5, у которой 175 млрд параметров. Phi 1 построена на архитектуре Transformer, она обучалась в течение 4 дней на специально отобранных данных.
Разработчики заявляют, что столь высокая эффективность обусловлена применением высококачественного набора данных для обучения. В работе с моделью использовались 8 графических процессоров Nvidia A100. Модель создана на основе открытого исходного кода и демонстрирует стремление Microsoft активно участвовать в развитии искусственного интеллекта.
