Запуск LLM-инференс сервера из строки меню — идея сама по себе очень «Mac».
omlx получил 1362 новых звезды на этой неделе, всего 14.3k. 1204 форка означают не просто наблюдение, а реальное использование.
Три ключевых технических момента: SSD-кэширование (преодоление瓶颈 унифицированной памяти Apple Silicon), непрерывный батчинг (vLLM сделал это первым, но на уровне menu bar tool для Mac omlx, возможно, первый), управление из строки меню (для принятия не-техническими пользователями эта деталь важнее benchmark цифр).
Сравнение с Ollama / LM Studio: omlx — единственный инструмент, объединяющий SSD-кэширование и непрерывный батчинг на Mac. Но экосистемное преимущество Ollama огромно. omlx нужно догонять не в технологиях, а в экосистеме.
omlx решает не «можно ли запустить» — Ollama уже доказал, что Mac справляется с LLM. Он решает «можно ли использовать комфортно».