Моя первая статья на Хабре про ускорение ML-инференса My First Habr Article on Speeding Up ML Inference
I’ve published my first article on Habr.
For me, this is not just a publication. It is an important step: moving from learning and practice into an open professional conversation.
Shortly before that, at the AIRI summer school, I heard a simple phrase from an experienced AI researcher: “If you want to understand a topic more deeply, write an article about it.” A colleague later shared a similar thought: writing helps you truly understand the results of your own work, rethink your experiments, honestly examine mistakes, and formulate your conclusions more precisely.
That is exactly what happened for me.
This text did not come together on the first try. I revised the material several times, went through Habr Sandbox moderation, asked more experienced colleagues for feedback and review, and eventually brought the article to publication. For me, it became a valuable lesson in patience, clarity of thought, and the quality of engineering communication.
In the article, I explore how to speed up inference for an encoder-based guard model and compare several approaches: TensorRT, Triton, vLLM, Ray Serve, and a separate track with Flash DeBERTa.
What mattered to me was not simply putting together a set of tools, but honestly showing the mistakes, constraints, results, and conclusions: what actually works, where the bottlenecks appear, and how I would approach this work now.
What also matters to me personally is that this publication became a way to better articulate my own engineering perspective.
I will be glad if the article is useful to people working on ML inference, LLM infrastructure, and production systems.
The article is written in Russian, but I hope it can still resonate with a wider audience, because the questions at its core are universal: how we evaluate tools, think through trade-offs, measure performance, and make engineering decisions within real-world constraints.
Link to the article:
На Хабре вышла моя первая статья.
Для меня это не просто публикация, а важный шаг - перейти от изучения и практики к открытому профессиональному разговору.
Незадолго до этого на летней школе AIRI я услышала от опытного AI researcher простую фразу: “Хочешь глубже вникнуть в тему - напиши статью”. Похожую мысль мне потом озвучил и коллега: текст помогает по-настоящему понять результаты своей работы, заново осмыслить эксперименты, честно разобрать ошибки и точнее сформулировать выводы.
Именно так в итоге получилось и у меня.
Текст родился не с первого раза. Я несколько раз дорабатывала материал, проходила модерацию Песочницы, просила совета и ревью у более опытных коллег и в итоге довела статью до публикации. Для меня это стало хорошим уроком про терпение, ясность мысли и качество инженерной подачи.
В статье я разбираю, как ускорять инференс энкодерной guard-модели, и сравниваю несколько подходов: TensorRT, Triton, vLLM, Ray Serve и отдельный трек с Flash DeBERTa.
Мне было важно не просто собрать набор инструментов, а честно показать ошибки, ограничения, результаты и выводы: что действительно работает, где возникают узкие места и как я бы строила такую работу сейчас.
Отдельно для меня ценно, что эта публикация стала способом лучше оформить свой инженерный взгляд.
Буду рада, если статья окажется полезной тем, кто работает с ML-инференсом, LLM-инфраструктурой и production-системами.
Ссылка на статью: