А. А. Харлампиев посвятил свою жизнь развитию нового прикладного вида спорта — борьбы самбо.
В 16 лет он был уже разносторонне развитым спортсменом, ещё во время обучения в школе занимался силовой атлетикой, гимнастикой, борьбой, боксом, альпинизмом.
Был увлечен искусством, изучал живопись, скульптуру, учился в музыкальном техникуме.
После школы Харлампиев окончил курсы спортивных инструкторов и в 1922 начал работать в Обществе строителей Международного Красного стадиона и Красном университете трудящихся Востока преподавателем физкультуры., в это же время стал собирать и систематизировать народные игры, содержащие приёмы борьбы, путешествуя по Кавказу, Крыму, Средней Азии.
В 1936 г. окончил Государственный центральный ордена Ленина институт физической культуры (отделение дзюдо Ощепкова).
С 1935 г. Анатолий Аркадьевич вёл тренировки по дзюу-до вольного стиля в московском дворце спорта «Крылья Советов».
С 1945 -1952 работал старшим тренером Центрального Совета «Динамо».
С 1953 г. — доцент кафедры физвоспитания МЭИ.
Во многом благодаря усилиям Анатолия Аркадьевича, новый вид борьбы в одежде в 1938 г. был официально признан в СССР как вид спорта, имеющий важное оборонное значение.
В 1938 году состоялся первый сбор тренеров борьбы в одежде. Старшим тренером участников этого сбора был назначен А. А. Харлампиев.
После войны А. А. Харлампиев активизировал свою деятельность по развитию и распространению борьбы самбо.
В 1947 году по инициативе А. А. Харлампиева был проведён второй всесоюзный сбор тренеров. На нём было решено новый вид борьбы в одежде, культивируемый в СССР, называть борьбой самбо. На этом же сборе было решено создать Федерацию борьбы самбо.