QA Automation
QA Engineer AI Agents Remote
ID: 19502
2 дня назад
Активна
Aspirity Solution
вне РФ
от 20 $
Требуемый опыт
От 1 года до 3 лет
Формат работы
Удаленная работа
📞Способы связи
📄 Оригинальный текст вакансии
#удаленка #внеРФ #remote #vacancy
QA Engineer (AI Agents) - вне РФ, разговорный английский!
Мы — Aspirity Solution, студия разработки, более 10 лет создающая веб- и мобильные приложения, no-code решения и интеллектуальных AI-агентов для клиентов по всему миру.
Ищем внимательного и системного QA-инженера, который будет отвечать за качество и стабильность AI-агентов.
Обязанности
— Тестирование и оценка работы AI-агентов (диалоговые и когнитивные системы).
— Разработка и проведение eval-тестов для анализа корректности, устойчивости и предсказуемости поведения агентов.
— Подготовка тест-кейсов и сценариев функционального и нефункционального тестирования.
— Анализ поведения агентов при нестандартных входных данных, выявление логических ошибок и погрешностей в промптах.
— Взаимодействие с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.
— Поддержка автоматизации тестирования и развитие QA-процессов внутри AI-команды.
— Ведение технической документации.
Требования
— Опыт работы в QA (manual или automation) от 2 лет.
— Опыт тестирования AI-агентов или чат-ботов.
— Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.
— Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).
— Опыт автоматизированного тестирования агентов (желательно).
— Владение Python на уровне написания тестов и утилитарных скриптов.
— Навыки работы с Git и системами отслеживания ошибок.
— Английский не ниже B2 для коммуникации в международной команде.
— Кандидат должен находиться вне РФ.
— Обязательная доступность в PT-часовом поясе:
присутствие онлайн с 7:00 PT до 16:00 PT.
Будет плюсом
— Опыт работы с LangChain, vapi, Synthflow или другими инструментариями создания AI-агентов.
— Опыт анализа выходов LLM по метрикам качества (accuracy, coherence, relevance).
— Понимание CI/CD-процессов и базовых инструментов мониторинга.
— Опыт участия в построении тестовой архитектуры для AI-систем.
Мы предлагаем
— Удалённый формат работы.
— Работа в команде разработчиков, ML-инженеров и AI-специалистов.
— Возможность развиваться в QA-направлении для систем с LLM и AI-агентами.
— Оплата по квалификации: от 20 USD/час.
📎 @alintosha
🌐 Языки
английский (B2 — Средне-продвинутый)
🛠 Навыки
Artificial Intelligence
Automated Testing
evaluate machine learning models
Natural language processing
Prompt Engineering
Python (computer programming)
quality assurance methodologies
test planning and design
tools for software configuration management
🎯 Домены
AI
LLM
Prompt Engineering
🤖 ИИ навыки
develop automated software tests
develop ICT test suite
execute integration testing
levels of software testing
monitor system performance
principles of artificial intelligence
Python (computer programming)
tools for ICT test automation
tools for software configuration management
types of evaluation
use technical documentation
* Навыки определены автоматически с помощью нейросети
🤖 ИИ домены
AI Agents
Artificial Intelligence
Chatbots
Cognitive Systems
Dialog Systems
LLM systems
Machine Learning
Prompt Engineering
Quality Assurance
Software Development
* Домены определены автоматически с помощью нейросети
📢 Информация о публикации
🔗 Оригинальные посты (1)
Канал:qa_jobs