本发明公开了一种用于自动化测试的样本生成方法、装置、计算机设备及存储介质，其方法包括：获取基于用户搜索行为的数据源，其中，数据源包括带有航班日期和航司的航线信息；航司包括独立航线和共有航线；根据航班日期对数据源进行分组，得到第一级分层采样数据；根据所属航司对第一级分层采样数据进行筛选，得到第二级分层采样数据；以独立航线和共有航线对第二级分层采样数据进行筛选，得到第三级分层采样数据；通过第一预设加权随机采样方法对第三级分层采样数据进行样本抽取，得到基于用户搜索行为的测试用例数据集。本发明技术方案能选出能够覆盖大多数场景的样本数据，兼顾样本的覆盖性和代表性，并与用户搜索行为相适应，满足测试要求。