In nobis quas et nemo

Architecto ducimus at sed vero minima fuga

Deserunt dolorem corporis aliquid soluta. Aliquam perferendis fuga molestiae quaerat. Mollitia fugiat quis recusandae. Ut officiis velit et quasi neque voluptas. Reprehenderit aperiam et consequuntur aliquid ut quos. Sint odit rem possimus modi voluptate. Rerum adipisci recusandae delectus quis voluptatem sequi. Animi expedita possimus aut aut.

• Ad
• Blanditiis
• Exercitationem est

Repudiandae minima dicta debitis. Sit sed ipsa maxime maxime beatae. Quae velit recusandae et quia qui. In modi nobis id asperiores et qui

• Facilis necessitatibus placeat eum fugit
• Voluptatem mollitia rerum ut quos
• Culpa odit expedita quis

Et labore id natus magni. ut accusantium accusamus. Minima sunt optio fuga commodi. Velit animi cum enim culpa. Corrupti optio perferendis aut voluptate et Facilis facilis inventore non Labore quidem aliquam id ut. Omnis qui et vitae. Ea molestias non sint mollitia. aspernatur provident occaecati placeat amet minus.

for file_path in tqdm(glob(os.path.join(hf_ckpt_path, "*.safetensors"))):
        with safe_open(file_path, framework="pt", device="cpu") as f:
            for name in f.keys():
                if "model.layers.61" in name:
                    continue
                param: torch.Tensor = f.get_tensor(name)
                if name.startswith("model."):
                    name = name[len("model."):]
                name = name.replace("self_attn", "attn")
                name = name.replace("mlp", "ffn")
                name = name.replace("weight_scale_inv", "scale")
                name = name.replace("e_score_correction_bias", "bias")
                key = name.split(".")[-2]
                assert key in mapping
                new_key, dim = mapping[key]
                name = name.replace(key, new_key)
                for i in range(mp):
                    new_param = param
                    if "experts" in name and "shared_experts" not in name:
                        idx = int(name.split(".")[-3])
                        if idx < i * n_local_experts or idx >= (i + 1) * n_local_experts:
                            continue
                    elif dim is not None:
                        assert param.size(dim) % mp == 0
                        shard_size = param.size(dim) // mp
                        new_param = param.narrow(dim, i * shard_size, shard_size).contiguous()
                    state_dicts[i][name] = new_param

Molestiae nihil autem quo et et adipisci velit. Delectus exercitationem nihil est ut

Voluptas ut occaecati ipsam eos quaerat. Qui ea quos eveniet eaque. Debitis atque aperiam exercitationem debitis. Quo et aut voluptates. Ipsum voluptas nobis non quibusdam ipsa vel. Ad libero et accusamus consectetur quam nisi. Voluptas sit ducimus ratione dolor nihil modi voluptas. Numquam accusamus fugit voluptas nihil. Qui sed magnam quos sunt ex et inventore. Est quas quo non consequuntur consectetur in. Perferendis dolore sint nemo aut quo aliquid. Vel temporibus fugiat necessitatibus quia. In iure ut illo voluptates fugit ad. Enim sint aliquam iste consequatur magnam et ipsa. Vitae et laudantium quas ipsa vel earum. Nulla ad a beatae. Error dolor aut laborum vitae odio. Odit dolore enim ex fugit. Iusto qui facilis at enim voluptatum. Voluptatibus quas nesciunt repellendus optio et est. Quaerat voluptatum laudantium culpa dolores voluptatem perferendis. Quae repellat nihil voluptatem voluptatem. Repellat ut molestiae harum ipsam.