Administrace komentářů

Zdravím, chtěl bych si převést starší projekt v Python2 do novějšího. Původní kód je zde.

Při převodu jsem se zarazil na funkcích z modulu pickle, autor použil verzi z Python2.4, která je závislá (asi) na modulu Numeric, novější Python ji nahrazuje za numpy.

Pomocí ChatGPT se mi povedla konverze do Python3, ale nefunguje správně načítání (serializace/deserializace) uloženého objektu pickle.load().

Problém je, že výstupem f-ce loadPuzzles(..) je typ None, nenačtou se správně uložená data, formát je asi odlišný z důvodu starší verze pickle (Python2.4). V přiloženém souboru je ukázkový typ dat.

Řešením je asi převod uložených dat v jiném formátu přes pickle.load(f)/json.dump(data, f), ale narazil jsem na problém dostupnosti linux distribucí s funkčním Python2.4

Mohl by někdo pomoci?

Chybová zpráva:

    return super().find_class(module, name)
AttributeError: Can't get attribute 'array_constructor' on module 'numpy' from '/usr/lib64/python3.10/site-packages/numpy/__init__.py'
Error loading data: 'NoneType' object is not callable
Error loading puzzle from lib/games/Medium/tmprPirlZ: Unpickled data is None.
AttributeError: Can't get attribute 'array_constructor' on module 'numpy' from '/usr/lib64/python3.10/site-packages/numpy/__init__.py' for module: numpy, name: array_constructor

Originální kód:

class MyUnpickler(pickle.Unpickler):
    def find_class(self, module, name):
        # help unpickle find the correct module (since sys.path is different 
        # from when we generated the puzzles)
        if module == 'sudoku':
            return getattr(sudoku, name)
        return pickle.Unpickler.find_class(self, module, name)

def loadPuzzles(num, difficulty='Any'):
    indexfile = os.path.join(DATA_DIR, difficulty + ".index")
    index = file(indexfile).readlines()
    puzzlepaths = random.sample(index, num)
    puzzles = []
    g = sudoku_maker.SudokuGenerator()
    for path in puzzlepaths:
        path = path.strip()
        infile = os.path.join(DATA_DIR, path)
        puz = MyUnpickler(file(infile)).load()
        d = g.assess_difficulty(puz.grid)
        puzzles.append((puz, d))
    return puzzles

Převedený kód:

class MyUnpickler(pickle.Unpickler):
    def find_class(self, module, name):
        if module == 'Numeric':
            # Redirect to numpy
            module = 'numpy'
        elif module == 'sudoku':
            return getattr(sudoku, name)
        elif module == 'numpy':
            if name == 'array_constructor':
                # Handle the specific case for array_constructor
                # You can return np.array or a custom function if needed
                return np.array  # or whatever function you need to return
        # Add a fallback for unknown classes
        try:
            return super().find_class(module, name)
        except AttributeError as e:
            print(f"AttributeError: {e} for module: {module}, name: {name}")
            # Optionally log the entire traceback
            import traceback
            traceback.print_exc()

def load_my_data(file):
    # Check if the input is a string (file path) or a file object
    if isinstance(file, str):
        with open(file, 'rb') as f:
            return MyUnpickler(f).load()
            #return pickle.Unpickler(f).load()
    else:
         try:
            return MyUnpickler(file).load()
         except Exception as e:
            print(f"Error loading data: {e}")
            return None

def loadPuzzles(num, difficulty='Any'):
    indexfile = os.path.join(DATA_DIR, difficulty + ".index")

    with open(indexfile, 'r') as file:
        index = file.read().strip().splitlines()  # Read lines into a list
    
    puzzlepaths = random.sample(index, num)
    puzzles = []
    g = sudoku_maker.SudokuGenerator()
    
    for path in puzzlepaths:
        path = path.strip()
        infile = os.path.join(DATA_DIR, path)
        
        try:
            with open(infile, 'rb') as f:  # Open the file in binary mode
                puz = load_my_data(f)  # Use the file object here
                
                if puz is None:
                    raise ValueError("Unpickled data is None.")
                
                d = g.assess_difficulty(puz.grid)
                puzzles.append((puz, d))
        
        except Exception as e:
            print(f"Error loading puzzle from {infile}: {e}")
            # Continue to the next puzzle instead of returning None

    return puzzles  # Return the list of puzzles, which may be empty if none were loaded